googlebot相关内容

这个 HTTP Authorization RewriteRule 有什么作用?

我的网站上某处发生了由 Google Bot 引起的重写递归错误，但由于我的 Loglevel 较低，我找不到导致该错误的 url.我提出过，但到目前为止还没有发生过. RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}] 我觉得所有的 Rewriterule 都很好，并且都有 [L] 标志，除了这个. 我不太明白.它 ..
发布时间：2021-11-11 21:59:12 服务器开发

使用 HTML5 模式路由在 AngularJS 站点上爬行的 Google 机器人

我们有一个使用 HTML5 路由的 AngularJS 站点.我刚刚做了一些测试“谷歌抓取"运行.结果有点混乱: 在获取选项卡上，我看到我们的网站在查看源代码中的样子，带有所有前端绑定 {{ }}，而不是所有呈现的 HTML 在渲染选项卡上，我们的网站看起来非常好，没有 {{ }} 变量，似乎 Google bot 抓取并渲染了网站，这可能与此相符，http://googlewebmast ..
发布时间：2021-11-09 02:13:21 前端开发

Googlebot 正在抓取我的网站并在我的评分系统中输入评分

我的评分系统允许匿名用户添加评分，但 Google 的抓取工具正在对事物进行评分. 如何确保 Googlebot 不会点击链接? 解决方案 对于任何修改数据的操作(投票、编辑帖子等)，您不应接受 GET 请求.您的投票应通过 POST 请求完成，Googlebot 不会执行该请求. 此 SO 帖子中的更多信息:什么时候用POST，什么时候用GET? ..
发布时间：2021-09-22 20:29:48 其他开发

Googlebot 收到现有模板缺少模板错误

在过去的几天里，当谷歌机器人尝试访问我们的主页(欢迎/索引)时，我们开始收到模板丢失错误.我一直盯着这个几个小时，知道我只是错过了一些简单的东西. 在welcome#index 中出现ActionView::MissingTemplate:缺少模板欢迎/索引与 {:handlers=>[:erb, :rjs, :builder, :rhtml, :rxml, :haml], :formats=> ..
发布时间：2021-07-12 20:01:06 其他开发

这个 Robots.txt 文件是否正确?

我最近在我的服务器上遇到了很多 CPU 峰值，不知何故，我相信这不是真正的流量，或者它的某些部分不是真实的.所以我现在只想允许谷歌机器人、MSN 和雅虎.请指导我以下 robots.txt 文件是否符合我的要求. 用户代理:Googlebot用户代理:Slurp用户代理:msnbot用户代理:Mediapartners-Google*用户代理:Googlebot-Image用户代理:Yahoo- ..
发布时间：2021-07-10 19:20:05 其他开发

Googlebots 忽略 robots.txt?

我有一个站点，其根目录中包含以下 robots.txt: 用户代理:*禁用:/用户代理:Googlebot禁用:/用户代理:Googlebot-Image不允许:/ Googlebots 整天都在扫描此站点中的页面.我的文件或 Google 有问题吗? 解决方案 应该是Disallow:，而不是Disabled:. ..
发布时间：2021-07-10 19:18:45 其他开发

如何防止 Googlebot 淹没网站?

我在中间的专用服务器上运行一个内容丰富但流量很少的网站. 有时，Googlebot 会踩踏我们，导致 Apache 将其内存用尽，并导致服务器崩溃. 我怎样才能避免这种情况? 解决方案 在谷歌网站管理员工具上注册，验证您的网站并限制谷歌机器人 提交站点地图 阅读谷歌准则:(if-Modified-Since HTTP 标头) 使用robot.txt来限制从机器人到网站某些 ..
发布时间：2021-06-15 19:23:25 其他开发

SEO:Google bot是否在隐藏的div中看到文本

我的网站上有登录/注册弹出窗口，默认情况下它们位于隐藏的div中. 根据 Google SEO和隐藏元素 googlebot不应看到. 但是Google网站管理员工具说关键字“电子邮件"和“密码"是网站上的热门关键字. 为什么会这样呢?为什么Google漫游器会看到它们? 我是否应该担心排名靠前的关键字的相关性? 解决方案 是的，由于它是HTML格式，因此Googlebo ..
发布时间：2021-02-15 18:47:37 其他开发

Google如何知道您在伪装?

我似乎找不到有关Google如何确定您是否为这与 seo的合法网址伪装上的问题有关.如果文本内容完全相同，但是呈现方式不同(1995年样式的html与ajax与Flash)，那么隐身真的存在问题吗? 谢谢你穿上这个. 解决方案 据我所知，Google如何准备搜索引擎结果是秘密的，并且在不断变化.欺骗不同的用户代理很容易，因此他们可以这样做.在使用Javascript的情况下，它们实际 ..
发布时间：2020-11-27 05:08:42 其他开发

用于图像加载的Ajax导致404错误

我们有一个页面，其中包含超过1000张图像，每页仅显示10张图像，当人们“看到图像"时，也使用数据表加载了ajax. 一切正常，但是在Google网站管理员工具中，我仅收到数千个404错误，页面如下: http://example.com/ajax/%5C%22http:%5C/%5C/example.com%5C/image%5C/1937%5C/image-name%5C%22 当然，如果我转 ..
发布时间：2020-11-25 19:44:32 前端开发

在向用户提供用户友好内容的同时，如何为Google返回正确的404?

我要在此和超级用户之间回弹.如果您觉得这不属于这里，请原谅. 我正在观察此处中所述的行为-Googlebot正在请求随机网址在我的网站上，例如aecgeqfx.html或sutwjemebk.html.我确定我不会从网站上的任何位置链接这些URL. 我怀疑这可能是Google在探究我们如何处理不存在的内容-引用链接问题的答案: [google is requesting ran ..
发布时间：2020-11-25 19:44:01 其他开发

Google可以抓取301页吗?

Google或任何其他爬网程序是否有可能对返回301状态代码的页面进行爬网并编制索引? 我在google上看到了一个页面，该页面有301个月的历史了.但是，该页面在索引中的缓存日期是几天前的. Google可以忽略301并抓取页面内容吗? 解决方案 Google始终抓取重定向目标，HTTP 301也不例外.没有比一个员工的讨论帖. Google Search Appliance ..
发布时间：2020-11-25 19:19:32 PHP

过载服务器的HTTP状态代码

有时我的网站的服务器负载过大. 我应该发送哪个HTTP状态代码给访问我网站的Googlebot? " 269晚些时候回叫"是否适合这种情况，或者 503服务不可用?或者您还有其他建议吗? 解决方案 503表示该服务暂时不可用，因此适合在服务器超载时使用. http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html Wikipe ..
发布时间：2020-11-24 23:31:45 其他开发

Googlebot何时执行javascript?

我在多个域上有一些单页Web应用程序，这些应用程序严重依赖javascript/ajax来获取和显示内容.根据日志和搜索结果，我可以知道googlebot在某些域上运行javascript，而在其他域上则不运行.在某些情况下，它索引了仅在js上可用的所有内容，甚至似乎根本没有在运行js. 有人可以告诉我googlebot如何决定要运行的js，是否可以通过其他方式在其他域上运行js? P ..
发布时间：2020-11-02 01:39:05 前端开发

Angular2应用程序:由于Google未加载页面内容而获取

我正在使用基于Angular2的Web应用程序.我使用Angular CLI生成应用程序，然后将其构建为产品.我已经在AWS S3&云前.当我使用网站管理员提供的“以Google身份获取"工具时，它仅显示Loading.... Googlebot不能抓取我的网站吗? 解决方案 也有类似的问题.我相信Google-Bot不支持现代JS.我只是激活了angular.io建议的所有垫片，请 ..
发布时间：2020-08-13 03:32:02 其他开发

如何设置只允许网站默认页面的robot.txt

说我在 http://example.com 上有一个网站.我真的很想让机器人看到主页，但是其他任何页面都需要阻止，因为它对蜘蛛毫无意义.换句话说 http://example.com &应该允许 http://example.com/，但是 http://example.com/anything 和此外，如果我可以允许某些查询字符串传递到主页，那就太好了: http://example.c ..
发布时间：2020-07-31 06:02:39 其他开发

使用Cookies搜索引擎进行的本地化是否兼容?

我正在对网站进行本地化.我本来打算将cookie设置为首选语言，然后显示相应的语言.而且，如果未设置cookie，它将使用用户浏览器设置的首选语言标题-如果未设置标题，则默认为英语. 那么-Google的机器人如何工作?它将以所有在标题中设置的不同语言对每个网站进行一次爬网，以便获取网站的每个版本，甚至设置标题吗?如果没有，那么我是否必须重新组织所有这些以便使用基于URL的语言选择器(www ..
发布时间：2020-05-03 05:06:53 其他开发

使用jQuery更改schema.org微数据?

由于 Googlebot在解释JS方面的最新进展，现在是否可以通过以下方式更改 schema.org微数据(即itemprop) jQuery吗? 这里有一个类似的问题:是否可能要使用jQuery更改Microdata itemprop吗?-但这是在Googlebot上面提到的最近改进之前. 解决方案 schema.org，RDF，微数据等旨在为机器提供上下文和信息.它为他们提供了一 ..
发布时间：2019-11-18 11:50:56 前端开发