允许搜索机器人在没有会话ID的情况下抓取您的网站
Google的网站站长指南状态 允许搜索漫游器在没有会话ID或跟踪其通过网站路径的参数的情况下对您的网站进行爬网.这些技术对于跟踪单个用户的行为很有用，但是漫游器的访问模式是完全不同的.使用这些技术可能会导致您的网站编制索引不完整，因为漫游器可能无法消除看似不同但实际上指向同一页面的URL. 我的ASP.NET 1.1站点使用自定义身份验证/授权，并且在很大程度上依赖于会话向导(类似于
..
search-engine-bots相关内容
从Google动态网址中删除网页-robots.txt
我在Google上有一些链接为 domain.com/results.php?name=a&address=b 结果页面/参数现已重命名，我需要删除google等上的现有链接. 我尝试了 用户代理:* 禁止:/results.php 在robots.txt中，然后在Google网站管理员上添加了要删除的网址: domain.com/results.php 它说它
..