如何配置 robots.txt 以允许一切? [英] How to configure robots.txt to allow everything?

问题描述

我在 Google 网站管理员工具中的 robots.txt 显示以下值:

My robots.txt in Google Webmaster Tools shows the following values:

User-agent: *
Allow: /

什么意思?我没有足够的知识，所以寻求你的帮助.我想允许所有机器人抓取我的网站，这是正确的配置吗?

What does it mean? I don't have enough knowledge about it, so looking for your help. I want to allow all robots to crawl my website, is this the right configuration?

推荐答案

该文件将允许所有爬虫访问

That file will allow all crawlers access

User-agent: *
Allow: /

这基本上允许所有用户代理(*)访问站点的所有部分(/).

This basically allows all user agents (the *) to all parts of the site (the /).

这篇关于如何配置 robots.txt 以允许一切?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！