Robots.txt 文件 [英] Robots.txt file

问题描述

我在我的 robots.txt 文件中使用此代码:

I am using this code in my robots.txt file:

User-agent: *

Disallow: 

但是，我的一个竞争对手正在使用

But, my one competitor is using

User-agent: *

Disallow: /

他的网站在 Google 上表现良好，排名第一.但我的网站没有排名.我已经检查了我网站上的所有内容，一切正常.但是我的竞争对手在谷歌的表现如何?robots.txt 文件不重要吗?

And his site is performing well in Google and on 1st rank. But my site is not ranking. I have checked everything in my site and it is OK. But how my competitor is performing well in Google? Is robots.txt file doesn't matter?

推荐答案

您的网站排名不取决于您的 robots.txt 文件.您只需告诉谷歌如何抓取您网站上的页面并将其编入索引.

Your site ranking is not depended on your robots.txt file. You just tell google how to crawl and index pages on your website.

网站所有者使用 /robots.txt 文件向网络机器人提供有关其网站的说明；

Web site owners use the /robots.txt file to give instructions about their site to web robots;

您的网站排名取决于许多因素，例如:

Your site ranking depends on many factors like:

• 关键字使用
• 网站结构
• 网站速度
• 在网站上花费的时间
• 入站链接数量
• 入站链接的质量

顺便说一下，这将阻止所有网络爬虫访问所有内容:

By the way this will block all web crawlers from all content:

User-agent: *
Disallow: /

这将允许所有爬虫访问所有内容:

And this will allow all crawlers to access everything:

User-agent: *
Allow: /

这篇关于Robots.txt 文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！