一般的网站都有robots.txt吗?

我的朋友给我的一个网站,我看了下根目录下面有个robots.txt,里面的内容是:
User-agent: *
Allow:
Allow: /?
Allow: /domains/erpkingdee.com/public_html/
Sitemap: http://www.erpkingdee.com/sitemap.xml

4 人参与回答
三木
高级机器陈琥 等 2 人赞同该回答

有的网站,不想让蜘蛛抓取某些内容,就将这个内容的规则写在robots里面。比如一些动态链接,js,或者死链接等。

一般正经做seo的网站都会有robots文件,这个文件是减少蜘蛛抓取没有必要的内容,你说的这个网站的robots写和不写没有什么区别。

你要是不写,默认的是搜索引擎可以抓取任何页面。如果你不想让抓取某些页面可以写成Disallow:规则

你可以查看下http://www.seowhy.com/robots.txt

袭明
付科凯 等 1 人赞同该回答

一般网站都有robots.txt吗?
查看解释:什么是robots.txt文件?

关于这位朋友的robots写法,没有绝对错误,但不是一个好的robots写法。
参照:robots.txt文件用法举例
郭小青

写了相当没写,允许全部搜索引擎访问任何页面。

布布

你朋友写错了吧,这样写的话。跟不写区别不大啊

没有更多内容了
我来回答
一般的网站都有robots.txt吗?
匿名回答
我要提问 我来回答