一般的网站都有robots.txt吗?

我的朋友给我的一个网站,我看了下根目录下面有个robots.txt,里面的内容是:
User-agent: *
Allow:
Allow: /?
Allow: /domains/erpkingdee.com/public_html/
Sitemap: http://www.erpkingdee.com/sitemap.xml

4 回答
三木
高级机器陈琥 等 2 人赞同该回答

有的网站,不想让蜘蛛抓取某些内容,就将这个内容的规则写在robots里面。比如一些动态链接,js,或者死链接等。

一般正经做seo的网站都会有robots文件,这个文件是减少蜘蛛抓取没有必要的内容,你说的这个网站的robots写和不写没有什么区别。

你要是不写,默认的是搜索引擎可以抓取任何页面。如果你不想让抓取某些页面可以写成Disallow:规则

你可以查看下http://www.seowhy.com/robots.txt

袭明
付科凯 等 1 人赞同该回答

一般网站都有robots.txt吗?
查看解释:什么是robots.txt文件?

关于这位朋友的robots写法,没有绝对错误,但不是一个好的robots写法。
参照:robots.txt文件用法举例
郭小青

写了相当没写,允许全部搜索引擎访问任何页面。

布布

你朋友写错了吧,这样写的话。跟不写区别不大啊

我来回答
一般的网站都有robots.txt吗?
匿名回答
最新问题
  • 百度的索引是什么? (1 小时前)
  • 怎么给网站的首页集权? (1 小时前)
  • 文章是不是要定时定点定量更新? (1 小时前)
  • 关于企业文章的取材问题,这么写可以吗? (1 小时前)
  • 柚米米与赚米米同渠道打造爆款,安全冲刺双11,重点推荐平台 (1 小时前)
  • 首页怎么生成排名的关键词,高分求解 (3 小时前)
  • 其他问题
  • 腕表之家11-12被严重降权,高手进来分析! (7 回复)
  • 提交URL收录被360驳回的问题 (1 回复)
  • 为什么顶级域名和二级域名的robots内容不一样? (1 回复)
  • 想学seo,哪里教的比较好啊!!!1 (5 回复)
  • 如何通过长尾关键词的排名来判断这个内容页权重的高低? (1 回复)
  • 神奇的问题,为什么我的网站内页文章全部收录都有“翻译此页”?百度官方说不影响展现,怎么回事? (1 回复)
  • ------------ 这是底线啦 -----------
    我要提问 我来回答