robot.txt禁止的内容搜索引擎仍然爬行

采用WordPress程序搭建的网站,在网站根目录也放了robot.txt文件,robot.txt文件写了禁止搜索引擎爬行主题目录下的文件,可是在网站日志中仍然看到爬行。请各位大神看看,是robot.txt写错了呢还是其他原因?谢谢各位!
robot.txt具体的写法

robots.txt for http://www.******.net

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/

User-agent: Googlebot
Disallow: ///feed/
Disallow: ///*/feed/

User-agent: Baiduspider
Disallow: ///feed/
Disallow: ///*/feed/

Sitemap: http://www.*******.net/sitemap.xml
Sitemap: http://www.*******.net/sitemap_baidu.xml

日志中看到爬行的主题页面的内容,如图所示

4 回答
晚街听风
等 1 人赞同该回答

到站长平台点击robots选项中的“检测并更新”,一般两天恢复过来

真诚待人
《一帆》 等 1 人赞同该回答

其实这个东西百度也不可能那么严的,如果你限制的在你网站上有链接的话,也会被抓取,参考问答库 https://ask.uguu.com

刘崇喆

robots.txt有一定的生效时间的,一般是48小时。
另外,检测一下是否有错误的设置

彭增乐

robots生效一般需要1周到3周左右。

我来回答
robot.txt禁止的内容搜索引擎仍然爬行
匿名回答
最新问题
  • 为什么我的网站排名,一会在第一页,一会在第五页 (2 小时前)
  • 百度知道的回答中发布的链接,算有效外链吗? (4 小时前)
  • 百度知道,在回答中插入的锚记链接有用?网站会不会被K (4 小时前)
  • HTTPS改造后,怎么百度收录的链接下面怎么熊掌网站名片消失了? (4 小时前)
  • HTTPS改造后,怎么百度收录的链接下面怎么熊掌网站名片消失了? (4 小时前)
  • 4年多的老站要大改各种模块,会对网站有影响吗?目前刚开始做优化。 (5 小时前)
  • 其他问题
  • 免费推广——信息网发帖需要了解哪些问题? (3 回复)
  • 大家都选择的哪家的广告联盟需要备案的就算了,嫌麻烦!现在做站,什么类型的站流量比较大! (1 回复)
  • 关键词批量监控工具哪个好? (3 回复)
  • 自己做公司的网站,一个新网站一个老网站怎么没有一点儿思路了? (5 回复)
  • 护肤品网站如何做好优化? (2 回复)
  • 怎么利用网站推广app (1 回复)
  • ------------ 这是底线啦 -----------
    我要提问 我来回答