robot.txt禁止的内容搜索引擎仍然爬行

采用WordPress程序搭建的网站,在网站根目录也放了robot.txt文件,robot.txt文件写了禁止搜索引擎爬行主题目录下的文件,可是在网站日志中仍然看到爬行。请各位大神看看,是robot.txt写错了呢还是其他原因?谢谢各位!
robot.txt具体的写法

robots.txt for http://www.******.net

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/

User-agent: Googlebot
Disallow: ///feed/
Disallow: ///*/feed/

User-agent: Baiduspider
Disallow: ///feed/
Disallow: ///*/feed/

Sitemap: http://www.*******.net/sitemap.xml
Sitemap: http://www.*******.net/sitemap_baidu.xml

日志中看到爬行的主题页面的内容,如图所示

4 人参与回答
晚街听风
等 1 人赞同该回答

到站长平台点击robots选项中的“检测并更新”,一般两天恢复过来

真诚待人
《一帆》 等 1 人赞同该回答

其实这个东西百度也不可能那么严的,如果你限制的在你网站上有链接的话,也会被抓取,参考问答库 https://ask.uguu.com

刘崇喆

robots.txt有一定的生效时间的,一般是48小时。
另外,检测一下是否有错误的设置

彭增乐

robots生效一般需要1周到3周左右。

没有更多内容了
我来回答
robot.txt禁止的内容搜索引擎仍然爬行
匿名回答
我要提问 我来回答