Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。

Robots TXT文件我做好了 问题是在哪里提交?

起风了 回答了该问题 · 4 人参与 1 天前

怎样查看网站robots.txt内容

大李先生 回答了该问题 · 4 人参与 1 天前

1 如何把已经收录的收录了的页面删除

张德鸿 回答了该问题 · 3 人参与 2 天前

通过站长平台robots检测,提示robots.txt请求失败

Clin 回答了该问题 · 2 人参与 3 天前

robots.txt文件不存在文件错误是什么情况?

新麦互联 回答了该问题 · 2 人参与 2 天前

请求失败,我们已记录此问题并将尽快处理,请刷新页面或稍后再试。

新麦互联 回答了该问题 · 11 人参与 2 天前

网站上线6个多月了,大部分关键词有排名了,现在主要是怎么排到前面几个页面去?

擎川输送带 回答了该问题 · 9 人参与 1 周前

robots.txt文件被限制指令如何解决?

沽无名 回答了该问题 · 3 人参与 3 天前

robots对网站有什么用?

观沧海 回答了该问题 · 10 人参与 4 天前

3 robots问题

花路 回答了该问题 · 16 人参与 6 天前

网站都上线两个月了,一条索引都没有

老树 回答了该问题 · 22 人参与 1 周前

网站降权了怎么做?我改了标题,要等多久能恢复?

发布了该问题 · 4 人参与 6 天前

几个域名绑定一个网站,有什么办法可以让百度只收录其中一个域名,别的域名都不收录?

乌云典当记 回答了该问题 · 6 人参与 6 个月前

之前犯了个错误,ROBOTS把图片给禁了,昨晚刚刚改回来,这样会有利于收录吗?

daniel 回答了该问题 · 2 人参与 2 周前

我的网站现在还有移动端二级目录

石帮主 回答了该问题 · 2 人参与 2 周前

为什么我的网站百度收录就很多,360就只收录一个呢?求解

路过蜻蜓 回答了该问题 · 8 人参与 1 周前

今天百度的蜘蛛是不是抽风了?抓取诊断一直是抓取失败

神州行 回答了该问题 · 2 人参与 2 周前

3 急求大神帮解答,搜索关键词时候网站描述说的是robots指令了,这个怎么解决

赵大宝 回答了该问题 · 17 人参与 2 周前

搜狗蜘蛛只抓网站首页和robots文件,不抓取其他任何内页,这是为什么?

无尽空虚 回答了该问题 · 5 人参与 5 年前

求大神解答:百度蜘蛛爬取了大量不存在的404页面怎么回事?

malihua 回答了该问题 · 4 人参与 11 个月前