Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。

3 百度蜘蛛有一个月来没来网站了,什么原因呐

擎川输送带 回答了该问题 · 19 人参与 2 天前

1 网站有毒吗,竟然没人换友链???

小客服 回答了该问题 · 9 人参与 1 天前

关于网站排名需要注意的问题

hungry心 回答了该问题 · 8 人参与 3 天前

robots里面加$这个是什么意思?可以不加吗?

风花雪月醉洞庭 回答了该问题 · 2 人参与 6 年前

1 怎样才知道网站被收录的页面是哪些页面呢?

Harry 回答了该问题 · 9 人参与 4 天前

网站一直不收录,大神进来喝杯茶

请采用实名,真诚交流学习。 回答了该问题 · 12 人参与 1 周前

robot里边如何屏蔽外部的链接?

郑雄伟 回答了该问题 · 3 人参与 1 周前

3 网站改版之后不收录

西北国际项目管理~总经办 回答了该问题 · 6 人参与 1 周前

1 http://www.xiaozu365.com/q/index.html#/login 这个robots文件这样写对不对

湖北千源世家装饰 回答了该问题 · 4 人参与 1 周前

网站就是不收录robots没设置对?

笔下年华 回答了该问题 · 1 人参与 2 周前

18 网站老域名重新改版后1个月只收录首页(百度、360都不收录)

陈贤达 回答了该问题 · 7 人参与 2 年前

1 关于手机移动端的问题

SEO帽子戏法【上创策划】 回答了该问题 · 4 人参与 3 周前

网站robots.txt文件协议与网站安全问题,大家怎么看?

沈亮兴 发布了该问题 · 3 人参与 6 年前

1 如果把sitemap.xml写进了robots.txt里,那蜘蛛是不是就只爬sitepmap里有的链接,sitemap里没有的链接就不爬了?

风逝 回答了该问题 · 4 人参与 1 个月前

3 我的网站想改版,改版期间我需要注意什么? 闭站保护还是robots文件静止蜘蛛抓取?

古风坊 回答了该问题 · 11 人参与 2 个月前

3 robots生效时间一般多久,有办法加快他的生效时间吗

王威威 发布了该问题 · 8 人参与 1 个月前

1 robots疑问 主域名和二级域名 在同一个目录,如何屏蔽某一个二级域名的收录?

陈程 回答了该问题 · 5 人参与 2 个月前

新站为什么上线一个月了都还没有收录首页??

浙江凯信光电科技有限公司 回答了该问题 · 10 人参与 3 年前

1 为什么网站会屏蔽蜘蛛抓取呢?

Ralap 回答了该问题 · 4 人参与 2 个月前

1 robots.txt文件有什么必要呢?一般什么情况需要使用robots.txt文件?

升学君 回答了该问题 · 8 人参与 2 个月前