robots对网站有什么用?

robots在网站中有什么作用

10 人参与回答
最佳回答
姜广科

robots.txt文件是网站与搜索引擎蜘蛛爬虫之间的一份协议,用txt文本格式告诉蜘蛛爬虫网站有哪些页面可以被抓取,哪些页面不可以抓取的权限。

正常搜索引擎访问一个站点的时候,首先会先看站点有没有robots.txt文件,如果没有则蜘蛛爬虫会抓取网站上的所有数据;如果有蜘蛛爬虫会根据robots.txt文件内容来确定自己能够抓取访问的文件有哪些。

如果运用好robots.txt文件对于seo优化来说也是作用挺大的。

泰山珠宝镶嵌

通俗一点讲:robots是爬虫抓取,蜘蛛不抓取何来的收录,不收录何来的排名,懂?

极限森林

相当于告诉爬虫:该网站哪些内容可以抓爬,哪些内容不可以抓爬

匿名用户
匿名用户

蜘蛛进来第一个抓取的就是robots(还是sitemap忘了),如果不做robots,蜘蛛会抓取很多后台数据,甚至后台路径,之前有个站没做robots,然后收录了后台路径

Blank 。

robots文件 是百度蜘蛛进来 抓取的第一个文件  在这里知道可以抓取哪些文件 那个文件不可以抓取

路过蜻蜓

告诉蜘蛛哪些内容可以爬取,哪些不能爬取

蘋果與蛇

这个叫蜘蛛协议,可以规定蜘蛛访问你站点的哪些页面

-
-

跟蜘蛛的一个协议 告诉蜘蛛该抓去哪些 不该抓取哪些

https://yanshuang.phislin.com/

昔年

robots协议就是爬虫协议,告诉搜索引擎哪些是能够抓取的,哪些不能抓取的

观沧海

爬行 啊

没有更多内容了
我来回答
robots对网站有什么用?
匿名回答
我要提问 我来回答