robots.txt文件对搜索引擎真的有效果吗?

以前我是不怎么看网站日志的,然后最近看了一下,结果发现那些蜘蛛都是乱爬的,很多网站根本没有的目录地址都会去爬取,所以我就想写了一个robots.txt给蜘蛛,然后把他们乱爬取的都给禁止了,然后又设置一些允许的规则,那些都是我网站会出现的一些链接。

求大佬们来看看:

User-agent: *
Disallow: /cache
Disallow: /images
Disallow: /inc
Disallow: /js
Disallow: /mdparse
Disallow: /player
Disallow: /template
Disallow: /k
Disallow: /.
Allow: /?m=vod-type-id-*.html*
Allow: /?m=vod-type-id-*-pg-*.html*
Allow: /?m=vod-detail-id-*.html$
Allow: /?m=vod-play-id-*-src-*-num-*.html$
Allow: /index.php?m=vod-search
Allow: /index.php?m=vod-list-id-*-pg-*-order-*-by-*-class-*-year-*-letter-*-area-*-lang-.html$
Allow: /?m=gbook-show.html$
Allow: /index.php?m=gbook-show-pg-*.html$
Sitemap: http://www.gqyyzx.com/index.php?m=map-baidu.html
Sitemap: http://www.gqyyzx.com/index.php?m=map-google.html
Sitemap: http://www.gqyyzx.com/index.php?m=map-360.html

这是网站:高清影院[?]

1 人参与回答
随心

淘宝全面禁止蜘蛛抓取,百度照样抓取,自己体会。

没有更多内容了
我来回答
robots.txt文件对搜索引擎真的有效果吗?
匿名回答
我要提问 我来回答