百度蜘蛛大量抓取列表分页怎么办?

如下图,我是B2B网站,百度每天大量抓取用户商铺信息列表分页,带宽加到10M了都一样跑满。有抓取是好事,但site当天新收录的信息又寥寥无几。这个怎么破,要root分页抓取吗?求高手解答!


48 人参与回答
化大阳光

建议申请熊掌号提交,很快会收录,而且搜出来也会有熊掌号标志。

玫莉蔻

多提交数据看看

无限网赚

注册熊掌号:在天级收录那里提交文章链接,一般24小时之内就收录了.

PS
PS

有蜘蛛抓取不是好事吗

lamp914

坐等大佬

小耳朵

主动提交

daniel

建议做主动提交,像百度无限抓取分页这种,过两天就没事了。 

神州行

主动提交,可以去站长平台绑定自己网站,自己提交链接。或者申请熊掌号进行提交

维康国际°小胡

管他呢  多更新内容吧

jnke

建议申请熊掌号提交,很快会收录,而且搜出来也会有熊掌号标志。QQ截图20190419154159

best

楼上说得对,提交熊掌号,提交链接,就好了

*^_^*

路过学习一下

钟小编

微信截图_20190419171340

建议开通熊掌号,这样就可以保证收录了。www.gxsbzj.com,我的熊掌号就是不够用

林龙

一般第一页的url后面是默认不带页码的,如果抓取过多可以把带页码的url写到robots里。

另外推送的话可以选择熊掌号里的周级推送,curl方式可以每天推送500W条,3w也就是一会的事。

栗国杰

以前的搜外大佬基本都没来过了,我也基本一年才登陆几次

阿斯很低

这不是挺好的吗有蜘蛛抓取

蘋果與蛇

有蜘蛛爬是好事啊,恭喜了

许

熊掌号链接提交作用大

来扯bie吗

站长平台与熊掌号同步提交

王建波

说到底还是收录问题  楼上的说到熊掌号都可以解决 

随风

提交熊掌号,做主动提交

Rush forward

新站一月  收录90多篇 现在一下子到了30多篇 这是咋回事 www点hichiba点com

九二零

我的也出现了这种情况,栏目页收录了好几条列表,这样会不会影响权重

丁宇

不是特别理解你的担忧是什么。

1、抓取太多,你的宽带不够用了?

2、抓取了大量重复页面,权重分散?


如果是第一个的话,那就禁止呗,第二个的话,百度有个重要页面声明,建议可以试一试

林美佳

我们每天都被蜘蛛爬很久

小亮

去熊掌号提交链接

杨洋

熊掌号提交也得看内容质量,不然也会被拒掉

小洛洛可爱多

robots里屏蔽一下就可以了

护肤使者

做个自动推送试试

汗蒸房装修

这个没有关系吧?百度能够收录就是好事啊,最怕它不收,看我的网站,www.tdysjt.com除了首页,啥也没有收,一个月了

飞小度就是我

人家是b2b网站,请教大神们怎么提交熊掌号?

鲁梓源1号

提交熊掌号,做主动提交

hejun

我就是自己主动提交的,效果很好

艺术点评

熊掌号天级提交,每天主动的提交

果冻

那就你把个人资料页面优化下title。

匿名用户
匿名用户

主动提交链接试试

博亿铭牌

啊啊,好哒的一个蜘蛛啊,哦,原来你是只猪啊!

南瓜侠

我就服楼上一大堆人,楼主都说了做了熊掌号了的,,,,一直都在说熊掌号...

o(≥﹏≤)o

主动提交,可以去绑定自己网站,注册熊掌号。。

showhand.

这样不好吗

遇见

熊掌号 这么厉害了?

zuma

建议主动提交这样比较好

崔~

有一种叫蜘蛛协议,限制抓取就好了,不会操作可以来看,

这种东西很简单的,轻松解决从夫抓取的问题

-
-

提交熊掌号 主动提交链接 

高周波

熊掌号绑定后可以提高收录速度

A1读你👈

啊啊啊,熊掌提交天级收录会比较快点

P4ssW0rd

百度现在收录机制是要高质量的文章,百度不收录只能说明你每天更新的文章不够好! 而且还有一种情况是这样的今天更新一篇文章 明天更新一万篇文章也是不可以的! 今天六点更新 明天十二点更新也是不行的 ,要有好的更新规律


华美波丽减肥网 http://www.hmbolim.com/ 

无为

有事没事提交一下,应该会有点用 http://bsgsizu.com/article.php?act=detail&id=1275

没有更多内容了
我来回答
百度蜘蛛大量抓取列表分页怎么办?
匿名回答
我要提问 我来回答