sitemap的 基础问题,不太忙的大神劳烦看一眼。

下载了sitemapx 如果今天制作了一批sitemap网址如何保证明天再抓取的时候没有重复网址被抓取,小爬虫什么的 我也没发现问题这方面相关处理方法 难道抓取日志会有记录么。

0 人参与回答
该问题还没有收到回答 :(
没有更多内容了
我来回答
sitemap的 基础问题,不太忙的大神劳烦看一眼。
匿名回答
我要提问 我来回答