火车头的列表页url采集是不是应该也加个线程数和间隔毫秒的控制。

whoamixx

火车头的列表页url采集是不是应该也加个线程数和间隔毫秒的控制，有些网站防采集就做了同一时间 同ip（1秒内）连续访问几个页面过快 就会禁止访问 有的防火墙也有这功能 采集内容和发布内容有线程控制 url采集的时候是不是应该也加个比较好

caijihome

以前我也想的跟楼主一样，实际上是错误的。一个列表 采集了一百个网址，还是一个列表，就好比你把1个源代码部下载本机，然后再提取，没有冲突，还是一线程。所以不存在这个问题吧，我觉得，除非是非常变态的网站，防下载的，会出现这个问题。

caijihome

其实是这样的。把采集频率 限制到测试网址功能，我觉得才是当务之急，还有点用。

lbjyuer

历史帖子回顾中。