whoamixx 发表于 2013-7-25 14:24:03

火车头的列表页url采集是不是应该也加个线程数和间隔毫秒的控制。

火车头的列表页url采集是不是应该也加个线程数和间隔毫秒的控制，有些网站防采集就做了同一时间 同ip（1秒内）连续访问几个页面过快 就会禁止访问 有的防火墙也有这功能 采集内容和发布内容有线程控制 url采集的时候是不是应该也加个比较好

caijihome 发表于 2013-7-29 21:07:05

以前我也想的跟楼主一样，实际上是错误的。一个列表 采集了一百个网址，还是一个列表，就好比你把1个源代码部下载本机，然后再提取，没有冲突，还是一线程。所以不存在这个问题吧，我觉得，除非是非常变态的网站，防下载的，会出现这个问题。

caijihome 发表于 2013-7-29 21:08:48

其实是这样的。把采集频率 限制到测试网址功能，我觉得才是当务之急，还有点用。

lbjyuer 发表于 2016-2-10 15:37:33

历史帖子回顾中。
页: [1]
查看完整版本: 火车头的列表页url采集是不是应该也加个线程数和间隔毫秒的控制。