发新话题
打印

[3.2版] 管理采集网址列表的建议

管理采集网址列表的建议

意见的背景是,因为很多网站设定了,刷新时间。因此如果采集频率高了,会出现很多文章采集不成功。比如chinahrd.net。必须设置到20000ms才可以,但是这样效率太低。
然后我就依然用200ms采集。采集之后我想删除本地数据,把本地数据里面那些没有成功采集的记录删除
但是火车头只能删除本地数据,不能删除网址记录。
我的意思是根据用户的购选删除网址记录,便于重新采集

TOP

发新话题
Powered by Discuz! 6.0.0  © 2001-2007 Comsenz Technology Ltd
Processed in 0.178723 second(s), 6 queries, Gzip enabled
当前时区 GMT+8, 现在时间是 2008-11-24 03:13 皖ICP备06000549 清除 Cookies - 联系我们 - 火车采集器官方站 - 静态归档