建议增加采集发布同步进行的功能
火车的采集总是一口气解决一个问题的显示一口气采集所有网址,然后一口气采集所有内容再一口气全部发布。。。。
但是有个问题是,当一次采集的记录比较多时级麻烦了
比如我现在的情况,总共有任务40个,每个任务采集的记录数都将近8000条(不是采集别人的站,自己网站的数据转移,换系统呢)
为了不拖垮目标站也为了不让服务器判断被攻击而封掉本地IP,所以设置内容采集每分钟1条
然后问题就出来了,每个任务都那么多要采集,还都是1分钟一个内容,得等到啥时候?
时间跨度久点无所谓,但是没法保证新站的正常更新啊
所以个人感觉内容采集跟发布同时进行还是很有必要的,采集时间可以很长,但是每采集到一条内容就发布一条
这样对网站来说更新很及时很规律,不会出现目前这样的“暴饮暴食”现象,要么一点没有,要么一次撑爆
采集大多数时候就是为了网站更新,及时、规律的更新对网站的生存是很重要的说
搜索方面的便宜都能占到不少 这个建议可以用。我也是在换网站。采集内容就要花不知多少时间。 历史帖子回顾中。
页:
[1]