火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 3786|回复: 2

建议增加采集发布同步进行的功能

[复制链接]
发表于 2011-7-22 00:19:18 | 显示全部楼层 |阅读模式
火车的采集总是一口气解决一个问题的
显示一口气采集所有网址,然后一口气采集所有内容再一口气全部发布。。。。
但是有个问题是,当一次采集的记录比较多时级麻烦了

比如我现在的情况,总共有任务40个,每个任务采集的记录数都将近8000条(不是采集别人的站,自己网站的数据转移,换系统呢)
为了不拖垮目标站也为了不让服务器判断被攻击而封掉本地IP,所以设置内容采集每分钟1条
然后问题就出来了,每个任务都那么多要采集,还都是1分钟一个内容,得等到啥时候?
时间跨度久点无所谓,但是没法保证新站的正常更新啊

所以个人感觉内容采集跟发布同时进行还是很有必要的,采集时间可以很长,但是每采集到一条内容就发布一条
这样对网站来说更新很及时很规律,不会出现目前这样的“暴饮暴食”现象,要么一点没有,要么一次撑爆
采集大多数时候就是为了网站更新,及时、规律的更新对网站的生存是很重要的说
搜索方面的便宜都能占到不少
发表于 2011-9-24 21:48:42 | 显示全部楼层
这个建议可以用。我也是在换网站。采集内容就要花不知多少时间。
发表于 2016-2-8 16:22:33 | 显示全部楼层
历史帖子回顾中。
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2025-4-21 07:02

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表