[缺陷]又发现一个关于“网址列表”的问题。。。

cctext · 发表于 2008-12-4 23:05:39

火车现在同一个站点下面的多个任务都是公用一个网址数据表

问题来了。。

如果我有2个任务用到同一批网址（所取的内容不同），那只能删除了前一个任务的网址列表，才能进行下一个任务的采集。。。

否则网址重复，跳过或者不进行内容采集。。。

完毕。

懷念過去↑文 · 发表于 2008-12-4 23:06:56

没有发现！

我心 · 发表于 2008-12-5 07:52:10

这个要靠你自己的网站程序来处理了，火车头考虑那么多不就做的太臃肿了吗。

希望官方能够又自己的立场，将程序做成大众的，功能要简洁实用，不要高的太臃肿了。

比如：http://bbs.locoy.com/spider-32936-1-1.html

现在增加的缩略图这个功能选项有很多个设置建议取消了，而是放入第二步中（第二步中已经有此设置了）。

rq204 · 发表于 2008-12-5 11:52:21

如果这样，你可以放这两个任务在不同站点下．

akato · 发表于 2008-12-5 15:31:10

E 你的问题我遇到了
我目前的方法是将重复站点检测去掉并将重复多少条网址后跳过采集设为0

待采集完毕后用正则过滤重复行

帐号		自动登录	找回密码
密码			加入会员

[缺陷]又发现一个关于“网址列表”的问题。。。

评分

回复 1楼的帖子

[缺陷]又发现一个关于“网址列表”的问题。。。

评分

回复 1楼 的帖子

回复 1楼的帖子