希望有个既支持倒序又支持随机发布功能

xiongyujie37

简洁一点来讲

比如我每天都会跟踪网易新闻

每天采集到的帖数不一样，比如 今天采集到200篇

可是我只想发布50篇，而这50篇只能从今天采集到的200篇中产生


目前火车头还做不到这点，要么就倒序发布。要么一随机，就从整个采集内容中随机了。。。

沦陷今生

单独复制一个同样的规则出来，只采集当前新闻，使用随机发布。

xiongyujie37

呵呵

如果这样的话

比如第一天，采集200 发布 50

剩余 150 没有发

第二天又采集200 发布50

这个时候发布的50  是从 当天采集的200中产生，还是从第一天150未发+第二天200=350中产生呢？

沦陷今生

删除掉本地采集数据，每天都是采集当天的。

xiongyujie37

如果 100个这样的任务呢？

今生同学，有功夫每日删除100下吗？

呵呵

xiongyujie37

这样做的目的

比如：

每天自动跟踪  网易 地方新闻 网易 国际新闻  网易 社会新闻 栏目

因为都是网易的，规则全站通用，而为了避免蜘蛛 视我们为作弊

自从这些内容里面随机抽取一些发布就可以，不那么嫩  全部采集  

但是，问题就是 一随机，就把老的没有发布的也拿出来随机了

所以，提个建议，就是当日当次更新中随机产生

沦陷今生

难怪了，可以写个小程序辅助，每天定时自动整理所有任务数据库。

lovebaidu

小程序可以外挂火车吗？

覆雨翻云

支持这个功能。

覆雨翻云

建议可以多任务一起进行SQL处理，像我提到的这个一样，应该就可以。
http://bbs.locoy.com/spider-31506-1-1.html

[ 本帖最后由 覆雨翻云 于 2008-11-21 16:57 编辑 ]