发新话题
打印

[3.2版] 建议:增加一个实现有选择地采集的功能

建议:增加一个实现有选择地采集的功能

建议:增加一个实现有选择地采集的功能,应该很容易实现----无非就是采集器中加一个判断语句(IF 标签A、B LIKE'%关键词1、关键词2%'THEN ...)而已。例如,如果标题或内容标签中含有“房地产”或“土地”关键词,就采集入库;如果标题或内容中不含有“房地产”或“土地”关键词,就不采集入库。

TOP

如果已经采集进来再去筛选,就耗费时间、占用数据库空间.也就是说,在进行采集之前,先执行这个筛选语句,符合的则采集。只要事先设置好筛选规则,完全可以做到自动的、有选择地采集。 不是在后续的筛选,要事先。思考:如有8000个自动运行的采集任务,1年365天,你每次事后人工去做

TOP

期待下个补丁解决这个问题!!!!!!!!!!!!!!!!!

TOP

不错的建议呼的。
http://www.qinday.com  承接高难度采集业务,数据专卖,模块制作,小站大站天下站,站站采集,小单大单长期单,单单承接! QQ:11281816 火车QQ交流群9482037

TOP

发新话题
Powered by Discuz! 6.0.0  © 2001-2007 Comsenz Technology Ltd
Processed in 0.169725 second(s), 6 queries, Gzip enabled
当前时区 GMT+8, 现在时间是 2008-9-7 19:44 皖ICP备06000549 清除 Cookies - 联系我们 - 火车采集器官方站 - 静态归档