建议加入采集列表过滤功能.
现在所有采集器的通病,为什么是通病? 因为大部分采集器都是仿造火车头去做,所以把火车头的一些毛病也给带上了.列表有许多不需要的连接,应该过滤掉,而我奇怪的是为什么采集器不提供列表过滤功能,
而仅仅靠 必须包含 或不得包含 和页面区域匹配,根本无法完成特殊的采集..
举个最简单的例子
一个列表页面.
有一篇文章,,但这文章下面有一个阅读全文,,连接地址与文章地址一模一样,,仅仅靠那个必须包含,不得包含,功能根本无法过滤掉这些连接.
但采集器不管那些,该采集的都采集来..这样采集下来的文章连接就重复了一条..如果列表文章多,那么重复的垃圾数据量得有多大?
详细参考地址.http://www.d1999.com/SoftWare/List9_1.Html
看谁能把他无重复的把文章地址获取下来.
所以建议火车头加强列表获取连接的功能. 比如加入过滤规则...
或加强 <必须包含,不得包含>功能,,让这个功能支持多关键字过滤.而不是单一的一个关键字. 当然，这也确实有点麻烦！
不过，如果地址重复了，火车在采集地址列表时会过滤这些重复的地址！
请在采集地址时注意一下！
请设置 选项设置 系统设置 二级地址过滤！
另外，有一个很郁闷的事情，回复者为什么不能上传图片！！！
火车头，快来加分！！ 看不出这个有什么难的,一,地址重复的火车会过掉,二就算那个不是重复的,也可以正则采集同与不同的部份 我这个只是个简单的例子,,实际使用中会碰到很多特殊的列表,,,许多垃圾连接无法过滤.. 烦人的很呢。我也遇到了。
必须包含的地址：/Article/(*).html
但是这样却同时采集了多级路径
如：/Article/1/1/1/SADA.html
问题就处在通配符上，如果通配符能够设置不同级别的就好了，像上面的，如果以/为边界作为通配符的作用范围，那就再好不过了 支持火车。。。。历史帖子回顾中。
页:
[1]