森林 发表于 2006-3-16 10:29:55

对火车采集的几点建议！

1.网址采集时最好是使用分页通配符。（虽然有(*)生成连续网址。但经测试，如果生成的网址中有些页面目标站删除后。火车采集就停在那里了。这样不方便）
2.最好配一个AC数据库用于记忆已经采集过的网址，这样避免重复采集！
3.登陆设置是否考虑更加优化！
4.(与第1相关)最好能使用自定义规则下一页的方式。以避免有的分页规则是按篇幅分页的。比如pageid=25这一页就有25个主题，下页就是pageID=50
5.导出采集规则希望能加上！

[ 本帖最后由 森林 于 2006-3-20 13:58 编辑 ]

lifulon 发表于 2006-3-19 23:00:47

同意第2点

wl44039 发表于 2006-3-21 09:55:56

1，4这样的问提我遇到过，看能不能改进成 在一定时间内不能采集就跳过采集下一个
页: [1]
查看完整版本: 对火车采集的几点建议！