强烈建议火车头采集器将来源页地址与新链接地址同时入“采集到的网址”库

xeszero

就是用自定义获取新的链接时，将来源地址（列表页）与对应产生的新链接地址同时入库。

理由见：http://bbs.locoy.com/spider-67248-1-2.html



比如原地址h t t p://w o.asp 通过用户自定义规则 生成了新的链接  ht t p:// ni.html 和 ht t p://ta.html

那么采集到的网址数据库应增加一个原地址字段，像这样：

原地址                                page_ u r l
h tt p://w o.asp                  http://ni.html
http://wo.asp                   ht t p://ta.html

xeszero

目前火车头采集器数据库中是只有新链接地址的，对于这个新链接来源与哪个源页面无法查找。尽管从任务窗口能看到。

heling0223

帮你一起建议一下

georgezheng

目前我觉得你可以把这个作为采集字段就OK了.