xeszero 发表于 2011-11-25 12:58:07

强烈建议火车头采集器将来源页地址与新链接地址同时入“采集到的网址”库


就是用自定义获取新的链接时，将来源地址（列表页）与对应产生的新链接地址同时入库。

理由见：http://bbs.locoy.com/spider-67248-1-2.html



比如原地址h t t p://w o.asp 通过用户自定义规则 生成了新的链接ht t p:// ni.html 和 ht t p://ta.html

那么采集到的网址数据库应增加一个原地址字段，像这样：

原地址                              page_ u r l
h tt p://w o.asp                  http://ni.html
http://wo.asp                   ht t p://ta.html

xeszero 发表于 2011-11-25 13:00:02

目前火车头采集器数据库中是只有新链接地址的，对于这个新链接来源与哪个源页面无法查找。尽管从任务窗口能看到。

heling0223 发表于 2011-11-25 14:09:39

帮你一起建议一下

georgezheng 发表于 2011-11-25 15:13:57

目前我觉得你可以把这个作为采集字段就OK了.
页: [1]
查看完整版本: 强烈建议火车头采集器将来源页地址与新链接地址同时入“采集到的网址”库