goodfree 发表于 2011-3-3 21:52:26

采集保存为本地html文件后，大量重复

不知道是什么原因

今天采集的这个站，采集保存本地html后，竟然每篇文章都要重复个10次以上。


事实上该站的文章并没有重复，为什么会出现这种情况？


重复的txt内容完全一至

solotraveler 发表于 2011-3-3 22:41:37

采集url的问题。检查一下。

goodfree 发表于 2011-3-4 00:12:25

采集url的问题。检查一下。
solotraveler 发表于 2011-3-3 22:41 http://bbs.locoy.com/images/common/back.gif


    感谢提示，找到了问题根源，但无法解决

   比如说列表为：http://www.a.com/list/(*).html

   采集，结果却发现，他总是不停的采集第一个列表，所以当我采集10页的时候，他就重复10次


请问这个是什么原因？谢谢

goodfree 发表于 2011-3-4 00:21:30

采集url的问题。检查一下。
solotraveler 发表于 2011-3-3 22:41 http://bbs.locoy.com/images/common/back.gif


    您好，我直接将站帖出来吧


http://www.amazon.cn/s/ref=sv_beauty_2?ie=UTF8&n=746781051#/ref=sr_pg_1?rh=n%3A746776051%2Cn%3A%21746777051%2Cn%3A746781051&ie=UTF8&qid=1299169169

就是亚马逊的站，他们的列表怎么采集都是采集第一页的

goodfree 发表于 2011-3-4 01:01:40

采集url的问题。检查一下。
solotraveler 发表于 2011-3-3 22:41 http://bbs.locoy.com/images/common/back.gif


    就是亚马逊的列表无法采集，只可以采集第一个列表页。请问如何解决？谢谢


   您那个论坛注册要邀请码，那个帖子我看过了，不知所云啊，post模式我没用过，能否给个论坛的邀请码，谢谢
页: [1]
查看完整版本: 采集保存为本地html文件后，大量重复