active 发表于 2016-7-5 16:31:08

自动获取分页时，分页不安顺序取得..造成数据乱套了

07/05 16:29:11:开始请求 http://bbs.pcauto.com.cn/topic-8662570.html
07/05 16:29:11:完成请求，耗时：00:00:00.2762731
07/05 16:29:11:开始标签匹配，页面：默认页面
07/05 16:29:12:匹配到 8 个分页
07/05 16:29:12:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-2.html
07/05 16:29:12:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-3.html
07/05 16:29:12:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-4.html
07/05 16:29:12:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-5.html
07/05 16:29:12:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-6.html
07/05 16:29:12:匹配到 1 个分页
07/05 16:29:12:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-7.html
07/05 16:29:12:匹配到 1 个分页
07/05 16:29:12:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-8.html
07/05 16:29:13:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-11.html
07/05 16:29:13:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-9.html
07/05 16:29:13:开始内容分页请求：http://bbs.pcauto.com.cn/topic-8662570-10.html
07/05 16:29:13:开始分析探测文件下载
07/05 16:29:22:发现 64 个文件下载链接
07/05 16:29:23:内容采集测试完成


分页乱了，然后就是采集的数据也变成乱了楼层....

leweizxl 发表于 2016-7-7 08:24:35

http://faq.locoy.com/q-710.html

active 发表于 2016-7-9 21:57:15

问题已解决，花点时间说说，最近很少用火车，想不到升到9.2了，
这几天采太平洋论坛的，有些贴子分页超过8页后，就会这样显示


超过8页就用省略号一直到最后一页，我的分页规则是让火车自动获取所有分页，结果到第8页后就自动采最后那一页
所以我现在改了一下，让它只按“下一页”的链接采分页，就不乱套了，呵呵。





改成这样就按下一页获取分页，不乱套了。



页: [1]
查看完整版本: 自动获取分页时，分页不安顺序取得..造成数据乱套了