采网址，同时下载了多页但只分析了一页是怎么回事

cmcun · 发表于 2012-9-16 19:10:45

本帖最后由 cmcun 于 2012-9-16 19:12 编辑

上图吧，图能说明一切，本来用V7.6出现了这样的情况，所以换成2010版还是同样的出现这样的情况，
这样就会少采网址，只得重复采网址的操作三四次才能搞完，
采内容时经常出现标题为空的情况
求经验解决

前台小生 · 发表于 2012-9-17 11:39:24

这个可真不好搞啊

流浪侠女 · 发表于 2012-9-17 15:16:33

这个你先要测试下规则应该是规则写的不对

cmcun · 发表于 2012-9-17 15:36:51

规则在测试时并没有问题，而且这种情况出现时第一次跳过了这一条，第二次启动时又可能是跳过其它的网址

wxl08 · 发表于 2012-9-17 16:10:52

测试采集网址时，使用抓包工具抓取看看采集不到地址响应得到的页面是否可以看到要采集的内容地址？

cmcun · 发表于 2012-9-17 16:33:22

抓包发现是网站那边出问题了，呵呵

<html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><title>卓越亚马逊</title><body style="text-align:center;"><br><div style="width:600px;margin:0 auto;text-align:left;"><h2>意外错误</h2></div><br><div style="width:500px;margin:0 auto;text-align:left;"><font color="red">报歉，由于程序执行时，遇到意外错误，您刚刚操作没有执行成功，请稍后重试。或将此错误报告给我们的客服中心：<a href="mailto:service_bj@cs.amazon.cn">service_bj@cs.amazon.cn</a></font><br><br>推荐您<a href="javascript:history.back(1)">返回上一页</a>，确认您的操作无误后，再继续其他操作。<br>您可以通过卓越网<a target="_blank">帮助中心</a>，获得更多的帮助。<br></div></body></html>

复制代码

ml1607735 · 发表于 2012-9-17 18:45:05

cmcun 发表于 2012-9-17 16:33
抓包发现是网站那边出问题了，呵呵

这个应该在日志中显示的吧？

superlk1 · 发表于 2012-12-10 14:24:37

顶楼主
西力士 www.bhlt99.com
希爱力www.xinliangoil.com
万ai可www.dl-tomorrow.com
基因育根 www.shmideakt.com
基因育根 www.senboom.com
北京an摩 www.tbrenren.com
电视棒 www.zjjhgjg.com
超级P57 www.hxww.net
治疗白发www.wzeas.com

帐号		自动登录	找回密码
密码			加入会员

采网址，同时下载了多页 但只分析了一页是怎么回事

本帖子中包含更多资源

采网址，同时下载了多页但只分析了一页是怎么回事