采集一个标签得到的结果和采集时先采集到的网址列表不对应
任务开始运行正在初始化配置,请稍等...
初始化配置成功,开始数据采集...
正在下载并分析1级第1个网址http://www.fj.10086.cn/12580mall/coupon/couponIndex.do?pageNo=1&couponInfoTypeParamCode=&couponInfoTypeSubParamCode=&couponInfoTypeDetailParamCode=&selectedCouponType=all&selectedOrderType=times&countyCode=#liststart
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=46A648BB246EBDE9391ED3A6F66B1598
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=7D9F03BBBF6D5AB56B3401C624709559
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=B24FF0246EBDF1256CB2361AFED94D21
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=E42CE514DD604D31DFC319E288858D6C
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=217DA673BA2506FCD7B259391E6D4E4E
正在下载并分析1级第2个网址http://www.fj.10086.cn/12580mall/coupon/couponIndex.do?pageNo=2&couponInfoTypeParamCode=&couponInfoTypeSubParamCode=&couponInfoTypeDetailParamCode=&selectedCouponType=all&selectedOrderType=times&countyCode=#liststart
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=9753A991B570E2A16D7CA3A0DA32FD7F
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=F323CF4585606E505BD73B66FEDC9022
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=6BB7BF1C0D786724088920F66589E8D5
成功采集网址并保存到数据库中:http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=D41CA38628FE666219BF9EF04A247FE6
......
开始查找可采集的数据,如果您的数据比较多,可能需要一些时间,请稍等
共有221记录需要采集
成功采集并更新数据到数据库:3330(积分)
成功采集并更新数据到数据库:66600(积分)
成功采集并更新数据到数据库:4000(积分)
成功采集并更新数据到数据库:666(积分)
成功采集并更新数据到数据库:3ge
成功采集并更新数据到数据库:3ge
成功采集并更新数据到数据库:6660(积分)
成功采集并更新数据到数据库:3200(积分)
成功采集并更新数据到数据库:3ge
成功采集并更新数据到数据库:2000(积分)
成功采集并更新数据到数据库:3ge
成功采集并更新数据到数据库:3ge
......
当前任务没有选择发内容,跳过发内容步骤
任务运行完成
采网址成功221条,重复86条,采内容成功221条,失败0条,开始时间:2014-06-17 19:06:19,结束时间:2014-06-17 19:08:33
=======我想表达的是,先声明上面的内容是截选自滚屏显示的界面内容
在网址列表和下面的结果列表并不是顺序一一对应的,因为假如是针对一个网址列表单独执行---》测试网址采集--测试选定的网址页面,输出的结果是正确的。就是比如第三个结果是4000(积分),但第三个网址是http://www.fj.10086.cn/12580mall/coupon/couponDetail.do?couponId=B24FF0246EBDF1256CB2361AFED94D21 用浏览器进去的结果是6660(积分),用规则单独测试也是6660(积分)。
结论:请问这样是否正常?因为我用的是免费版本的测试下,这是刻意这样的吗?
还是我认为更可能的情况 :多进程进行时,虽然网址列表顺序是正确的,但后面去获取结果时因为并行进行,所以得到的结果是哪个先返回来结果就先显示哪个,这样导致网址列表与结果列表并不是一一对应的?
请各位前辈解惑下我的上面的判断是否正确。作者能否开发单线程模式?按着列表一个一个得到结果再下一个?
楼上忘记发下规则,在这补发下。网址也顺便发下,请各位前辈不吝赐教http://www.fj.10086.cn/12580mall/coupon/couponIndex.do?pageNo=1&couponInfoTypeParamCode=&couponInfoTypeSubParamCode=&couponInfoTypeDetailParamCode=&selectedCouponType=all&selectedOrderType=times&countyCode=#liststart 显示结果不影响的。你看实际采集下来的结果了。
页:
[1]