火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 2629|回复: 3

请大家讨论:数据发布重复,是否和“发布情况未知”,数据库没有正确标记发布有关

[复制链接]
发表于 2010-4-21 12:05:12 | 显示全部楼层 |阅读模式
近日发现用2009sp4版本,采集发布后(SiteWeaver 动易 CMS 6.8,发布并发任务5个),出现发布的新闻重复的情况。观察到发布情况显示“发布成功未知”。本人猜测是否是因为并发发布任务过多,且采用的CMS(这里是动易SiteWeaver 6.8,access版)数据库语句优化不足,导致CMS未返回发布成功信息,(但实际数据入库成功),火车头因此不能确定是否发布成功,并在下一次采集过程中,继续发布上次未发布成功信息。
由于不了解火车头检查发布数据重复工作机制和内部工作流程,请了解的朋友也说明一下。解决这个问题。
发表于 2010-4-21 15:49:20 | 显示全部楼层
只有显示发布成功,程序才会将数据标记为已发,其它的未知或错误都不会标记为成功. 如果某个记录没有标记为成功,那么它下载将会进入发布队列.
 楼主| 发表于 2010-4-21 16:49:35 | 显示全部楼层
本帖最后由 ember 于 2010-4-21 16:53 编辑

原因可能是这样:
只有显示发布成功,程序才会将数据标记为已发,其它的未知或错误都不会标记为成功. 如果某个记录没有标记为成功,那么它下次将会进入发布队列.
火车头判断发布成功的判别方式是由CMS返回的成功页中的部分代码段。因此,cms编码质量影响性能的高低,在大量写入操作的过程中,机器忙于处理数据库入库和拷贝工作,而无法及时返回成功页面(估计你们就是用成功页面中的代码段作为成功识别码)。很多时候CMS和火车头是共用一个物理机,火车头的工作机制受搭档CMS性能的影响啊。因此采用不同的CMS或同CMS的不同版本,都必须要根据其不同的性能进行测试,调整发布任务的数量,避免出现无法返回成功消息。
另外这个问题好像在帮助文件里面有。也怪我没有仔细研读它。看来磨刀不误砍柴工啊。
发表于 2010-8-23 22:13:25 | 显示全部楼层
是这样的呀,我每次都发布好多好多。。。
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

QQ|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2025-7-13 17:18

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表