webnetmax 发表于 2010-4-17 15:20:11

强烈建议!!!

首先承认火车头已经做得相当不错了,找了半天,国内的采集工具还是火车头最好,其他的采集器完全没办法比,太山寨了

个人给点建议,希望官方能够采纳

1、由于现在ajax的分页或其他的功能应用越来越多,特别是火车头在处理post处理方式的时候,暂时还表现得有些薄弱,希望能够加强,主要表现在
   A、post数据只能设置在1级页面下,只能给目标网址post数据,建议新增一个post数据页面选择的功能,可以选择到最底层的页面进行post操作(现在我为了实现这个功能,采用的是多次采集的办法,确实是太麻烦了)
   B、post数据的时候那个【POST随机值X】表现得非常不人性化,过于死板,现在【POST随机值X】只能在目标页面(1级页面)上识别获取,但是很多时候目标页面是没有我需要的值的,看是否能增加自己DIY数值或导入数值文件的功能
   以上A、B的问题可以看看采集www.xgo.com.cn点评内容的时候,现在要采集的话非常困难(我是用更改火车头系统数据库的办法建了上万个任务进行采集的,很痛苦,这种类似的网站还很多,以后也会越来越多)

2、分页功能的问题
   现在分页只能在底层页面使用,在“同时采集多页面”的情况中,建议提供 多页 页面中提供分页的功能

3、在采集任务的时候,特别是在同时采集较多数据的时候,程序一旦死机,进度就没办法保存了。。。。
特别是在我取消了“连接查重”功能的时候(因为post的时候,必须取消查重,是通过不同参数post来获取结果的,post的页面都是一样的),一旦死机,我就不知道我已经采集完成的进度了

其他的,我暂时忘记了,等我想起了,遇到了再来回复

希望火车头越来越好,做到全国最专业最好的采集器

webnetmax 发表于 2010-4-17 18:05:15

对了,针对上面的意见3,有一个可以快速解决的办法
就是在调度里面,在采集的时候不是有就绪,完成,和运行中吗
把这个列表的状态实时的保存下来,当意外退出的时候可以重新加载,若能这样那简直是太好了

webnetmax 发表于 2010-4-17 23:57:43

又发现了一个问题,当执行多个任务的时候,每次连续运行第328个任务的时候,调度就会自动停止,然后报错,自动推出程序
2009 2010都有这个问题,但不知道是不是只有免费版才有这个问题

webnetmax 发表于 2010-4-18 10:07:40

357问题:
当火车头连续执行任务,每次执行到第357个任务的时候,火车头就会卡起,然后报错,自动推出
2009版 和 2010版都有这个问题

webnetmax 发表于 2010-4-18 13:56:29

火车头的人都不出来说一句,有点点失望。。。。

rq204 发表于 2010-4-18 21:34:33

1.关于post地址获取,这块是需要加强。
2.该功能使用机率很少,程序目前设计的是只在默认页获取分页。
3.当任务很多时程序出错,这个可能和程序可以创建的窗口有关,建议你试一下采集完成后注销界面。

webnetmax 发表于 2010-4-19 10:11:38

关于问题3,可能是创建的窗口,那能不能增加一个选项,后台处理,然后就新增窗口了,不然又耗内存,又费CPU,还容易出错
页: [1]
查看完整版本: 强烈建议!!!