火车采集器|信息数据采集论坛 » 程序建议区 » [建议]增加空标题与空内容重采功能

打印

[建议]增加空标题与空内容重采功能

吹雪丸

新手上路

Rank: 2

UID: 34059
帖子: 41
活跃度: 56 点
火车车厢: 1 节
注册时间: 2007-5-10

1楼大中小发表于 2007-6-22 07:39 只看该作者

[建议]增加空标题与空内容重采功能

在采集时发现采到好多空标题或者空内容的文章，规则无问题，单条测试采集完全可以采到。这个应该是与电脑配置和网速有关，把单个任务的线程数改为越小成功率越大，即线程数越大空标题与空内容的出现率越高。建议下个版本增加无法采到的空标题与空内容的文章可以重新采集！

TOP

吹雪丸

新手上路

Rank: 2

UID: 34059
帖子: 41
活跃度: 56 点
火车车厢: 1 节
注册时间: 2007-5-10

2楼大中小发表于 2007-6-22 08:26 只看该作者

刚才试了下，把空标题与空内容的文章页地址导出为TXT再导入火车作为0深度采集，经过7-8个回合才终于把全部的内容采回来了，唉！真麻烦！

TOP

水镜梵天

捐助会员

Rank: 6 Rank: 6

UID: 3959
帖子: 14
活跃度: 20 点
火车车厢: 5 节
注册时间: 2006-7-9

3楼大中小发表于 2007-8-3 14:10 只看该作者

这个功能的确相当重要。

TOP

sanny

注册会员

Rank: 1

UID: 71147
帖子: 14
活跃度: 20 点
火车车厢: 1 节
注册时间: 2007-10-10

4楼大中小发表于 2007-11-15 12:50 只看该作者

这个建议火车头怎么不采纳？
其实只要操作下数据库就可以了。

就像“标记内容发布状态为未发”一样，给个“标记标题为空的为未采集”，和“标记内容为空的为未采集”

因为网速问题总是漏采，很麻烦。

TOP

rq204

管理员

Rank: 9 Rank: 9 Rank: 9

UID: 3979
帖子: 2724
活跃度: 5101 点
火车车厢: 440 节
注册时间: 2006-7-10

热心会员勋章无私奉献勋章规则高手勋章模块高手勋章网址高手勋章

5楼大中小发表于 2007-11-15 13:10 只看该作者

现有的火车版本里有此功能.

火车采集器官方模块,用户手册,模块开发人员手册

购买火车采集器VIP版

点击这里询问详细情况

TOP

sanny

注册会员

Rank: 1

UID: 71147
帖子: 14
活跃度: 20 点
火车车厢: 1 节
注册时间: 2007-10-10

6楼大中小发表于 2007-11-15 17:00 只看该作者

免费有有吗？说清楚点。在哪？

TOP

sanny

注册会员

Rank: 1

UID: 71147
帖子: 14
活跃度: 20 点
火车车厢: 1 节
注册时间: 2007-10-10

7楼大中小发表于 2007-11-17 11:30 只看该作者

哎，问题都不会解决，这论坛怎么会有人气呢？

TOP

流沙河

注册会员

Rank: 1

UID: 70876
帖子: 17
活跃度: 20 点
火车车厢: 1 节
注册时间: 2007-10-6

8楼大中小发表于 2007-11-18 22:02 只看该作者

引用:

原帖由 rq204 于 2007-11-15 13:10 发表
现有的火车版本里有此功能.

在哪里，怎么操作？

TOP

ok160net

注册会员

Rank: 1

UID: 62786
帖子: 16
活跃度: 28 点
火车车厢: 6 节
注册时间: 2007-8-5

9楼大中小发表于 2007-11-22 08:43 只看该作者

现在的版本里本来就有这种功能，但就是有的页面不一样，肯定是采不到数据，但每次采集都会去采，这个也真够郁闷的，不知道是否有重试几次就不采的功能

TOP

‹‹ 上一主题 | 下一主题 ››