火车采集器|信息数据采集论坛 » 程序建议区 » 建议再同一任务下图片下载到本地问题

打印

[3.2版] 建议再同一任务下图片下载到本地问题

liutietuo

个人版用户

Rank: 5 Rank: 5

UID: 70847
帖子: 15
活跃度: 35 点
火车车厢: 1 节
注册时间: 2007-10-6

1楼大中小发表于 2007-10-31 15:07 只看该作者

建议再同一任务下图片下载到本地问题

本来图片都是一个分类下的.有些内容中的小图片或其他图片链接都是一样的.但是火车是不认的,全部下载并且更名
我希望再这里可否先再数据库中找一下是否存在该图片链接,然后在决定是否下载
当然也可以用一个input让用户决定是否启用该功能.

TOP

rq204

管理员

Rank: 9 Rank: 9 Rank: 9

UID: 3979
帖子: 3176
活跃度: 5883 点
火车车厢: 532 节
注册时间: 2006-7-10

热心会员勋章无私奉献勋章规则高手勋章模块高手勋章网址高手勋章

2楼大中小发表于 2007-10-31 15:17 只看该作者

你可以选择不重命名..

TEST YOURSELF 采集水平自我测试

TOP

删除记忆

诡谲翳影

^火车_嘉宾^

Rank: 6 Rank: 6

http://www.nicelover.cn/

UID: 48082
帖子: 112
活跃度: 361 点
火车车厢: 62 节
注册时间: 2007-6-14

3楼大中小发表于 2007-10-31 16:24 只看该作者

如果还进行数据库查询是否存在链接的话,极为影响速度

诡谲·翳影の Blog
Music Life!
论文网
上善若水
.......申请加入？！联系我！

TOP

删除记忆

诡谲翳影

^火车_嘉宾^

Rank: 6 Rank: 6

http://www.nicelover.cn/

UID: 48082
帖子: 112
活跃度: 361 点
火车车厢: 62 节
注册时间: 2007-6-14

4楼大中小发表于 2007-10-31 16:27 只看该作者

要不然就数据库批量替换吧!或许可以解决楼主的问题

诡谲·翳影の Blog
Music Life!
论文网
上善若水
.......申请加入？！联系我！

TOP

liutietuo

个人版用户

Rank: 5 Rank: 5

UID: 70847
帖子: 15
活跃度: 35 点
火车车厢: 1 节
注册时间: 2007-10-6

5楼大中小发表于 2007-10-31 18:56 只看该作者

引用:

原帖由 rq204 于 2007-10-31 15:17 发表
你可以选择不重命名..

的确是一个解决办法,但是那个总是默认被选的.老忘记

查询一次的话
select top 1 SaveUrl form DownloadFile where TrueUrl='ht tp://.jpg' 应该是很快的,毫秒级别
如果和再下载图片的时间比较的话不值得一提吧

TOP

‹‹ 上一主题 | 下一主题 ››

[3.2版] 建议 再同一任务下图片下载到本地问题

建议 再同一任务下图片下载到本地问题

引用:

[3.2版] 建议再同一任务下图片下载到本地问题

建议再同一任务下图片下载到本地问题