火车采集器软件交流官方论坛

 找回密码
 加入会员
搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
12
返回列表 发新帖
楼主: xdaoke

海量采集时,如何成倍提高地址采集入库的速度

[复制链接]
发表于 2009-5-12 13:17:32 | 显示全部楼层
对于批量地址可以先生成文本地址(用字典生成器),导入数据库PageUrl字段,这样就免去采地址这个环节了,直接采内容,速度提升一倍!我就是这么干的。
sha8418 发表于 2009-5-12 11:24
这招能详细说明一下吗?最好带个图
发表于 2009-6-17 22:15:52 | 显示全部楼层
我一般用excel拉一下,自动生成page-url,然后导入到 access 的 Content表里面。1分钟搞定啊。
发表于 2009-6-18 17:28:41 | 显示全部楼层
噢,学习中...
发表于 2009-7-1 23:23:14 | 显示全部楼层
我通常都是用sitemap生成器帮别人网站做个全站链接地图 想采什么样的网站 正则提取下 然后复制进去 直接采集内容
发表于 2009-7-3 21:21:43 | 显示全部楼层
请口语化,不要让我们把时间花在语文理解上。
发表于 2009-7-3 21:55:36 | 显示全部楼层
本帖最后由 iamatig 于 2009-7-3 22:02 编辑

给ACCESS中某字段设置索引的方法找到了,
http://www.56.com/u68/v_MjM0MTA2MDk.html
从7:18开始看吧,前面的不相关。这样比较节约时间。呆会我做个笔记上来。

1、索引有3种情况:
无\有(有重复)\有(无重复)
2、添加策略:要根据字段类型、字段中数据的情况来选择采用哪种索引类型
3、添加方法:
a 设计视图中进行
b 选择字段
c 常规-索引-插入点-索引类型
d 保存
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

企业微信|手机版|Archiver|火车采集器官方站 ( 皖ICP备06000549 )

GMT+8, 2026-4-27 02:54

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表