提升采网址速度10倍以上的方法

keete · 发表于 2009-9-10 09:46:18

本帖最后由 keete 于 2009-9-10 09:53 编辑

这么好的东西没人顶啊

像有些有规律的网址，可以直接使用字典或者是批量生成网址工具，生成地址加到数据库，比较采网址快十倍以上。

网址生成器绿色版_批量生成有规律的网址下载地址
http://bbs.wan800.com/viewthread.php?tid=776&highlight=%CD%F8%D6%B7

testu · 发表于 2009-9-10 10:01:06

后来发现可以用火车头的开试测试采集网址，生成TXT地址文件，手动生成采集网址，

具体说下。。。。

谢谢

keete · 发表于 2009-9-10 10:11:37

编辑任务，开试测试采集——测试生成地址后——导同二级节点——保存TXT文件——打开任务下的SpiderResult.mdb文件，设计视图里将PageUrl字段移动到第一位，关闭设计视图，打开表，把刚保存的TXT文件内容，全选复制粘贴到表里面。就可以了~！

keete · 发表于 2009-9-10 10:12:52

后来发现可以用火车头的开试测试采集网址，生成TXT地址文件，手动生成采集网址，

具体说下。。。。

谢谢
testu 发表于 2009-9-10 10:01

编辑任务，开试测试采集——测试生成地址后——导同二级节点——保存TXT文件——打开任务下的SpiderResult.mdb文件，设计视图里将PageUrl字段移动到第一位，关闭设计视图，打开表，把刚保存的TXT文件内容，全选复制粘贴到表里面。就可以了~！

testu · 发表于 2009-9-10 10:25:30

学习！谢谢你keeteali82ls

keete · 发表于 2009-9-11 10:13:59

呵呵~！没人看我晕

aven · 发表于 2009-9-11 18:42:06

这不是我前几天回帖的内容吗？
^ω^

winliuxq · 发表于 2009-9-14 13:31:03

<content>_blank" class="btxt_l"><span id="spTitle

xielipingxi · 发表于 2009-9-15 09:56:10

编辑任务，开试测试采集——测试生成地址后——导同二级节点——保存TXT文件——打开任务下的SpiderResult.mdb文件，设计视图里将PageUrl字段移动到第一位，关闭设计视图，打开表，把刚保存的TXT文件内容，全选复制粘 ...
keete 发表于 2009-9-10 10:11

学习，很好用。有没有办法将所有SpiderResult.mdb文件的PageUrl字段设置在第一位，而不用一个一个设置？

keete · 发表于 2009-9-15 10:15:59

学习，很好用。有没有办法将所有SpiderResult.mdb文件的PageUrl字段设置在第一位，而不用一个一个设置？
xielipingxi 发表于 2009-9-15 09:56

其实不用放到最前面也可以的，复制好地址，选中pageurl那一列直接粘贴就可以了。如果里面有数据就没办法用这种方法粘贴了

帐号		自动登录	找回密码
密码			加入会员