keete 发表于 2009-9-10 09:46:18

本帖最后由 keete 于 2009-9-10 09:53 编辑

这么好的东西没人顶啊

像有些有规律的网址,可以直接使用字典或者是批量生成网址工具,生成地址加到数据库,比较采网址快十倍以上。

网址生成器绿色版_批量生成有规律的网址下载地址
http://bbs.wan800.com/viewthread.php?tid=776&highlight=%CD%F8%D6%B7

testu 发表于 2009-9-10 10:01:06

后来发现可以用火车头的开试测试采集网址,生成TXT地址文件,手动生成采集网址,

具体说下。。。。

谢谢

keete 发表于 2009-9-10 10:11:37

编辑任务,开试测试采集——测试生成地址后——导同二级节点——保存TXT文件——打开任务下的SpiderResult.mdb文件,设计视图里将PageUrl字段移动到第一位,关闭设计视图,打开表,把刚保存的TXT文件内容,全选复制粘贴到表里面。就可以了~!

keete 发表于 2009-9-10 10:12:52

后来发现可以用火车头的开试测试采集网址,生成TXT地址文件,手动生成采集网址,

具体说下。。。。

谢谢
testu 发表于 2009-9-10 10:01 http://bbs.locoy.com/images/common/back.gif

编辑任务,开试测试采集——测试生成地址后——导同二级节点——保存TXT文件——打开任务下的SpiderResult.mdb文件,设计视图里将PageUrl字段移动到第一位,关闭设计视图,打开表,把刚保存的TXT文件内容,全选复制粘贴到表里面。就可以了~!

testu 发表于 2009-9-10 10:25:30

学习!谢谢你keeteali82ls

keete 发表于 2009-9-11 10:13:59

呵呵~!没人看我晕

aven 发表于 2009-9-11 18:42:06

这不是我前几天回帖的内容吗?
^ω^

winliuxq 发表于 2009-9-14 13:31:03

<content>_blank" class="btxt_l"><span id="spTitle

xielipingxi 发表于 2009-9-15 09:56:10

编辑任务,开试测试采集——测试生成地址后——导同二级节点——保存TXT文件——打开任务下的SpiderResult.mdb文件,设计视图里将PageUrl字段移动到第一位,关闭设计视图,打开表,把刚保存的TXT文件内容,全选复制粘 ...
keete 发表于 2009-9-10 10:11 http://bbs.locoy.com/images/common/back.gif
学习,很好用。有没有办法将所有SpiderResult.mdb文件的PageUrl字段设置在第一位,而不用一个一个设置?

keete 发表于 2009-9-15 10:15:59


学习,很好用。有没有办法将所有SpiderResult.mdb文件的PageUrl字段设置在第一位,而不用一个一个设置?
xielipingxi 发表于 2009-9-15 09:56 http://bbs.locoy.com/images/common/back.gif

其实不用放到最前面也可以的,复制好地址,选中pageurl那一列直接粘贴就可以了。如果里面有数据就没办法用这种方法粘贴了
页: [1] 2
查看完整版本: 提升采网址速度10倍以上的方法