leejunji 发表于 2013-3-7 10:24:41

每次任务采集数，网址是否重复等小功能的图解~~~

1，是否检查网址重复，网址重复多少条 停止采集是在第一步设置的如下图



勾选 检查网址重复，采集器就会采集的时候判读下这个网址是否已经采集过了，默认已经采集过的采集器不会再次采集

下面有个“网址连续重复多少条后停止采集网址” 这个顾名思义 大家汉语还是能看懂吧 这里就不解释了


2，最大采集分页数，每次任务最大采集数，提取标签忽略大小写
是在规则第二步，采集内容规则 那里设置的 如下图




3，对不符合标签必须包含和不得包含的记录，是删除 还是标记为未采集
设置在第四步“文件保存及部分高级设置” 如下图




4，发布内容间隔时间，采集内容时间间隔时间
，设置在第四步“文件保存及部分高级设置” 如下图


这里说明下 这里的1000等于1秒

线程个数是指同一时间采集信息的条数

5，下载地址保存为文件
有的时候采集到的图片呀 文件呀 先不要下载而是保存起来放到迅雷里下载 这里就可以有个选项，把这些文件下载地址保存到一个文件里，在采集器里面是不会下载的，设置如下：


这个生成的“任务id.htm” 保存到，文件下载设置=》所有文件保存文件夹这里你设置的文件夹中， 找到这个文件后用浏览器打开这个文件 就可以添加到迅雷里下载了。


5,如何设置内容过滤
点击内容过滤四个字
设置采集的结果不得包含什么词或者必须包含什么词

对数据不满足这里要求的处理参考上面第三点说明

6,发布结束后对数据的处理






zemi178 发表于 2013-3-7 13:08:45

支持一下~~~~~~~~~~~~~~~~~~~~

cx6226301 发表于 2013-4-20 01:26:46

支持下。    求大神赐教啊~~~

zuojian555 发表于 2013-7-22 16:02:35

支持下。先来占位学习

h4669233 发表于 2013-7-23 14:09:43

发现那个过滤 不支持 分页

武松打老虎 发表于 2013-11-21 19:44:15

支持一下 :lol:lol:lol

worldboyy 发表于 2013-11-28 20:25:26

路过 。。。。提示太短了

www.0513w.net 发表于 2014-5-5 13:20:24

学习了:lol学习了:lol学习了:lol学习了:lol学习了:lol学习了:lol

wrsjar 发表于 2014-12-25 17:17:18

新手加入，问题很多，向高手们一一学习了。
页: [1]
查看完整版本: 每次任务采集数，网址是否重复等小功能的图解~~~