easyman 发表于 2013-11-16 22:01:08

请教大神:再次采集时对象发生变化的情况

同一个采集任务,每隔几天去采集一次

能否每次都按照固定的文章ID(采集后分配的序列号)对应文章URL



比如,第一次采集,获得

ID   URL                                                标题   内容
01   http://www.abc.com/111211.htm   哈哈   赫赫
02   http://www.abc.com/111233.htm   哈哈   赫赫
03   http://www.abc.com/111255.htm   哈哈   赫赫



第二次采集还是依照这个顺序,后面添加新增的文章

ID   URL                                                标题   内容
01   http://www.abc.com/111211.htm   哈哈   赫赫
02   http://www.abc.com/111233.htm   哈哈   赫赫
03   http://www.abc.com/111255.htm   哈哈   赫赫
04   http://www.abc.com/111277.htm   哈哈   赫赫



第三次,如果出现某个文章(比如ID:02)被删除了,希望能返回

ID   URL                                                标题   内容
01   http://www.abc.com/111211.htm   哈哈   赫赫
02   http://www.abc.com/111233.htm
03   http://www.abc.com/111255.htm   哈哈   赫赫
04   http://www.abc.com/111277.htm   哈哈   赫赫




谢谢大神相助!!


303718 发表于 2013-11-26 20:44:20

可以试试这个http://bbs.locoy.com/spider-135627-1-1.html
页: [1]
查看完整版本: 请教大神:再次采集时对象发生变化的情况