jiafeng 发表于 2009-9-1 11:26:06

如何在一个任务中设置多页post?以当当为实例

本帖最后由 jiafeng 于 2009-9-1 12:21 编辑

用get的方式一个任务可以添加很多页面
post方式如果不同页面的发送数据设置不同那如何同时采集呢?
比如不同分类的分页采集
每个链接的分类号和页数都不一样
而post好像只针对第一个链接的
不知道大家有没有方法解决这个问题,分任务太麻烦了



实例说明:
采集地址1:http://category.dangdang.com/4001940.html
post规则:/cat_list.php?q=&p=[分页]&s=0&cid=4001940&guan=4000003&lowp=&highp=&store=&loc=&stime=0&q_=&brand=0&model=&attr=&attrtype=&lowdiscount=&highdiscount=&lastattr=&last_attr2=&pic=1&ps=20&ajax=1
标签从1到180

采集地址2:http://category.dangdang.com/4001672.html
post规则:/cat_list.php?q=&p=[分页]&s=0&cid=4001672&guan=4000003&lowp=&highp=&store=&loc=&stime=0&q_=&brand=0&model=&attr=&attrtype=&lowdiscount=&highdiscount=&lastattr=&last_attr2=&pic=1&ps=20&ajax=1
标签从1到78
页: [1]
查看完整版本: 如何在一个任务中设置多页post?以当当为实例