火车头分页采集的建议，用过DEDE采集的人都知道，DEDE分页采集可以直接写分页页码范围

caijihome · 发表于 2013-2-26 00:17:41

本帖最后由 caijihome 于 2013-2-26 00:31 编辑

火车头分页采集的建议，用过DEDE采集的人都知道，DEDE分页采集可以直接写分页页码范围
而不用设置过多繁琐的代码就能自动采集全部分页，建议火车头借鉴下，因为有一部分网址可能用火车头并不能很好的按顺序采集全网页。
比如：http://p.lexun.com/w/unit_info.a ... 3&ps=3&vs=1

http://p.lexun.com/w/unit_info.aspx?unitid=8304&ps=3&total=28&backurl=http%3a%2f%2fp.lexun.com%2fw%2finfo_typelist.aspx%3ftypeid%3d15%26total%3d3209%26total%3d3209%26p%3d6%26vs%3d1&p=1&cd=0&lxt=c1079185723&ps=3&vs=1

复制代码

caijihome · 发表于 2013-2-26 00:30:46

还有就是上下页结构采集规则，能够自动用下一页的链接之后的名称，自动识别下一页链接，比如PHPCMS后台和LAOY都是根据下一页名字识别下一列链接。
<a href="xxxx">下一页</a> 直接填个"下一页"
<a href="xxxx">Next</a> 直接填个"Next"
是不是很智能呢？现在有些后台说实话，虽然功能不强，但是确实是很方便

caijihome · 发表于 2013-3-9 12:31:38

谁会写上面的分页规则，前提是不能用插件。一百元积分购买。

,

lbjyuer · 发表于 2016-2-10 16:58:41

和你们一块学习。。。