找回密码

火车采集器软件交流官方论坛

搜索
火车采集器V9版免费下载火车浏览器 - 可视采集,万能群发,全自动脚本工具
查看: 13264|回复: 35

规则教程第六U自己动手写程序生成采集地址

[复制链接]
发表于 2011-2-6 16:36:48 | 显示全部楼层 |阅读模式
接口教程过几天出一个视频版吧,这一点点敲字 比较麻烦,必定接口教程是比较复杂的。
最近接一个任务。采集58同城的信息。当然具体方法有很多种。为了速度和效率我选择了采集WAP.58.COM
大概几十个城市,任务要求是按照分类进行采集,而不是按照城市进行采集。尽管这样几十个城市用手一点点加你不累我也累啊
程序开发的人总是那些比较懒的人,想节约时间少做点事情么。所以我只写几行代码 就可以搞定几分钟甚至十几分钟几十分钟搞定的事情

第一步分析采集页
以俺所在的城市为例,http://wap.58.com/sjz_shoujipn2/
PN2中的2是页码在火车页面设置的时候就是
http://wap.58.com/sjz_shouji/0/pn(*)/
添加100页后的形式是
http://wap.58.com/sjz_shouji/pn<1,100,1,False,False>
好的 那看看其他城市的
http://wap.58.com/bj_shouji   北京的
http://wap.58.com/sh_shouji 上海的
以此类推 不同城市只有中间城市名称不同而已
那对应的添加分页后的形式也是中间的城市名不同而已
那么 我们分析过后就可以写代码了
第二步写程序
规律找到了 就写程序吧,采集地址的分类是变的_shouji 城市是变的
我做两个文本框 提交各表单。让程序去处理 如图

提交表单后会自动生成我要采集的地址。演示下运行后结果比如手机

这地址就生成了。很省心吧 当然程序是自己用的 也没什么美工什么字体,都无所谓了我只要地址而已。
将这些地址复制到火车里测试下

效果不错么,至于规则我就不多说了。很简单的,至于有的朋友采集过58WAP页面 仔细的朋友会发现地址里有个。带a的地址页面数据多啊。自己体会吧 不多说了和今天的内容没关系。
可以用了那么说下核心代码。其实很简单 任何一个学过一点点程序的人都会做的,只是有可能你不需要这个,有可能你没想到。当手动和自动两个进行选择的手自动做程序要花的时间远远小于你手动改的时间,为什么不去写短小代码呢。
我是用ASP做的,
下面看下代码
  1. <%
  2. if request("action")="make" then
  3. city = Request.Form("city")
  4. ad = Request.Form("ad")
  5. city = split(city,",")
  6. for i = 0 to ubound(city)   
  7. response.write "http://wap.58.com/"+city(i)+"_"+ad+"/pn<1,100,1,False,False>"+"<br>"
  8. next
  9. end if
  10. %>
复制代码
只有这么几行就搞定你有添加又修改的 咋样 够简单吧
我用city文本框添加城市 并用逗号分开 看到city = split(city,",") 得到的数据后进行切分成数组split 这个函数 几乎大部分语言都有这个函数。
然后对数组循环输出就可以了 没任何难度,当然也可以变化成其他方式。那就看大家的想法了

最后附上源代码 ASP环境不多说了,  我的联系方式1754-7523
游客,如果您要查看本帖隐藏内容请回复

下一U教程介绍    插件教程-为内容字指定符加锚文本

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?加入会员

x

评分

1

查看全部评分

发表于 2011-2-9 14:04:41 | 显示全部楼层
感谢分享..看看 ...
发表于 2011-2-11 20:36:04 | 显示全部楼层
回复 1# lypying
发表于 2011-2-12 09:11:33 | 显示全部楼层
非常不错,感谢分享哦
发表于 2011-2-12 16:27:39 | 显示全部楼层
不错,不错,可惜俺不会asp!俺的方法!就是多写两条规则的,一条专门去采集他的所以有城市,二在从城市页去采集城市下的所有分类!
发表于 2011-2-15 21:51:30 | 显示全部楼层
非常不错,感谢分享哦
发表于 2011-2-18 10:08:24 | 显示全部楼层
非常不错,感谢分享哦
发表于 2011-2-19 01:02:06 | 显示全部楼层
发表于 2011-2-19 12:49:08 | 显示全部楼层
新手学起来好难哦,学习啦
发表于 2011-3-1 21:45:57 | 显示全部楼层
回复 1# lypying
您需要登录后才可以回帖 登录 | 加入会员

本版积分规则

温馨提示:建议您联系官方定制服务,通过官方支付方式完成支付。您与其他非官方账号发生的交易,我方概不承担责任。网络有风险,交易需谨慎

QQ| 手机版|Archiver| 火车采集器官方站

Copyright © 2001-2013 Comsenz Inc.  Template by Comeings! All Rights Reserved.

Powered by Discuz! X3.4( 皖ICP备06000549 )

快速回复 返回顶部 返回列表