论坛 › 采集器基础使用讨论区 › 这个网站列表怎么采？？？？？？？？？？？？？？？

bnbnbn 发表于 2013-5-19 15:39:35

这个网站列表怎么采？？？？？？？？？？？？？？？

http://shijue.me/home/latest/1?end_id=5174df998ddf877dd000007a&page=103&pre_page=102

其实主要是不知道这个end_id是怎么编码的，主要是就是这个数据，后面的page和pre-page只是分页显示用的，无多大用处。
end_id=5174df998ddf877dd000007a&page=103&pre_page=102

请问这个怎么采？

johnwh 发表于 2013-5-19 20:52:09

本帖最后由 johnwh 于 2013-5-19 21:05 编辑

你可以观察下第二页，第三页，就会发现你的这个网址的内容和这个网页

http://shijue.me/home/latest/1?page=103　是一样的。

你直接采

http://shijue.me/home/latest/1?page=1
http://shijue.me/home/latest/1?page=2
http://shijue.me/home/latest/1?page=3
..........

就行了。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

另外，你也可以使用“列表分页获取”，程序自动从当前页下面的“上几页，下几页”获得下一页的网址，再从下一页获得下下面的网址，一直到最后。

江南0920 发表于 2013-5-20 17:43:58

观察网址的变化找出规律 ，可以使用批量多页采集网址

查看完整版本: 这个网站列表怎么采？？？？？？？？？？？？？？？