高难度的东西来了……………………

九九

http://www.sqsc.gov.cn/col/col19/index.html


采不到  网址规则   尴尬啊。。

九九

有人能找到它的 网址规则 吗？

专业收费采集

http://www.sqsc.gov.cn/col/col19/index.html


采不到  网址规则   尴尬啊。。
九九 发表于 2011-2-14 16:48

   属于POST采集，好好研究下~

303718

你好。可以采集的呀。

zhouchanglin

这个网站是jq的，翻页是Ajax请求的

在源码里可以发现

1. 这个js脚本函数，它是控制数据请求的关键：
   
2. $('#325').jpage
   
3. 
   
4. ({themeName:'default',showMode:'full',totalRecord:2508,openCookies:false,dataBefore:'<table
   
5. 
   
6. width="99%" align="center"  border="0" cellpadding="0" cellspacing="0" style="margin-
   
7. 
   
8. top:8px">',dataStore:InitData325,dataAfter:'</table>',groupSize:1,proxyUrl:'/module/jslib/jq
   
9. 
   
10. uery/jpage/dataproxy.jsp',perPage:15,barPosition:'bottom',ajaxParam:
    
11. 
    
12. {col:1,appid:'1',webid:1,path:'/',columnid:19,unitid:'325',webname:'宿城区政府外网门户网
    
13. 
    
14. 站'}});

复制代码

把网页全部保存找到jquery.jpage js文件http://www.sqsc.gov.cn/module/jslib/jquery/jpage/jquery.jpage.js，可以找到这个函数，由于整个js文件都是这个函数，所以不贴出来了

以输入页数，并回车翻页为例，触发了下面的函数

1. 页码输入框监听，下面这个函数当用户输入页码，并按回车时会翻页，Ajax请求
   
2.                         valCurrentPage.keydown(
   
3.                                 function(event){
   
4.                                         var targetPage = parseInt($(this).val());
   
5.                                         if(event.keyCode==13 && targetPage>=1 &&
   
6. 
   
7. targetPage<=totalPage){
   
8.                                                 if(!dataStore || gpStartPage > targetPage ||
   
9. 
   
10. (gpEndPage > 0 && gpEndPage < targetPage)){
    
11.                                                         currentPage = targetPage;
    
12.                                                         getGroupStartEnd();
    
13.                                                         getStartEnd();
    
14.                                                         getRemoteData();//解决问题的关键的
    
15. 
    
16. ajax请求的函数
    
17.                                                 }else{
    
18.                                                         currentPage = targetPage;
    
19.                                                         getStartEnd();
    
20.                                                         loadData();
    
21.                                                         refresh();
    
22.                                                 }
    
23.                                         }
    
24.                                 }
    
25.                         );

复制代码

只把其中的关键的Ajax请求的函数贴出

1. function getRemoteData(){
   
2.                                 startLoad();//正在检索状态
   
3.                                 $.ajax(//ajax请求
   
4.                                         {
   
5.                                                 type: "POST",
   
6.                                                 url: proxyUrl + "?
   
7. 
   
8. startrecord="+gpStartRecord+"&endrecord="+gpEndRecord+"&perpage="+perPage ,//请求地址
   
9.                                                 cache: false,
   
10.                                                 data: ajaxParam,//参数
    
11.                                                 dataType: "script",//数据类型
    
12.                                                 timeout: 30000,
    
13.                                                 success: function(msg){//成功请求执行
    
14.                                                         eval(msg);
    
15.                                                         getStartEnd();
    
16.                                                         loadData();//刷新数据容器，加载返回
    
17. 
    
18. 数据
    
19.                                                         refresh();//刷新工具栏状态
    
20.                                                         overLoad();//结束检索状态
    
21.                                                 },
    
22.                                                 error: function(){
    
23.                                                         alert("请求失败或超时，请稍后再
    
24. 
    
25. 试！");
    
26.                                                         overLoad();
    
27.                                                         return;
    
28.                                                 }
    
29.                                         }
    
30.                                 );
    
31.                         }
    
32.                        

复制代码

下拉框改变，点击上下页，输入页码，最后都要执行这个函数，发生Ajax请求


值得一提的是

1. url: proxyUrl + "?
   
2. 
   
3. startrecord="+gpStartRecord+"&endrecord="+gpEndRecord+"&perpage="+  ,//请求地址

复制代码

，这里有gpStartRecord和gpEndRecord  perPage  3个变量，分别代表数据开始位置，数据结束位置，每页数量，而前两个变量是由getGroupStartEnd()函数设置的，getGroupStartEnd()函数根据每页数量，当前页等信息，设置这2个变量，路默认是每页15条，那么第1页gpStartRecord=1  pEndRecord=15  ；第2页gpStartRecord=16  pEndRecord=30  ，就是间隔14的规律

这样把post地址http://www.sqsc.gov.cn/module/js ... d=15&perpage=15

连同post参数ajaxParam：

1. col=1&appid=1&webid=1&path=/&columnid=19&unitid=325&webname=宿城区政府外网门户网站

复制代码

连接起来

就是Ajax的外部数据的地址了http://www.sqsc.gov.cn/module/js ... id=325&webname=宿城区政府外网门户网站

1. 其中？后的参数的意思：
   
2. startrecord------数据开始位置
   
3. 
   
4. endrecord------数据结束位置
   
5. 
   
6. perpage-----每页数量
   
7. 
   
8. 下面的是谷歌翻译的，大概就是这个意思吧
   
9. appid----------应用程序ID，
   
10. webid----------网站id
    
11. 
    
12. path-----路径
    
13. 
    
14. columnid------------列ID
    
15. 
    
16. unitid--------------单元ID
    
17. 
    
18. webname-----------网站名称

复制代码

路过每页40条数据，那么第一页地址

1. http://www.sqsc.gov.cn/module/jslib/jquery/jpage/dataproxy.jsp?startrecord=1&endrecord=40&perpage=40&col=1&appid=1&webid=1&path=/&columnid=19&unitid=325&webname=宿城区政府外网门户网站

复制代码

第2页

1. http://www.sqsc.gov.cn/module/jslib/jquery/jpage/dataproxy.jsp?startrecord=41&endrecord=80&perpage=40&col=1&appid=1&webid=1&path=/&columnid=19&unitid=325&webname=宿城区政府外网门户网站

复制代码

发现了吧startrecord ，endrecord ，  perpage  ，3个参数要做些修改就行了

下面是那个js文件里的代码，我加了些其他注释，不能上传txt文件，所以用的压缩包


规则缺点是这个网站的分页地址火车头好像不能批量添加，因为地址有2个分页变量，可能借助其他的工具生成这样的地址会更方便
做采集规则发布模块，联系