dyk 发表于 2014-12-3 12:47:36

抓取微博搜索结果的问题!!求大家解答

最近的话题是“维多利亚的秘密”所以我就进行了高级搜索,想抓取搜索结果每个人的用户名和微博内容,可是抓取规则测试的时候一直不能显示,而且网页源代码也没有相应的文字内容标识。如附件图1黄色部分是我想抓取的。这是网页源代码地址:
view-source:http://s.weibo.com/wb/%25E7%25BB%25B4%25E5%25A4%259A%25E5%2588%25A9%25E4%25BA%259A%25E7%259A%2584%25E7%25A7%2598%25E5%25AF%2586&xsort=time&scope=ori&timescope=custom:2014-12-01:2014-12-02&Refer=g
是这个网页。 我都不知道该怎么找节点。

<a class="W_texta W_fb" nick-name="(*)"target="_blank" title="(*)" usercard="id=(*)&amp;usercardkey=weibo_mp" suda-data="key=(*)&amp;value=(*)">用户名<\a>

<p class="comment_txt" node-type="feed_list_content">内容<\p>这是我Highlight内容后右键审查元素找出来的内容的抓取规则,想抓取中间的内容...可是测试时还是没有,求问是不是哪儿错了!

或者有主意的可以联系我QQ283711674!!小弟在此感谢啦!

303718 发表于 2014-12-3 16:44:26

是不是没有获取COOKIE没有采集到内容呢

dyk 发表于 2014-12-3 21:45:22

303718 发表于 2014-12-3 16:44 static/image/common/back.gif
是不是没有获取COOKIE没有采集到内容呢

也有cookie,不过怎么检测COOKie是否采集到内容呢?我也不知道是没有采集到网站还是规则错了!谢谢

303718 发表于 2014-12-3 22:50:27

你这个搜索内容是否要登陆才看得到的。你可以用正则(?<content>[\s\S]*)采集所有内容看是否有你需要的内容存在。

dyk 发表于 2014-12-4 00:13:11

303718 发表于 2014-12-3 22:50 static/image/common/back.gif
你这个搜索内容是否要登陆才看得到的。你可以用正则采集所有内容看是否有你需要的内容存在。

应该是网址采集不对,测试的时候不能出二级网址,求解怎么写多级采集的规则啊,原帖中连接里的代码实在太密有没有文字标识找不到节点....谢谢

大伟哥 发表于 2014-12-11 15:09:32

这个也确实是个问题
页: [1]
查看完整版本: 抓取微博搜索结果的问题!!求大家解答