shuijingxiu007 发表于 2016-7-16 16:22:24

关于论坛数据的采集

以某个帖子为例，想要采集帖子信息（含主贴信息和回帖信息）和用户信息在操作过程中遇到一些问题：
1、主贴信息和回帖信息的格式不同，无法同时采集。若区分字段，则会有数据冗余
2、用户信息有的有缺失，导致其他信息错位

麻烦各位大神不吝赐教~

leweizxl 发表于 2016-7-18 08:49:52

1.可以区分标签设置再做标签组合
2.论坛回复用户有空用户名？

shuijingxiu007 发表于 2016-7-18 15:01:36

leweizxl 发表于 2016-7-18 08:49
1.可以区分标签设置再做标签组合
2.论坛回复用户有空用户名？

谢谢解答，我再说的详细一点，我想采集的是汽车之家的数据，以这个界面为例子：
http://club.autohome.com.cn/bbs/thread-c-466-52866595-1.html
问题1：就是这边有不同的回复格式（有的是直接回复的，有的是回复之前的某个用户的），所以源代码格式不同，所以不知道怎么办？
问题2：回帖的用户信息中，有的人是有“关注”这项，而有的人有“爱车”这项，所以有可能匹配上的错乱
页: [1]
查看完整版本: 关于论坛数据的采集