ugis 发表于 2010-4-6 10:59:41

采集51job的职位，遇到的困惑，求思路

51job上，北京地区每天的职位数有100000+，使用一个任务，1秒1个职位的速度，24个小时也不够。
只能拆。
按职能拆解后，5个职能一组（最多5个职能，搜索限制），北京地区的职位就需要10+个任务去抓取。
全国估计需要近50+个任务去抓取，这么多任务一起跑，一台机器上的1个火车头能承受么？

有人有类似的实施经验吗？

ugis 发表于 2010-4-7 09:30:32

对这个问题普遍没感觉？
页: [1]
查看完整版本: 采集51job的职位，遇到的困惑，求思路