cmwong 发表于 2015-10-19 12:49:14

建議加個cookie定期重新抓取



有些網站抓幾百條就會禁止採集, 連不到資料, 要重新登入程式和重新抓cookie才能重新採集@@希望能加個功能能自動重新採cookie 功能~~

专业收费采集 发表于 2015-10-19 14:35:59

如果对方发现你频繁的访问 就算你重新定期抓取cookie也没用

更多的解决方案是需要你控制采集的频率和切换IP

iou33449999 发表于 2015-10-22 14:33:37

控制采集的频率和切换IP 我都试了 对有些站还是不行 怎么办？
http://bbs.locoy.com/spider-141391-1-1.html

lbjyuer 发表于 2016-2-9 21:21:30

用浏览器来解决吧~~~
页: [1]
查看完整版本: 建議加個cookie定期重新抓取