dengwen168 发表于 2019-4-7 17:23:55

各位大神，爬国外数据的话，标配是什么吗？

最近在学习python.,

想请问一下各位大神，爬国外数据的话，
google ,twitter这些都是被墙的，

如果要爬这引起网站的话，标配是什么啊？

大家都是如何来解决这个问题的？

我目前是浏览器可以FQ，可是爬虫翻不了，

是不是要搞个可以FQ的路由器啊？

谢谢。。


qingwei 发表于 2019-4-7 17:50:07

买个服务器

osun 发表于 2019-4-8 06:45:47

搞vps，在vps上爬

osun 发表于 2019-4-8 06:49:24

搞个vps，在vps上爬，练手的话就先国内网站爬爬

bluescharp 发表于 2019-4-8 08:52:02

服务器不重要，大量的代理才是标配

lmxml 发表于 2019-4-11 12:21:34

证明你还不会爬虫，没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR

affiliateberry 发表于 2019-4-15 20:35:56

话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
不过价格不便宜
https://www.stupidproxy.com/5-best-residential-proxies/
你问的是标配？ 把你的项目大小确定了，才来问标配.

fatiery 发表于 2019-4-16 10:42:46

代理 大量
页: [1]
查看完整版本: 各位大神，爬国外数据的话，标配是什么吗？