各位大神，爬国外数据的话，标配是什么吗？

dengwen168

最近在学习python.,
& ~9 O$ t' c) I; l! _$ S
想请问一下各位大神，爬国外数据的话，
3 P! I" b# `+ ]google ,twitter这些都是被墙的，
% y" L* C, t1 G! M. ~
如果要爬这引起网站的话，标配是什么啊？

: k3 o: M6 b' G0 w9 ?" _# w大家都是如何来解决这个问题的？
/ O0 S5 W3 O/ u9 C
$ I* V0 F. }( N2 [2 a' {我目前是浏览器可以FQ，可是爬虫翻不了，

是不是要搞个可以FQ的路由器啊？
7 w! @8 y% n, k& J; [
谢谢。。
1 `& Y3 H: Z. F6 v3 Z6 J4 O% {

9 u* b$ `. s: m. g) {+ c

qingwei

买个服务器

osun

搞vps，在vps上爬

osun

搞个vps，在vps上爬，练手的话就先国内网站爬爬

bluescharp

服务器不重要，大量的代理才是标配

lmxml

证明你还不会爬虫，没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR

affiliateberry

话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
不过价格不便宜
; I' r0 k& R( C" ~+ W5 ?7 Vhttps://www.stupidproxy.com/5-best-residential-proxies/
你问的是标配？ 把你的项目大小确定了，才来问标配.

fatiery

代理 大量