各位大神，爬国外数据的话，标配是什么吗？

dengwen168

最近在学习python.,

2 p0 |( E. E& Z$ g0 ?$ e& b想请问一下各位大神，爬国外数据的话，
* O; W. O: ?9 [1 N$ Y  xgoogle ,twitter这些都是被墙的，
: |8 F: K1 L- h3 l
) S0 u' i3 L: G如果要爬这引起网站的话，标配是什么啊？

# q+ d9 ^  `. I/ Q; _  d, f7 k4 {! h大家都是如何来解决这个问题的？

' `5 X  d0 f/ f: d) l我目前是浏览器可以FQ，可是爬虫翻不了，

是不是要搞个可以FQ的路由器啊？
! ?! V" x4 D6 h2 `8 T9 ~; h! M! F
谢谢。。
% F! a# _) p  [
3 C& {; E. I6 \% w
: F0 c* B$ Y) J: c2 V; ~( s

qingwei

买个服务器

osun

搞vps，在vps上爬

osun

搞个vps，在vps上爬，练手的话就先国内网站爬爬

bluescharp

服务器不重要，大量的代理才是标配

lmxml

证明你还不会爬虫，没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR

affiliateberry

话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
不过价格不便宜
- p9 s/ p& L5 Y( A5 Nhttps://www.stupidproxy.com/5-best-residential-proxies/
你问的是标配？ 把你的项目大小确定了，才来问标配.

fatiery

代理 大量