|
|
楼主 |
发表于 2016-5-11 12:21:56
|
显示全部楼层
想采集谷歌数据，大概做到以下几点：
# [2 o1 ~7 e3 D# G( x7 l% k0 I' ?, r) K# |7 o# \4 j
1 代理IP尽量多，而且不能都在一台服务器，因为所有请求数据都同在一个硬件网络出口的话（例如：网卡，路由），就是说MAC地址一样，这样的话，明显就是一台采集服务器，再多的IP在这台服务器上都是废的
; Q) L; z2 {& ?: G4 D) g8 y* |. W* N1 [4 k, m, c6 {. t
2 不要太急，一般我的经验是，第一次发送关键字查询，间隔时间为20秒比较保险，从返回的搜索结果页面里，模拟点击“下一页”查询，间隔时间为40秒~50秒以上，1 G3 x5 W7 w) U
' Y3 ~0 A; ^0 \9 T. n8 ^# w请求翻页内容这个比较讲究，尽量做到模拟一个常人的行为去翻页，为什么我要写40~50秒这个区间，记住三点：
d( M$ T* ]: ?( x0 d$ s1 A% U1 一个浏览者要点击翻页按钮，肯定会花40~50秒的时间看完了当前页面的内容才去翻页
# I2 [0 W, `% h4 o1 e2 不要每次发送请求的间隔时间都一样，随机在 40~50秒 之间
$ i* c9 v* P$ t' ]8 P3 不要贪得无厌的获取翻页内容，一个正常IP不会经常翻到第8~10页去看内容的，一个IP可以偶尔这样深度翻页获取数据，但经常这样做，只会让你的代理IP过早进入黑名单, b, f6 w' M& B) q) _
8 n0 B7 D1 i1 a+ s- G0 x0 f# ~% r% S& D2 |谷歌的搜索系统太智能了，就是一个模拟常人正常使用行为来做相应判断的，一切程序化的都会被识别出来，所以我们的程序也尽量仿人类去执行. z7 Q) |7 _" q3 b
% t# m5 \$ G/ n1 \' u. j' v: Y6 ]7 b
以上就是很多人把采集时间间隔调得再大，都被谷歌拦住的原因
/ A- r1 t$ b. L5 q6 r& y- K |
|
楼主: dowall2
楼主
发表于 2016-5-10 22:01:04
发表于 2016-5-10 22:29:57
发表于 2016-5-11 10:08:10
发表于 2016-5-11 10:19:32
发表于 2016-5-12 09:43:28
