采集了1KW的亚马逊数据，就是不懂怎么用

dowall2

willok 发表于 2016-5-10 20:27
* e4 j# e  l) }$ K"然后就顺便把商品的名字在谷歌的索引量"，这个应该还是有技术难度的，一般的通过程序多访问google几次就 ...

0 E; {4 }4 Y: J( s% s+ B9 l呵呵，估计你是技术出身的，眼睛够尖锐~~~

trimixed

手动选热卖商品，写review，挂链接，也能赚钱
& l& ]; `$ a7 k0 A& B* j; Q一次选几个，优化一下，扔在那，再去找其他商品
; R$ W" g: r; a# s3 s0 u* X3 k
那么强的技术能力，采那么多数据，是要自动化赚钱么？
) |7 f. X. `; g9 D4 `6 x: O! D$ [

windflower

楼主搞技术的不然深挖下数据看看，或许有新发现。

michael2016

确实有amazon热门商品的挑选工具。
- H7 c+ U6 r5 I+ l当然lz这个和google挂钩了，应该有些价值的，需要去发掘和实践。

鼓励一下。

BeyondReach

dowall2 发表于 2016-5-10 20:45
呵呵，估计你是技术出身的，眼睛够尖锐~~~

如何躲过google的验证码？

Atrus

没什么用处 前面搞的人多了

河小马

dowall2 发表于 2016-5-10 18:01
' }( {. I( w3 D2 v6 `# L+ `6 K! d% g. ]既不允许本地上传图片，又不允许远程图片链接

) L" _8 L% y# ^( @7 v. |8 X. |( a+ t额~~好吧

我们允许本地上传图片的

河小马

重点在于流量。。而非采集。。
# o  \; i. G' x0 N5 ?8 N
! O  S3 p" _: O* u论坛里面搞采集的人实在太多了

feego

lz求采集不被robot check的办法

dowall2

想采集谷歌数据，大概做到以下几点：
, j+ b; Q9 W! z8 s* i, S" Y
) ^& W1 t& N0 U2 e7 c. X1 代理IP尽量多，而且不能都在一台服务器，因为所有请求数据都同在一个硬件网络出口的话（例如：网卡，路由），就是说MAC地址一样，这样的话，明显就是一台采集服务器，再多的IP在这台服务器上都是废的

2 不要太急，一般我的经验是，第一次发送关键字查询，间隔时间为20秒比较保险，从返回的搜索结果页面里，模拟点击“下一页”查询，间隔时间为40秒~50秒以上，

请求翻页内容这个比较讲究，尽量做到模拟一个常人的行为去翻页，为什么我要写40~50秒这个区间，记住三点：
1 一个浏览者要点击翻页按钮，肯定会花40~50秒的时间看完了当前页面的内容才去翻页
2 不要每次发送请求的间隔时间都一样，随机在 40~50秒 之间
3 不要贪得无厌的获取翻页内容，一个正常IP不会经常翻到第8~10页去看内容的，一个IP可以偶尔这样深度翻页获取数据，但经常这样做，只会让你的代理IP过早进入黑名单
0 R3 o! P" w! q; Y# B8 Y7 [& B2 Q
谷歌的搜索系统太智能了，就是一个模拟常人正常使用行为来做相应判断的，一切程序化的都会被识别出来，所以我们的程序也尽量仿人类去执行
, e. e% ?5 a* q! g2 J( z6 a
! t  [5 N) j- b以上就是很多人把采集时间间隔调得再大，都被谷歌拦住的原因

kongkong0926

dowall2 发表于 2016-5-11 12:21
想采集谷歌数据，大概做到以下几点：

# Q' V' O8 h6 q6 t5 Z1 代理IP尽量多，而且不能都在一台服务器，因为所有请求数据都同在一 ...

9 D8 i7 ^7 S& Z' j% e) _; ]+ n% o- B楼主是真心分享，把自己的经验说的这么仔细，赞一个。

dersu

亚马逊的数据一直各种渠道都有人采集且提供下载的，大部分需求都不用自己爬了，比如这个，相对被下载的多些：
http://jmcauley.ucsd.edu/data/amazon/
: }9 L. ~# W  J! r+ }
; {& t0 a0 ~( V! S, rPS. C++做爬虫。。。确实屠龙刀做萝卜雕的感觉啊

bluescharp

dowall2 发表于 2016-5-11 12:21
: a, o, u+ F& d, r2 }" p想采集谷歌数据，大概做到以下几点：

' a8 [) f4 z+ G9 V+ r1 代理IP尽量多，而且不能都在一台服务器，因为所有请求数据都同在一 ...

我之前用C#模拟浏览器去请求数据，间隔半分钟，但200个请求的时候就被验证码了。
% k  l1 q  w- ?3 Z6 A2 I然后验证码的频率越来越高

杰瑞

用什么采集？

dowall2

bluescharp 发表于 2016-5-12 09:09
我之前用C#模拟浏览器去请求数据，间隔半分钟，但200个请求的时候就被验证码了。
- H; e6 i2 |  C然后验证码的频率越来越 ...

$ _& j# g- P5 e7 z0 A" E. P. ~6 v1 GOOGLE发回来的COOKIE你发回去没？
2 N7 O: W6 u; P8 Q, ?7 O0 a" U& r2 HTTP标头的 referer 你填了没？
. h1 k& a! {# v  o% ?: U9 u' |! }
用拦截网络数据的软件，查下浏览器发送了什么数据出去
+ Q$ G5 u$ l$ z, w. ]" H
爬虫要完全模拟一个真实的浏览器去浏览，而不是猛的发请求数据~~~