dowall2 发表于 2016-5-10 20:45:18

willok 发表于 2016-5-10 20:27
"然后就顺便把商品的名字在谷歌的索引量",这个应该还是有技术难度的,一般的通过程序多访问google几次就 ...

呵呵,估计你是技术出身的,眼睛够尖锐~~~

trimixed 发表于 2016-5-10 22:01:04

手动选热卖商品,写review,挂链接,也能赚钱
一次选几个,优化一下,扔在那,再去找其他商品

那么强的技术能力,采那么多数据,是要自动化赚钱么?

windflower 发表于 2016-5-10 22:29:57

楼主搞技术的不然深挖下数据看看,或许有新发现。

michael2016 发表于 2016-5-10 22:34:51

确实有amazon热门商品的挑选工具。
当然lz这个和google挂钩了,应该有些价值的,需要去发掘和实践。

鼓励一下。

BeyondReach 发表于 2016-5-11 00:35:10

dowall2 发表于 2016-5-10 20:45
呵呵,估计你是技术出身的,眼睛够尖锐~~~如何躲过google的验证码?

Atrus 发表于 2016-5-11 10:08:10

没什么用处 前面搞的人多了

河小马 发表于 2016-5-11 10:19:32

dowall2 发表于 2016-5-10 18:01
既不允许本地上传图片,又不允许远程图片链接

额~~好吧


我们允许本地上传图片的

河小马 发表于 2016-5-11 10:20:21

重点在于流量。。而非采集。。

论坛里面搞采集的人实在太多了

feego 发表于 2016-5-11 10:38:40

lz求采集不被robot check的办法

dowall2 发表于 2016-5-11 12:21:56

想采集谷歌数据,大概做到以下几点:

1 代理IP尽量多,而且不能都在一台服务器,因为所有请求数据都同在一个硬件网络出口的话(例如:网卡,路由),就是说MAC地址一样,这样的话,明显就是一台采集服务器,再多的IP在这台服务器上都是废的

2 不要太急,一般我的经验是,第一次发送关键字查询,间隔时间为20秒比较保险,从返回的搜索结果页面里,模拟点击“下一页”查询,间隔时间为40秒~50秒以上,

请求翻页内容这个比较讲究,尽量做到模拟一个常人的行为去翻页,为什么我要写40~50秒这个区间,记住三点:
1 一个浏览者要点击翻页按钮,肯定会花40~50秒的时间看完了当前页面的内容才去翻页
2 不要每次发送请求的间隔时间都一样,随机在 40~50秒 之间
3 不要贪得无厌的获取翻页内容,一个正常IP不会经常翻到第8~10页去看内容的,一个IP可以偶尔这样深度翻页获取数据,但经常这样做,只会让你的代理IP过早进入黑名单

谷歌的搜索系统太智能了,就是一个模拟常人正常使用行为来做相应判断的,一切程序化的都会被识别出来,所以我们的程序也尽量仿人类去执行

以上就是很多人把采集时间间隔调得再大,都被谷歌拦住的原因

kongkong0926 发表于 2016-5-11 14:49:16

dowall2 发表于 2016-5-11 12:21
想采集谷歌数据,大概做到以下几点:

1 代理IP尽量多,而且不能都在一台服务器,因为所有请求数据都同在一 ...

楼主是真心分享,把自己的经验说的这么仔细,赞一个。

dersu 发表于 2016-5-11 19:29:52

亚马逊的数据一直各种渠道都有人采集且提供下载的,大部分需求都不用自己爬了,比如这个,相对被下载的多些:
http://jmcauley.ucsd.edu/data/amazon/

PS. C++做爬虫。。。确实屠龙刀做萝卜雕的感觉啊

bluescharp 发表于 2016-5-12 09:09:52

dowall2 发表于 2016-5-11 12:21
想采集谷歌数据,大概做到以下几点:

1 代理IP尽量多,而且不能都在一台服务器,因为所有请求数据都同在一 ...

我之前用C#模拟浏览器去请求数据,间隔半分钟,但200个请求的时候就被验证码了。
然后验证码的频率越来越高

杰瑞 发表于 2016-5-12 09:43:28

用什么采集?

dowall2 发表于 2016-5-12 12:13:24

bluescharp 发表于 2016-5-12 09:09
我之前用C#模拟浏览器去请求数据,间隔半分钟,但200个请求的时候就被验证码了。
然后验证码的频率越来越 ...

1 GOOGLE发回来的COOKIE你发回去没?
2 HTTP标头的 referer 你填了没?

用拦截网络数据的软件,查下浏览器发送了什么数据出去

爬虫要完全模拟一个真实的浏览器去浏览,而不是猛的发请求数据~~~
页: 1 [2] 3
查看完整版本: 采集了1KW的亚马逊数据,就是不懂怎么用