AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

Binom
 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️最干净<Wifi住宅+5G移动>IP代理指纹浏览器,就用AdsPower
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利广告开户独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机E.PN 虚拟卡BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量百度国际MediaGo,独家原生流量
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户一手BM分享户不限额9Proxy ⚡️ $0.04/IP, 无限带宽
FB二三解0.1元一个虚拟卡|PTM星际卡FB专用虚拟卡Google、Bing官方总代  联盟流量开户
FB账号资源/稳定靠谱/运行5年啦FB开户代投/三不限/白名单fb耐用号0.01一个fb账号官方合作商
广告位出租   
楼主: dowall2

采集了1KW的亚马逊数据,就是不懂怎么用

[复制链接]

21

主题

52

广告币

224

积分

初级会员

Rank: 2

积分
224

社区QQ达人

 楼主| 发表于 2016-5-10 20:45:18 | 显示全部楼层
willok 发表于 2016-5-10 20:278 @+ q; b, B) J# ]+ {# z0 Z
"然后就顺便把商品的名字在谷歌的索引量",这个应该还是有技术难度的,一般的通过程序多访问google几次就 ...
4 ^  D$ N8 K  J. S
呵呵,估计你是技术出身的,眼睛够尖锐~~~

点评

如果躲过google的验证码?  详情 回复 发表于 2016-5-11 00:35
回复 支持 反对

使用道具 举报

5

主题

10

广告币

42

积分

初级会员

Rank: 2

积分
42
发表于 2016-5-10 22:01:04 | 显示全部楼层
手动选热卖商品,写review,挂链接,也能赚钱4 C6 R" N$ u! r* U* A
一次选几个,优化一下,扔在那,再去找其他商品
  h$ n! e  Y- |4 R! u
: m- q. @" I% \8 O9 ]0 @那么强的技术能力,采那么多数据,是要自动化赚钱么?
- x; ]/ v6 t4 }( I0 W% W
mv918.com高清下载
回复 支持 反对

使用道具 举报

29

主题

468

广告币

866

积分

中级会员

Rank: 3Rank: 3

积分
866
发表于 2016-5-10 22:29:57 | 显示全部楼层
楼主搞技术的不然深挖下数据看看,或许有新发现。
回复 支持 反对

使用道具 举报

2

主题

48

广告币

147

积分

初级会员

Rank: 2

积分
147
发表于 2016-5-10 22:34:51 | 显示全部楼层
确实有amazon热门商品的挑选工具。
1 E2 y* r6 m% U/ _当然lz这个和google挂钩了,应该有些价值的,需要去发掘和实践。
/ ?6 j( |7 o- t5 V6 \& f# r0 u0 c5 H8 h  X, r5 Y
鼓励一下。
回复 支持 反对

使用道具 举报

20

主题

36

广告币

255

积分

初级会员

Rank: 2

积分
255
发表于 2016-5-11 00:35:10 | 显示全部楼层
dowall2 发表于 2016-5-10 20:450 v: R0 c9 X& i( d4 C
呵呵,估计你是技术出身的,眼睛够尖锐~~~
如何躲过google的验证码?
回复 支持 反对

使用道具 举报

20

主题

915

广告币

1569

积分

高级会员

Rank: 4

积分
1569

社区QQ达人

发表于 2016-5-11 10:08:10 | 显示全部楼层
没什么用处 前面搞的人多了
回复 支持 反对

使用道具 举报

1618

主题

2万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
29619

社区QQ达人

发表于 2016-5-11 10:19:32 | 显示全部楼层
dowall2 发表于 2016-5-10 18:017 u( {7 a! i/ o
既不允许本地上传图片,又不允许远程图片链接5 ]& }1 T* p3 x) d1 J

  T! K$ C  C4 B额~~好吧
/ L6 ?2 }9 O% i  {3 f. c* f1 D- l
我们允许本地上传图片的
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

1618

主题

2万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
29619

社区QQ达人

发表于 2016-5-11 10:20:21 | 显示全部楼层
重点在于流量。。而非采集。。
) ^6 A' V" d$ Z' p- x( k2 O) w, v0 q, D- d4 d
论坛里面搞采集的人实在太多了
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

20

主题

33

广告币

233

积分

初级会员

Rank: 2

积分
233
发表于 2016-5-11 10:38:40 来自手机 | 显示全部楼层
lz求采集不被robot check的办法
回复 支持 反对

使用道具 举报

21

主题

52

广告币

224

积分

初级会员

Rank: 2

积分
224

社区QQ达人

 楼主| 发表于 2016-5-11 12:21:56 | 显示全部楼层
想采集谷歌数据,大概做到以下几点:
9 y- }3 A% U* l% y2 x/ I
1 _' _. I5 D$ X+ B  n8 j% P1 G! Z1 代理IP尽量多,而且不能都在一台服务器,因为所有请求数据都同在一个硬件网络出口的话(例如:网卡,路由),就是说MAC地址一样,这样的话,明显就是一台采集服务器,再多的IP在这台服务器上都是废的( b! ~9 [3 [( m/ S8 y0 ~

0 ^9 t. W' k  r2 不要太急,一般我的经验是,第一次发送关键字查询,间隔时间为20秒比较保险,从返回的搜索结果页面里,模拟点击“下一页”查询,间隔时间为40秒~50秒以上,
/ }& e; j; J6 n9 f+ j; Q( v% H
0 I0 u. @/ w- y: ]4 U请求翻页内容这个比较讲究,尽量做到模拟一个常人的行为去翻页,为什么我要写40~50秒这个区间,记住三点:
5 s, Q: f  N4 `1 一个浏览者要点击翻页按钮,肯定会花40~50秒的时间看完了当前页面的内容才去翻页
" S6 Y) A6 }2 Z8 P" }2 不要每次发送请求的间隔时间都一样,随机在 40~50秒 之间' h4 @6 \1 n% Z, n
3 不要贪得无厌的获取翻页内容,一个正常IP不会经常翻到第8~10页去看内容的,一个IP可以偶尔这样深度翻页获取数据,但经常这样做,只会让你的代理IP过早进入黑名单
& ~6 ~9 V; T; b
' j/ k6 u: Q+ p7 M, H谷歌的搜索系统太智能了,就是一个模拟常人正常使用行为来做相应判断的,一切程序化的都会被识别出来,所以我们的程序也尽量仿人类去执行
9 w  r# G4 |$ E4 v. x
7 L+ E% K1 t( d$ O, c; D9 o2 u以上就是很多人把采集时间间隔调得再大,都被谷歌拦住的原因
9 _2 Y! b  `( k! Z+ N& ^0 |# d

点评

我之前用C#模拟浏览器去请求数据,间隔半分钟,但200个请求的时候就被验证码了。 然后验证码的频率越来越高  详情 回复 发表于 2016-5-12 09:09
楼主是真心分享,把自己的经验说的这么仔细,赞一个。  详情 回复 发表于 2016-5-11 14:49
回复 支持 反对

使用道具 举报

49

主题

943

广告币

1394

积分

高级会员

Rank: 4

积分
1394
发表于 2016-5-11 14:49:16 | 显示全部楼层
dowall2 发表于 2016-5-11 12:219 p; Y, c5 A* b7 J9 H
想采集谷歌数据,大概做到以下几点:8 ~/ q. J. I6 o: I) w5 a, x' K

; n5 B/ R3 L* r5 H( [- S1 代理IP尽量多,而且不能都在一台服务器,因为所有请求数据都同在一 ...
& ]/ i4 @/ \. O2 V. l: c
楼主是真心分享,把自己的经验说的这么仔细,赞一个。
回复 支持 反对

使用道具 举报

6

主题

114

广告币

154

积分

初级会员

技术流 / 爬虫党

Rank: 2

积分
154
发表于 2016-5-11 19:29:52 | 显示全部楼层
亚马逊的数据一直各种渠道都有人采集且提供下载的,大部分需求都不用自己爬了,比如这个,相对被下载的多些:
0 y$ u0 Q+ K" R2 M0 m: shttp://jmcauley.ucsd.edu/data/amazon/
8 s7 N$ P8 J/ ~" }  M
8 H; n# c. E$ N" MPS. C++做爬虫。。。确实屠龙刀做萝卜雕的感觉啊
http://www.jiashidata.com/gg/
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

发表于 2016-5-12 09:09:52 | 显示全部楼层
dowall2 发表于 2016-5-11 12:21
- n4 H! j! h7 v) `2 v- Z( w想采集谷歌数据,大概做到以下几点:( W" f5 I  r4 i" q

0 H3 X, W; p: l5 v! Y) K7 v6 z1 代理IP尽量多,而且不能都在一台服务器,因为所有请求数据都同在一 ...
% I! F% A- ]' [: [: {
我之前用C#模拟浏览器去请求数据,间隔半分钟,但200个请求的时候就被验证码了。; W1 _  A& `# i' k
然后验证码的频率越来越高

点评

1 GOOGLE发回来的COOKIE你发回去没? 2 HTTP标头的 referer 你填了没? 用拦截网络数据的软件,查下浏览器发送了什么数据出去 爬虫要完全模拟一个真实的浏览器去浏览,而不是猛的发请求数据~~~  详情 回复 发表于 2016-5-12 12:13
回复 支持 反对

使用道具 举报

3

主题

0

广告币

14

积分

新手上路

Rank: 1

积分
14

社区QQ达人

发表于 2016-5-12 09:43:28 | 显示全部楼层
用什么采集?

点评

LZ肯定是自己写程序嘛  详情 回复 发表于 2016-5-17 17:40
回复 支持 反对

使用道具 举报

21

主题

52

广告币

224

积分

初级会员

Rank: 2

积分
224

社区QQ达人

 楼主| 发表于 2016-5-12 12:13:24 | 显示全部楼层
bluescharp 发表于 2016-5-12 09:09
5 k9 B% @. ^) C# r. I  O我之前用C#模拟浏览器去请求数据,间隔半分钟,但200个请求的时候就被验证码了。' p0 [1 U/ C% O: j7 K; g
然后验证码的频率越来越 ...
4 h6 \2 ~& k1 y' V3 L+ n
1 GOOGLE发回来的COOKIE你发回去没?  c3 L% O, s9 m: a
2 HTTP标头的 referer 你填了没?
& Z, B9 |" d+ z" c
! s+ U  P# y; q" t用拦截网络数据的软件,查下浏览器发送了什么数据出去
( I% O( @/ O8 d2 F
% w0 u% n. y# \2 V5 i3 g爬虫要完全模拟一个真实的浏览器去浏览,而不是猛的发请求数据~~~
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2024-11-22 08:13 , Processed in 0.053187 second(s), 11 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表