不能采集亚马逊？

feego

今天和一个朋友说起采集亚马逊，朋友说亚马逊不允许，我看了亚马逊联盟的说明，没有看到这一条啊
有经验的前辈怎么看？
% b1 }4 B! I6 }) Z& @% e: W
& @5 ]2 v! x- d4 Z& @8 y  ~' t

凌尘

可以调用吧

dersu

什么叫不允许？
我这边专门帮人做数据采集，监控和分析。也做过要采集亚马逊商品数据的客户阿，没什么问题。当然会有一些反爬虫的障碍。你说的不能采集的具体是指什么？

feego

dersu 发表于 2015-11-3 13:45
2 I" k: A  T* a什么叫不允许？
5 ?1 z( p, h. F5 J我这边专门帮人做数据采集，监控和分析。也做过要采集亚马逊商品数据的客户阿，没什么问题 ...

我的意思是采集亚马逊做垃圾站，朋友说会被k
, [. d" {  ?7 A- F' V# y( d前辈怎么破亚马逊的反爬虫的？我现在只是定时自动刷新，如果出现那个robot check就打码
0 g: v* D9 b7 \有别的思路吗？

阿百川

feego 发表于 2015-11-4 01:54
9 x' [! N! I+ K我的意思是采集亚马逊做垃圾站，朋友说会被k
前辈怎么破亚马逊的反爬虫的？我现在只是定时自动刷新，如果 ...

5 o  C6 P" ~7 w# @& [( U+ z1 f9 P. E4 Q4 Eamazon有api，不用自己去采集

李小冲

把amazon的sitemap下载下来，然后通过里面的product url进行采集相关的数据

dersu

feego 发表于 2015-11-4 01:54
- x6 e3 G* u# k6 U) |我的意思是采集亚马逊做垃圾站，朋友说会被k
; b2 `4 u& t$ y2 F/ w前辈怎么破亚马逊的反爬虫的？我现在只是定时自动刷新，如果 ...

, Y' V! U  G6 c% T$ ?6 O# Q量不大的话，楼下 @阿百川 兄弟说的是正解
% {) W8 X. ?( q3 N5 X9 O# E否则你肯定会碰上RobotCheck，或者0或空字段
但API的限制我没记错的话是1秒，大数据级的话基本是会把自己憋屈死的
# Z) B  E+ S- Y8 E/ x& H7 X# [& C; V
我这边因为同时为客户跑非常多的爬虫，常规有一个大概2万的匿名代理池，一般有客户要爬东西，直接先上代理池大并发，如果不行再仔细研究网站和其他方法，如果每一个网站都仔细研究他们反爬技术的话，会累死的，呵呵
5 h4 v6 O4 l+ o% Y7 b5 B
. p* o1 I0 s: c) C7 |2 v' f* B6 f@李小冲 说的方法如果你没试过也一定要试一下，能减少很大工作量

- N" }8 S; T# M8 @( i7 W- p通常来说，爬一个网站之前，先看这三点：有没有API, 有没有Mobile站，有没有sitemap，吃过无数次亏的血泪经验，哈

feego

阿百川 发表于 2015-11-4 10:31
amazon有api，不用自己去采集

亚马逊本身的api限制太多，对我来说基本无用

feego

dersu 发表于 2015-11-4 16:52
量不大的话，楼下 @阿百川 兄弟说的是正解
8 h$ C2 Q2 w# {  `7 q1 M" N否则你肯定会碰上RobotCheck，或者0或空字段
" Z1 p" F/ d- W/ r* u但API的限制我没 ...

多谢～～～～～～～～～～～～～～～～