有没有方法大批量复制亚马逊上的产品名称呢

luck

3 w5 }2 \+ [6 C4 s
# d& ?) {% e( f4 C: v如题，谢谢，昐高手回复。               
9 i3 h6 Z# w  {: r$ ?8 ]5 z5 D
& m' R. v8 q, n% u# L6 B# |; L+ Q

luck

有没有软件可以这样做呢？

ads419

API或者采集

luck

ads419 发表于 2015-7-31 12:14
API或者采集

( p# B4 I% e1 f4 Y. |0 O5 yAPI怎么用？
采集用那个软件，怎么设置？
$ `$ _8 a8 \1 Z# i
谢谢！

李小冲

有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
- r3 V0 _8 o$ S2 @3 C0 P. o" Y2 d可以获取到产品名称和产品对应的网址，直接加上tag=your-xxx就可以推广了

luck

李小冲 发表于 2015-7-31 14:52
有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
可以获取到产品名称和产品对应的网址， ...

* p: Y8 @& V/ X  w' a我现在想知道如何采集啊，请仔细说说啊。

9 A5 ^; P: K4 J" v  N/ n( J, ]谢谢！

ads419

luck 发表于 2015-7-31 13:58
5 T5 _) T* i2 W9 }7 h7 MAPI怎么用？
9 C' P0 A7 ^( T! z& @4 W2 c$ D! a; x采集用那个软件，怎么设置？

API怎么用要看文档啊
8 I1 |# s! y' s采集的话工具很多，比如火车头，使用方法和设置当然也是看文档啊

李小冲

你要的只是产品名称和产品URL吧。
! o4 b* G) X. y5 p% d# N, S很简单:
* u+ Y/ ~: E% v* ~& L) m1.打开amazon.com的robots.txt文件，找到sitemap:
! ~, w. J3 V% V7 c; l5 Dhttp://www.amazon.com/robots.txt

1. # Sitemap files
   
2. Sitemap: http://www.amazon.com/sitemap-manual-index.xml
   7 d0 Q' g8 p8 }6 s/ ]) K
3. Sitemap: http://www.amazon.com/sitemap_vendor_videos_us.xml
   ; H& U6 p* }& W9 Q# u
4. Sitemap: http://www.amazon.com/sitemaps.4acb100d6c5a79c.SitemapIndex_0.xml.gz
   1 p% W5 {1 w4 v1 e0 x# z
5. Sitemap: http://www.amazon.com/sitemaps.f3053414d236e84.SitemapIndex_0.xml.gz
   4 o& g6 {! ^+ K# G! O, M  a9 p
6. Sitemap: http://www.amazon.com/sitemaps.1946f6b8171de60.SitemapIndex_0.xml.gz
   ; y6 U: T; a$ z1 J8 w+ L
7. Sitemap: http://www.amazon.com/sitemaps.bbb7d657c7e29fa.SitemapIndex_0.xml.gz
   
8. Sitemap: http://www.amazon.com/sitemaps.11aafed315ee654.SitemapIndex_0.xml.gz
   
9. Sitemap: http://www.amazon.com/sitemaps.c21f969b5f03d33.SitemapIndex_0.xml.gz
   8 M$ q) [  c' D7 n; g* X
10. Sitemap: http://www.amazon.com/sitemaps.1470994145d5519.SitemapIndex_0.xml.gz

复制代码

2.找到相对应的产品的sitemap的索引压缩文件。
- E) M, n/ x4 U5 R3.下载索引压缩文件后解压。
) U( ]1 U# [# c! e, w4.将解压后的索引文件只的sitemap的url取出来，放到迅雷里面将上百个对应的产品sitemap的压缩文件下载下来。
2 g) G) t6 y3 a. ?1 h5.下载后解压这些sitemap压缩文件。
6.写程序读取解压后的xml文件，取出里面的<loc>http://www.amazon.com/你要的产品名称等 </loc>值存到数据库里就可以了。
( p& ]; [% {. l& _, G7.没有什么了吧，剩下就由你自己发挥弄吧。
/ G6 a( q: S- m
感觉利用sitemap的方法能快一些，我没有用过api，听说api有调用限制的。
& {1 a* Y7 M- B" d3 ^8 h
2 R2 o+ L, p0 ?- E各位喜欢的赶快顶我一下吧。
/ E; ?6 Q1 c, R8 C

lcxpmp

回复楼上，他一定不懂。

feego

火车头采集

seanhere

同上，火车头采集比较易上手

李小冲

火车头采集两亿六千多万的数据得需要多久呢，而且从哪里开始作为采集的入口呢

zhuzhaodan

李小冲 发表于 2015-7-31 17:09
& n+ O# H4 C; {5 u, u你要的只是产品名称和产品URL吧。
很简单:
1.打开amazon.com的robots.txt文件，找到sitemap:

8 N1 ~! I/ n2 _8 J4 l早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分类N的url，然后循环请求几十万次最后得到商品列表。。。结果我昨天发现用sitemap太方便了，直接就采集了，url很全，不用自己去收集url，问题来了，是买n个vps服务器（n个ip同时采集），还是买高匿代理ip，这个我不太懂，我就用的家里ip采集，不敢快了

李小冲

zhuzhaodan 发表于 2015-8-2 20:48
+ U) ]' {8 F! e8 x" u" l( [早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分 ...

你是需要采集不仅仅是产品名称，还有产品图片等其它属性么
8 _/ n. j, ~, P# k9 P  j产品图片不建议采，太占用空间了，可以直接调用amazon的产品地址，你可以进入aff后台，找到产品推广的地方，看看产品对应的图片就明白啦，我就使用的是amazon的图片地址。