ebay采集求给点建议

bluescharp

采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
2 h4 U# {: A$ e! L( ]) l) Z
; L& W3 c& M* R5 D- P% _$ h$ J---算我瞎了眼...参数弄错了一个...
. `- I/ Y: q& J, Y! y1 L6 C

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
6 E, o- a$ W5 X8 ^9 M: F

http://www.ebay.com/robots.txt

# sitemaps - SRPs
# ]. |* a1 C1 ~: J; C, ZSitemap: http://www.ebay.com/lst/SRP_US_index.xml
; l7 T5 _; c: k3 m! {# ySitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml

# Guides sitemaps
4 D  @1 `- q8 X' C: T& E) ?Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

# SSRP sitemaps
* c1 p% r" Q7 v  F6 W  P9 PSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
) t5 L/ ]0 W5 a8 xSitemap: http://www.ebay.com/lst/STORES-0-index.xml
% d0 j) _8 @* r+ z* F6 f. I) N4 T
#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml
- J5 s! ]9 X" q% t3 c2 M& g  e8 e5 f
#Collections
$ [4 N% I5 O) d" K* NSitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
7 I( N1 U6 M+ P
& T' y6 r7 y3 X4 k#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml

- j$ n6 F2 Y" R# }4 m' g4 A#PRP
7 a7 \- h  T5 `Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

/ z5 @$ c0 R; G+ D- v

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
3 }* }/ P' {8 i% [* Z( Y  f我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

8 V  a9 u; S$ e2 J我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......