ebay采集求给点建议

bluescharp

& ^9 G: I. y( M" D* I7 W; ~2 ?, Q
) W) s+ S: n" M: U采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
& l' G" z6 Z- F  ^0 ~+ [. x
/ |2 h. N( v- A5 b3 K---算我瞎了眼...参数弄错了一个...
' d3 h+ p  G0 F8 D( @1 [6 `" c6 m

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
' z1 q) {5 ^6 I' Z2 Y4 y" G6 rSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml

: V# P" [3 z7 f4 \: V# d* i# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml
% L# h# _- v7 c9 N
5 S7 ?. k8 A7 [# SSRP sitemaps
+ b$ l& r& t9 [4 ~8 Q' h9 @6 VSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
4 H7 G9 U- k. YSitemap: http://www.ebay.com/lst/STORES-0-index.xml
2 ]  R2 `8 E) T% @8 ]* _& g
/ u( h4 L5 I; y0 L, }( ~& _: V#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml
0 V. }1 @  L' Y5 a! W
#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
3 I. Z+ k9 s) m; q6 Z
#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml

9 f. p6 Q% |2 h! v: s#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

: ~; A' j) ?4 p9 h& o8 D7 N6 ~

破军

采集ebay的产品做什么？
' \; Z1 t0 v5 k7 D

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

; A- K6 i, o' O+ `7 A我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......