ebay采集求给点建议

bluescharp

, x9 t( d  D  }* c
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

7 i2 ]: f& ^$ Y! w! T---算我瞎了眼...参数弄错了一个...

  E2 E# P4 P, e) [" ^2 Q

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
) |6 g4 _0 v6 O$ s

http://www.ebay.com/robots.txt

# sitemaps - SRPs
* y! @" l6 U; `7 D" ^Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
- ^; Y# b6 t/ _! L- q
# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

# SSRP sitemaps
- O% g, A7 d* A$ u8 x7 b# XSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
" F; g! G6 Y% K+ eSitemap: http://www.ebay.com/lst/STORES-0-index.xml

% c; T, c. _& T$ t" F+ T#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml
: c0 O/ v- s+ J% B
#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

) V; w* o0 j* i  {+ [#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml
( x1 T9 v8 I# }
! }% t- q% Y4 }  a* i: m4 f#PRP
( }% M$ t7 `4 T1 v# j; m: l1 jSitemap: http://www.ebay.com/lst/PRP-0-index.xml

( g: ~2 v, [4 u) h7 k; M( }

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
# z2 U" s" s) m我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

2 |' \' g/ h7 t% p我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......