ebay采集求给点建议

bluescharp

采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

---算我瞎了眼...参数弄错了一个...

6 M% }; y/ i5 }

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
; }& T! R2 D' y& L( T2 f) y2 {' ?Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
. w0 U+ n; e# K( `/ p; QSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
% C" E9 L) o$ m( G  k2 T* T
( P, _0 g6 B6 P" M! Q. C# Guides sitemaps
) z5 h% ^! P6 F/ _3 XSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

( F( P! `6 N- ]+ @  |# SSRP sitemaps
; ~$ h# P0 @% X5 r& j1 eSitemap: http://www.ebay.com/lst/SSRP-0-index.xml
- t6 E* u" d# W" |  \
" ?( S0 h- N; Y* U, v#Stores Sitemaps
. T# s7 z' T3 E. w2 dSitemap: http://www.ebay.com/lst/STORES-0-index.xml
  d, b5 E* T" a7 s
#BHP Sitemaps
7 U+ |8 x+ ~2 |Sitemap: http://www.ebay.com/lst/BHP-0-index.xml

#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
6 Y- j, t  M6 z7 \! t
#VI
- [/ r) H2 Q, i# ?" |& R' K6 GSitemap: http://www.ebay.com/lst/VI-0-index.xml
  ?; m& b9 Z  l  y
#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

3 D" n5 b$ i( s6 F8 q我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......