ebay采集求给点建议

bluescharp

6 b" R" z( q' c* A& ?
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

---算我瞎了眼...参数弄错了一个...

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
8 s% K$ \; Z, U) Y2 I  x

http://www.ebay.com/robots.txt

# sitemaps - SRPs
+ P# P" _1 H5 q$ @$ h6 R' n- nSitemap: http://www.ebay.com/lst/SRP_US_index.xml
4 Z2 C; m! @$ [" uSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
6 M1 d7 ?% [' k" E
7 \  ^) X6 F( s# Guides sitemaps
$ T; E$ I& e. g! CSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

$ F4 X2 S4 G! _9 G+ z# SSRP sitemaps
" U1 K" _$ A% P9 E3 q: _; k3 fSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
0 z/ R  L7 h: C: v$ p6 s9 YSitemap: http://www.ebay.com/lst/STORES-0-index.xml

$ X$ C3 ?2 z# X- p1 P( n#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml

#Collections
1 h$ U; M2 g0 D# N9 F% g  pSitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

' A* C; V. a. X#VI
  {# j. `5 Y$ ESitemap: http://www.ebay.com/lst/VI-0-index.xml

; U: q, s" o2 u  z#PRP
& X3 ?3 F' s" N7 D- V7 `3 sSitemap: http://www.ebay.com/lst/PRP-0-index.xml

/ F: {2 a0 K4 x6 @& ^

破军

采集ebay的产品做什么？
# O% ~% |' P: O6 i' |/ w" R& s* y

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

+ h# ]0 E) E- q4 I  J+ m我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......