ebay采集求给点建议

bluescharp

( s% w5 b: T2 y( N" b, F8 G# v
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
9 {& x$ X  u  J4 l9 i
---算我瞎了眼...参数弄错了一个...

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
6 Y' `7 e7 `3 c! R# A

http://www.ebay.com/robots.txt

# sitemaps - SRPs
Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
7 L; M3 h  y8 d2 t% Y: R7 e! t. GSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml

# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml
# b4 m  u7 r) ~  n2 k- G$ C
# SSRP sitemaps
* }& l$ G% u4 MSitemap: http://www.ebay.com/lst/SSRP-0-index.xml
3 G8 ]& j0 q9 V) o2 i# b. B# ^
# k6 g, W+ z, c! l( U#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml
9 T. B2 }4 ^- }4 X  ^
#BHP Sitemaps
/ c) C& T1 I# NSitemap: http://www.ebay.com/lst/BHP-0-index.xml
' v5 A' u5 k# Y1 R* B3 Y+ h
2 E( c9 Z9 L4 ^7 C) @; S#Collections
/ a2 a0 N2 \+ C2 b2 k+ {  a' ~# lSitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
8 s+ g3 Y# |) \( H+ w2 K
#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml
6 @$ G7 c& Q/ P# H+ h6 h: s
#PRP
8 P# i9 ?& c) X5 F6 g+ U/ dSitemap: http://www.ebay.com/lst/PRP-0-index.xml

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

0 {% f/ }7 e. x+ O2 p我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......