bluescharp 发表于 2015-6-17 08:44:18

ebay采集求给点建议

本帖最后由 bluescharp 于 2015-6-17 14:15 编辑

采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

---算我瞎了眼...参数弄错了一个...

阿百川 发表于 2015-6-17 09:17:34

用api试试，可参考wprobot的ebay模块

李小冲 发表于 2015-6-17 11:29:57

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
http://www.ebay.com/robots.txt# sitemaps - SRPs
Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml

# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

# SSRP sitemaps
Sitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml

#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml

#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml

#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

破军 发表于 2015-6-17 12:29:33

采集ebay的产品做什么？

bluescharp 发表于 2015-6-17 12:41:02

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......
页: [1]
查看完整版本: ebay采集求给点建议