采集amazon经常返回不同的模板，求解决

阿百川

使用amazon的api采集一些数据不全，现在想通过直接采集页面获得

但测试过程中经常碰到同样的request却返回不同的数据，求教原因

+ U3 B! b( f# ?  _, i1 e, P; P

河小马

lz 给个request 看下

阿百川

河小马 发表于 2013-5-15 01:10
lz 给个request 看下

1. GET http://www.amazon.com/gp/dp/B00BZ9NOUS HTTP/1.1
   / p: {. b' |4 d) W! ^! l$ _
2. Accept-Encoding: identity
   % T. d# ^1 g9 d( `$ I# |% v
3. Accept-Language: en-us,en;q=0.5
   $ D) M) a/ v# ~) d1 G& h, r
4. Dnt: 1
   ) z2 I! Z. `/ q/ ^# q
5. Connection: close
   
6. Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
   / H& T7 G2 A0 N; I
7. User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:15.0) Gecko/20100101 Firefox/15.0
   
8. Host: www.amazon.com
   
9. Cache-Control: max-age=0

复制代码

直接是浏览器没碰到锅，但提交request就来回换

goog1e

可能是useragent的问题.

阿百川

goog1e 发表于 2013-5-15 19:38
8 T% I8 B3 g" d0 v可能是useragent的问题.

1 J( s9 v$ A6 R' j* K7 q; grequest已经包含ua了

joul

你要采集哪些信息呢？是自己写的程序还是用其他软件？
, R) @3 i  B: o9 p# F: d如果只是产品描述、图片、review之类的，我觉得还行吧，C#的HtmlAgilityPack应该可以搞定。

阿百川

joul 发表于 2013-5-15 23:26
8 Q, J- P7 w) c7 ], M8 Q9 I+ I你要采集哪些信息呢？是自己写的程序还是用其他软件？
% ]9 q6 N7 x  G* `" T1 o如果只是产品描述、图片、review之类的，我觉得还行 ...

各种数据很容易采，关键是经常变换模板，偶尔一些模板还需要翻页才能采集

joul

可能我还没到你这种采集级别吧，呵呵。要么就是采集太少了。

1 i( L0 ]9 h2 E) T6 P7 y我一般是对那些模板变更了的产品直接跳过，比如id读不到之类的，呵呵

阿百川

joul 发表于 2013-5-16 07:36
9 N8 X# _7 Z/ q$ `$ u6 {可能我还没到你这种采集级别吧，呵呵。要么就是采集太少了。

我一般是对那些模板变更了的产品直接跳过，比 ...

直接加了while，多读取几遍，符合采集规则的再继续，就是有些影响效率

goog1e

同一个产品也返回不同的模板,应该不会吧
4 P0 j" c& |% W7 A4 J
# K% c; p5 j+ l2 I- n) V不同类别的商品模板相差很大的
比如图书和衣服类的商品
5 R: I0 b6 B& d* Q* c- W5 p
& q) h9 |/ R1 Q) N9 ^感觉amazon在不断的调整前端设计

阿百川

goog1e 发表于 2013-5-16 09:09
2 `5 r* G& m7 u8 k& u5 T同一个产品也返回不同的模板,应该不会吧

- |( Q5 U& Z1 x" t* m% b3 W不同类别的商品模板相差很大的

; l% o6 v. K. H最简单的价格，html代码一般是<td id=price>价格</td>，偶尔的<td id=price><strong>价格</stron></td>，还有其他复杂的没记住

Atrus

自己开发的API采集 还是用的什么工具？

joul

阿百川 发表于 2013-5-16 09:57
最简单的价格，html代码一般是价格，偶尔的价格，还有其他复杂的没记住

如果只有这类问题，可以考虑用InnerText来采，不用InnerHtml。我建议把数据本地化，再读出来，事先定义好模板再组合成页面。对于产品而言，变动频繁的估计就是价格了，可以考虑每周/每月更新一次数据。

joul

阿百川 发表于 2013-5-16 08:26
; ~4 C  M4 ~( b# ?% u直接加了while，多读取几遍，符合采集规则的再继续，就是有些影响效率

; y2 }/ _1 h8 M. u& p0 |( n1 Y% Lwhile多了确实影响效率，可以考虑后面搞多个采集规则模板，一旦变了，就加上这个规则，程序上做轮询。

阿百川

joul 发表于 2013-5-16 12:19
, E$ W) i+ A$ p6 M4 ^- Cwhile多了确实影响效率，可以考虑后面搞多个采集规则模板，一旦变了，就加上这个规则，程序上做轮询。 ...

& F5 C( }/ Z; ]6 a有几个规则不好处理，如果加上了效率反而比while还低