如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？
* e$ E) ~. m: a, Q2 U) e

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
9 X7 ~( N2 [! F' ?9 E$ p具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

抱歉，可能没说清楚。
* H! ?, X* P1 U' ?
要搜集结果页那些网站的URL
* ]7 o* r* P2 j( u, W2 X* }
2 z1 p+ ~0 u5 x比如搜索“中国”

- |7 w$ ^4 l% ]) |  }
要搜集的内容就是：
http://zh.wikipedia.org/zh/中国
http://baike.baidu.com/view/61891.htm
+ Q2 l, i' ]9 c) |+ \! Whttp://www.baike.com/wiki/中国
& x1 D& I' T9 Q9 fhttp://china.huanqiu.com/
- C3 {  Q7 ~* }http://world.people.com.cn/GB/57506/190965/
& D- G9 d8 m2 i5 N% k/ Z……
……
" |2 f1 L' j/ t$ S) K/ J. s……
% j9 O# `' E/ T2 W$ x. t1 J* O# t0 _  b3 f
% h; O3 n" h% J7 T

lhelhm

Scrape Sonic
GetFromGoogle
* \, J4 G! D9 |2 i  J这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
/ ~; K4 L8 e" x* O6 M/ t% nScrape Sonic
4 z# F/ W% z& ~GetFromGoogle
* F/ {; e* E( s; U: ?  D0 y1 N  ]这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

9 ^* X5 c- O  o' E$ h多谢！                    
( n7 F9 H  P& o3 k% S4 f% c

whois360

yoo 发表于 2013-6-4 13:30
, ~3 o! Q+ q* L7 l; ?我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在 ...

% t( d  d( M& K/ i3 U8 F嗯
" E  o9 U( ^! r  N! J2 s4 z
数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

8 J- j" r; Y( {  `3 t其它搜索引擎都没有结果

某网站10万个会员的邮箱
看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
% U. ~/ i7 ^4 x! G# L其它搜索引擎都没有结果

某网站10万个会员的邮箱

( {. s) T. R. A/ B+ B% P楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
楼主搜这邮箱做什么

0 w+ d# D$ f8 Y9 H有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
有10万个邮箱 做什么都好

群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
% K. h' g6 V6 j8 \不知道可不可以，去试试google的搜索API

API返回的数量非常有限