如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？
( F7 O# P. o/ F. e/ ]$ n: ^- B% b% n

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
1 g  B8 c) n$ p: R具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

* T' a, H% |1 U3 T4 G抱歉，可能没说清楚。
, ?% @2 o5 @1 M: R0 Z( T$ ^1 K) C5 C
% W1 I- q( q9 X要搜集结果页那些网站的URL

比如搜索“中国”
4 [1 L" `& @/ A' Q& c2 I9 {: @9 e
2 o1 g2 F) e: w: Y" s+ }
要搜集的内容就是：
* K0 d5 b2 w8 f. ~) v5 Rhttp://zh.wikipedia.org/zh/中国
+ j/ w% t8 y+ _9 |http://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
$ a  x$ r" v' j; y" D' vhttp://china.huanqiu.com/
/ }3 j6 j* U1 h: g$ l7 W- T, K& Fhttp://world.people.com.cn/GB/57506/190965/
……
……
& a% o  Y+ X! ]* b6 K/ u7 _……
% L* [& U  K9 k

lhelhm

Scrape Sonic
GetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
' f& D! O7 R" C0 `+ V6 _+ t% E, q& T因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
; T  N  }: G* a: Y; R! CScrape Sonic
& U. J" O# y* ^; ~1 SGetFromGoogle
& F6 Z( l% m( }% D- `2 ~2 O这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

多谢！                    

whois360

yoo 发表于 2013-6-4 13:30
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在 ...

5 E' a! t- P) l2 }# Q嗯
3 L3 g1 D: N) D( b' y
# Q, M2 g( u8 n" F" ~数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
/ E! R1 [+ v$ r; G: C以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
. q9 c+ ^% I9 n& l- h" N5 d现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
5 E& y& A) p! R+ H8 ggoogle不行，换其他搜索引擎吧。
5 z: ~" l* k0 d% a9 _" J4 ]6 U以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

3 `% K5 D) P$ K+ t1 R9 ~2 G# b其它搜索引擎都没有结果

某网站10万个会员的邮箱
看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
其它搜索引擎都没有结果

2 w8 U+ j( N" U4 ^5 D% R# A某网站10万个会员的邮箱

楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
楼主搜这邮箱做什么

6 _7 s) |5 |7 c2 r0 f+ t. b有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
有10万个邮箱 做什么都好

群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
4 y; `) |7 Y; p: @9 z不知道可不可以，去试试google的搜索API

% w; D6 h( e7 Z) x8 ~, I* p+ ZAPI返回的数量非常有限