如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？
* @! z; q2 C6 u/ }3 {1 ?5 N% \

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

抱歉，可能没说清楚。
' l& y8 K. E7 I3 ^
要搜集结果页那些网站的URL

比如搜索“中国”

  i5 q5 v. ?9 m: g4 w. G
7 p( s8 ^+ j' G8 f" i" }( G/ C要搜集的内容就是：
1 r" C, A  v& L4 w' B+ c) ~  _http://zh.wikipedia.org/zh/中国
9 X6 Q! `/ H; n' s( G+ fhttp://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
http://china.huanqiu.com/
http://world.people.com.cn/GB/57506/190965/
( e1 d6 ~" k! Z8 b2 e5 J……
/ L$ L% j/ z/ E……
6 i1 ~0 F, [. k# w1 B: Z/ k……

lhelhm

Scrape Sonic
GetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
" X' i8 x. x# k* ^- \( W# b因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
. t; k' `2 e4 N% ?# vScrape Sonic
GetFromGoogle
9 f, G% T) P5 n$ F" B7 H这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

# u3 [: y) t2 |' q) k多谢！                    

whois360

yoo 发表于 2013-6-4 13:30
0 b; \6 j, B3 o, G我以前曾经编过一个程序，从Google的搜索结果里提取网址。
$ ~/ j- Q+ Z/ y2 A因为GG搜索结果有着一定的规律，这些URL在包含在 ...

! P8 R$ @+ ?6 j2 [4 m, M, w嗯
- Y6 M# N# w3 m0 t0 }* {. T) P1 k
数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
7 q5 E: G) v: N以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
google不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

* ?* c* ]  }+ y% e" Z" S其它搜索引擎都没有结果
/ ^: v7 F) ^/ a0 f& }3 [- D
- h6 \8 ^+ K5 R. ]某网站10万个会员的邮箱
看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
其它搜索引擎都没有结果

- }8 c5 C! {4 r" j8 X; m! G  S某网站10万个会员的邮箱

楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
( A. n) B% Z- n楼主搜这邮箱做什么

有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
有10万个邮箱 做什么都好

& O& ?  d0 Q' o- a, Y群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
$ \. U3 \( x' b  G- i不知道可不可以，去试试google的搜索API

8 C5 Z8 P% H& OAPI返回的数量非常有限