如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
2 \; a  ]( D' ?8 \, Y' D) V+ s8 K/ `具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

* N- Y3 ]3 L& W. E9 `) o# k抱歉，可能没说清楚。

要搜集结果页那些网站的URL
' q* x2 i9 i& N+ n  J
比如搜索“中国”


要搜集的内容就是：
$ i. z- h8 E1 A8 L6 t6 }; D" D4 l+ ~: Shttp://zh.wikipedia.org/zh/中国
http://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
% f6 E" u% M5 x( }http://china.huanqiu.com/
http://world.people.com.cn/GB/57506/190965/
  Y0 v+ \8 E& l) ]' S……
……
……
5 z& @. r5 v( |: O- K" {

lhelhm

Scrape Sonic
- V5 j: b( T* ^( F5 g7 t; zGetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
. v* H% q  O  Z1 r3 v4 c3 f因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
Scrape Sonic
GetFromGoogle
( ~* z" g  ~# W7 J$ b$ L这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

, o2 P7 L1 i  s* A多谢！                    

& o% `2 n. F) ^+ {

whois360

yoo 发表于 2013-6-4 13:30
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在 ...

; C3 y2 v8 m" F1 D+ s$ f* F) M嗯

数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
$ Y3 ^2 T; ^3 q2 A以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
* e2 U& h& Q1 |6 j! n现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
4 V% r" O2 l! @" v) _! zgoogle不行，换其他搜索引擎吧。
以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

/ U* |; O: e* s# M其它搜索引擎都没有结果

某网站10万个会员的邮箱
" E4 N$ Y7 h8 q+ i9 s看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
其它搜索引擎都没有结果
; F" T, Z# Q; |8 }6 u5 }6 ~8 S
某网站10万个会员的邮箱

2 P' D+ ~  q2 X# M( S5 c楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
楼主搜这邮箱做什么

有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
* }" E# N5 H/ X7 g( S有10万个邮箱 做什么都好

0 b+ x. f9 |. F7 e+ y  T( q* ~; q群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
* E' b+ Y+ ~0 d& I不知道可不可以，去试试google的搜索API

2 u' s* T% Q' D' w2 z) R. I. z3 c! YAPI返回的数量非常有限