cpoook 发表于 2013-6-4 16:30:03

是一个关键词，提取目标网页的10W个URL？

whois360 发表于 2013-6-4 17:56:05

cpoook 发表于 2013-6-4 16:30
是一个关键词，提取目标网页的10W个URL？

是         

cpoook 发表于 2013-6-4 18:15:09

这好象做不到，显示可能十几、几十万搜索结果，实际用工具的话，最多可能几十页就没东西了。

goog1e 发表于 2013-6-4 21:22:32

ipv6 :lol:lol

qwingmix 发表于 2013-6-5 10:50:20

只有一个关键词搜索十万条URL是不可能的。

要用到批量的关键词和软件必须能解决验证码的问题才行。

相关软件： scrapebox / gscraper

e剑行天下 发表于 2013-6-5 10:53:23

yoo 发表于 2013-6-4 13:30 static/image/common/back.gif
我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在 ...

多线程+GAE代理
你懂得~

loquat 发表于 2013-6-5 12:28:41

scrapebox 单线程， 多线程就会触发验证码了 :D

菲菲 发表于 2013-6-5 14:49:57

。。。。已经有人解答了

阿百川 发表于 2013-6-5 15:37:57

loquat 发表于 2013-6-5 12:28 static/image/common/back.gif
scrapebox 单线程， 多线程就会触发验证码了

sb多线程+代理，100w无压力

loquat 发表于 2013-6-5 21:08:32

阿百川 发表于 2013-6-5 15:37 static/image/common/back.gif
sb多线程+代理，100w无压力

兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据吧

阿百川 发表于 2013-6-6 05:38:27

loquat 发表于 2013-6-5 21:08 static/image/common/back.gif
兄弟，你用的是收费的代理吗？ 搜刮的免费代理，一会儿就被封了。 另外一个关键词 应该搜索不到100W数据 ...

免费的就可以，最好使用vps

一个关键词最多1000，这是gg的限制，但可以通过使用相似的关键词来搜刮

guys 发表于 2016-3-4 02:43:26

lhelhm 发表于 2013-6-4 13:26
Scrape Sonic
GetFromGoogle
这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

这些小软件现在都下载不到了呢。
页: 1 [2]
查看完整版本: 如何提取google搜索结果里，目标网页的URL？