如何提取google搜索结果里，目标网页的URL？

cpoook · 发表于 2013-6-4 16:30:03

是一个关键词，提取目标网页的10W个URL？

whois360 · 发表于 2013-6-4 17:56:05

cpoook 发表于 2013-6-4 16:30
" B# n) O# F( b5 v$ Y4 v/ k! L是一个关键词，提取目标网页的10W个URL？

是

cpoook · 发表于 2013-6-4 18:15:09

这好象做不到，显示可能十几、几十万搜索结果，实际用工具的话，最多可能几十页就没东西了。

goog1e · 发表于 2013-6-4 21:22:32

ipv6

qwingmix · 发表于 2013-6-5 10:50:20

只有一个关键词搜索十万条URL是不可能的。

要用到批量的关键词和软件必须能解决验证码的问题才行。

相关软件： scrapebox / gscraper

e剑行天下 · 发表于 2013-6-5 10:53:23

yoo 发表于 2013-6-4 13:30 $ Y/ U& a2 K. B0 l! Q
我以前曾经编过一个程序，从Google的搜索结果里提取网址。: J( ^( q, o; S+ l" _; d
因为GG搜索结果有着一定的规律，这些URL在包含在 ...

多线程+GAE代理
你懂得~

loquat · 发表于 2013-6-5 12:28:41

scrapebox 单线程，多线程就会触发验证码了

菲菲 · 发表于 2013-6-5 14:49:57

。。。。已经有人解答了

阿百川 · 发表于 2013-6-5 15:37:57

loquat 发表于 2013-6-5 12:28 + y- t! S6 F+ x# U- j6 m/ `
scrapebox 单线程，多线程就会触发验证码了

sb多线程+代理，100w无压力

loquat · 发表于 2013-6-5 21:08:32

阿百川发表于 2013-6-5 15:37 1 f9 q. [, _* W2 S& b) x5 D
sb多线程+代理，100w无压力

兄弟，你用的是收费的代理吗？搜刮的免费代理，一会儿就被封了。另外一个关键词应该搜索不到100W数据吧

阿百川 · 发表于 2013-6-6 05:38:27

loquat 发表于 2013-6-5 21:08
3 j% G1 A( N& Y兄弟，你用的是收费的代理吗？搜刮的免费代理，一会儿就被封了。另外一个关键词应该搜索不到100W数据 ...

免费的就可以，最好使用vps

一个关键词最多1000，这是gg的限制，但可以通过使用相似的关键词来搜刮

guys · 发表于 2016-3-4 02:43:26

lhelhm 发表于 2013-6-4 13:26
3 z* ]( c0 N6 w0 g$ b9 VScrape Sonic ! v; W- i1 g) U! m" A8 E2 Z
GetFromGoogle
4 `7 V6 a/ c& R& ]/ {8 m7 F这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

这些小软件现在都下载不到了呢。

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利广告开户	独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机	E.PN 虚拟卡	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值
Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	一手BM分享户不限额	9Proxy ⚡️ $0.04/IP, 无限带宽
IPCola原生住宅IP⚡️$2.1/条双ISP	FB二三解0.1元一个	虚拟卡\|PTM星际卡	FB专用虚拟卡
Google、Bing官方总代联盟流量开户	FB账号资源/稳定靠谱/运行5年啦	FB开户代投/三不限/白名单	广告位出租

如何提取google搜索结果里，目标网页的URL？

社区QQ达人