|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 4 \) Z" @ J" W$ U- d. r; i' n
o) u: e, x, M, D, L: J" D 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
p* h# S# p" ~5 S9 A
, y2 x2 k* Y% u! l email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：4 l9 |" G' B8 T! F8 a' k+ @# |' i
•从起始网站提取电子邮件
, K3 x( k! R, w" R5 S) R& i! k. I•除了电子邮件采集，电话和传真号码，您可以搜索& j2 n9 G5 v( Z0 ]- m9 U
•自动化发送电子邮件到您的新客户; }2 U8 y6 V+ d Y: }! P2 T
•收获电子邮件与搜索引擎的帮助下（300+包括）
' Y5 L) [8 V9 c, E! K) [•支持HTTPS网站3 I* c1 B ^$ I. l$ x
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）, @+ S8 E) r2 `* V4 C
•内部SNMP服务器直接发送电子邮件; K3 b: I( X# Y- Y
•JavaScript的分析，找出保护的电子邮件地址
: Z* n# M6 t) V0 ~% k G保护•反蜘蛛引擎（例如随机用户代理）8 J$ E1 K& ~$ T
•收集电子邮件，它们的附加数据（如地址）+ h" ? ]8 l c5 U
•许多过滤器只能提取你想要的电子邮件1 K+ D4 u4 a3 t+ X* u+ i" P
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）/ c& Q) i" g1 I0 F% V
•多语言支持（现在的英语和德语）7 y6 y* f8 o. c! ^1 h: `
6 m$ x' P/ V7 X( C" |( A( u0 A& y; x( ?& V7 \
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
. Y9 q, |5 s$ g- `# C+ X" Q" @7 _0 G! C+ k3 T6 Q$ ~
' n8 F# t2 b0 |5 l1 b4 D 程序跑起来比较稳定：) q7 e) |- F" F- e
9 [# A/ Z: f7 E$ n4 _2 a
# C2 D: ^9 f# ]) x, R 程序安装步骤：& a4 m4 _1 J- A: c
1) 添加如下内容到hots文件中
" l# D0 J3 x# U- o2 G4 a
8 K5 _6 d7 d" u8 P) H1 h* }127.0.0.1 www.findsoftware.eu
$ @; i- y5 |( O1 _* x+ U127.0.0.1 findsoftware.eu
( N( t$ p6 z& A$ [4 S127.0.0.1 www.rostock-schwarz.de
/ L& M# l2 e5 O) o: P127.0.0.1 rostock-schwarz.de. c7 O5 W- x* c; P
127.0.0.1 www.gsa-online.de: Y8 @, Q+ k& J( ~
127.0.0.1 gsa-online.de
6 I) d5 U; m) R% P( i2 \
0 ^: o" ]) h& j- K9 M* P0 y. J8 F# b: d* v0 Q/ [1 G
2)执行 email_spider.exe; s0 o7 g, M4 n5 w5 g
& ~% F+ O! i( ]- X; j! i( ]* q3 z8 p9 r' p; E* d9 V
3) 要求注册时，输入用户名和密码。# j# i* d! [; ?+ {$ U$ k U1 P# x
# `* O# E; h/ U! o2 U4 ~
Your license name is: MKDEV TEAM
6 v6 ?& Z7 A8 G) n* H- }" p0 `Your license code is: L1E1-1437-I93N-L1KL5 V8 I( R/ D& d* K2 Y+ h/ g
2 ]# D, M+ ]; w# A
) c, c) t: U; O另外附一个收集来的emailList.见附件。
]2 D! T& n: b* W5 Z! v; l5 w程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
( C; r% h6 d4 X" U# q2 k- o
/ z7 J; W- G$ s8 r1 T m
9 y4 s* s9 q/ n% j P/ \& P( Z |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36