|
本帖最后由 finder 于 2014-12-28 15:24 编辑 6 n0 { @% h6 {; Q$ o1 l
. v. k( w0 b/ j/ i6 j5 N! ?& E4 C _
以前自己写过一个采集阿里巴巴商家email,电话,公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样,都是采用多线程,发起httpget请求,对返回结果用正则表达式匹配href,和自己需要找的邮件,电话啥的。然后再以这个href List为基础继续发起http get请求,如此,循环。则可以爬遍整个互联网。这是小弟自己的看法,望大神多多指点!
1 ]7 m8 ~5 V2 Q$ U/ d2 B
$ c" S9 u. G' j" I email_spider是使用比较多的一个邮箱采集程序。官方网址是:- http://email.spider.gsa-online.de/
复制代码 目前程序最新版本是V7.00.
- \6 A& k2 V& M5 @ 程序的功能包括:/ I, o" t! D% `5 g
•从起始网站提取电子邮件
C- k+ J$ f6 E! m•除了电子邮件采集,电话和传真号码,您可以搜索+ z' |& V8 F" }" t# a
•自动化发送电子邮件到您的新客户" d! r0 F# ]. Z2 f3 v( K
•收获电子邮件与搜索引擎的帮助下(300+包括)
1 n/ C% g6 y0 ` g+ o) P$ R. ~' }•支持HTTPS网站
- Y$ ^3 V5 X. ]- X•支持SSL唯一的电子邮件服务提供商(如谷歌邮件)
2 I, N+ \% Q2 x$ f& y•内部SNMP服务器直接发送电子邮件
7 i& \4 U( K; [0 Q•JavaScript的分析,找出保护的电子邮件地址
P) U% k* @ ~& I( L' y保护•反蜘蛛引擎(例如随机用户代理): N6 Z- W1 e# h7 S
•收集电子邮件,它们的附加数据(如地址)
& V! D( y0 d6 L* J2 d: [5 l•许多过滤器只能提取你想要的电子邮件
H) n$ r% j8 Y( \. j% g•非常快的处理(100个线程,你可以很容易地提取500个新邮件一分钟)
- w/ h0 A+ Y6 g& H) w1 q•多语言支持(现在的英语和德语)0 t# t8 E6 ?* S" f" T V
9 I5 r5 T c" A k" s; n, {
+ f2 i5 d3 `7 y+ D 这次分享的 email_spider是V5.3的crack版本,也几乎包含了上边所有的功能,可以从指定网址开始收集,也可以输入关键字收集,我在虚拟机中跑了一天,收集了大量的email。我用的虚拟机的配置是521M内存的,如果分配的大,可能获取的更多。如果想要收集更多,可以在多台vps上跑。
n% `4 k3 e6 l, o0 h! W5 B! K
3 Y) @& d% ~! O0 N: z" S$ u) Y
% M: e8 |1 G7 r1 k+ ~/ N 程序跑起来比较稳定:
0 Z& [5 a$ G# D+ D2 p% R' ?
% m% F. u, o k9 Z0 l/ @6 a, _1 H( b
; f4 w0 {, ~ r2 J; j$ Q# _ 程序安装步骤:
' D `2 T( u. }& i/ y1) 添加如下内容到hots文件中- H( X# v7 [" k0 r9 L
+ x! J% g+ s8 K0 e* B3 Y$ Q# P
127.0.0.1 www.findsoftware.eu
' `, N2 R% P, o: p127.0.0.1 findsoftware.eu
# d/ s) s- |) j+ o127.0.0.1 www.rostock-schwarz.de; ~% r2 O5 h, a1 W4 Z
127.0.0.1 rostock-schwarz.de4 H2 E* w' W) o: ~" H! j
127.0.0.1 www.gsa-online.de a5 R6 |! Q, D8 e( d0 t- Z
127.0.0.1 gsa-online.de5 B6 x |9 Q9 y @+ C: c+ J
9 U9 M# z0 O0 B' H# X& x
1 F; ^7 n& l$ J7 l4 |5 a6 d$ R& q2)执行 email_spider.exe
0 q* W9 f* v& x) O1 R& E! n1 i' o3 }- b8 J* d; V3 h0 D
9 b7 h7 n$ l. c0 X3) 要求注册时,输入用户名和密码。
+ v7 s% r2 |3 G* e7 |. L! {$ W) ~6 W1 }4 o) y# L
Your license name is: MKDEV TEAM
) N9 s: O( U9 V1 qYour license code is: L1E1-1437-I93N-L1KL
: L8 C4 Y' o: K, k; U5 ]
: S/ y/ [; w: x7 ]' T' u& X" Q0 i; ?. i" S, W4 r! d: X4 F! I
另外附一个收集来的emailList.见附件。; G$ J6 M7 g; n+ l
程序下载地址:- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
复制代码 另:小弟想学论坛里其它东西,而苦于广告币严重步骤。如果各位坛友,觉得小弟发布的东西对你有用,就请多多评分,多多加广告币吧。小弟学到东西定会继续分享,提前谢谢诸位了。
4 X# ~1 ?3 r6 K& Y* G. L7 g$ W7 T2 A
, j4 B" \' v4 v$ k3 X7 n |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
评分
-
查看全部评分
|