本帖最后由 finder 于 2014-12-28 15:24 编辑 5 I( J# w2 l+ {/ r( m
8 z; Y! p0 t- F( v5 W7 a g$ V
以前自己写过一个采集阿里巴巴商家email,电话,公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样,都是采用多线程,发起httpget请求,对返回结果用正则表达式匹配href,和自己需要找的邮件,电话啥的。然后再以这个href List为基础继续发起http get请求,如此,循环。则可以爬遍整个互联网。这是小弟自己的看法,望大神多多指点!
8 y. s% t( h, |& y& @: ~* U
% \0 {# ~/ D3 E& Q" m email_spider是使用比较多的一个邮箱采集程序。官方网址是:http://email.spider.gsa-online.de/ 复制代码 目前程序最新版本是V7.00.
9 B8 o& ?. B, L! D) H 程序的功能包括:1 Q* p2 J; s8 f& |6 r7 |3 T5 Y
•从起始网站提取电子邮件4 Z0 Y# k* ^4 _" L8 x
•除了电子邮件采集,电话和传真号码,您可以搜索
" T" W$ H3 v3 N; S; s$ K1 { •自动化发送电子邮件到您的新客户5 C8 p/ J; g. J
•收获电子邮件与搜索引擎的帮助下(300+包括); R0 ~4 Y$ z6 \3 n K" S! _4 X
•支持HTTPS网站# W# X4 b( @4 _3 x- p8 ^# h
•支持SSL唯一的电子邮件服务提供商(如谷歌邮件)5 I6 ?* e5 Q6 t: W: q* }- y
•内部SNMP服务器直接发送电子邮件
8 N, _) Q8 D* q( U6 M6 n# M5 C •JavaScript的分析,找出保护的电子邮件地址
: T- R+ Z' L8 [, v 保护•反蜘蛛引擎(例如随机用户代理)
7 V/ K8 ] T0 t6 I8 _( d •收集电子邮件,它们的附加数据(如地址)% q; s3 A$ k3 T% m6 J9 K% z4 s
•许多过滤器只能提取你想要的电子邮件
. [9 D& N* e- m •非常快的处理(100个线程,你可以很容易地提取500个新邮件一分钟)
% F4 e8 b7 p, R# @ •多语言支持(现在的英语和德语)/ h2 v) m% F& c
5 D R% w- U9 j2 w
& T+ I8 h" f. d8 ~; a( H" v& v5 d 这次分享的 email_spider是V5.3的crack版本,也几乎包含了上边所有的功能,可以从指定网址开始收集,也可以输入关键字收集,我在虚拟机中跑了一天,收集了大量的email。我用的虚拟机的配置是521M内存的,如果分配的大,可能获取的更多。如果想要收集更多,可以在多台vps上跑。' }0 K2 p9 B7 x& P5 I9 }
. O1 c' C, Z! {% L9 k 7 r# l0 j% W0 x$ r
程序跑起来比较稳定:
) f4 X0 Q4 t) T/ E( m, v
2 B# o( t8 Z- T3 r' f3 X1 i# r8 h8 \4 E5 X 6 B: W3 o, V' O
程序安装步骤:& J4 k/ \8 G H; |+ Y) m$ H8 G
1) 添加如下内容到hots文件中
" R2 k" ?) V7 m& X) Z
9 e9 ]* w4 T' A0 O& y8 F3 d' G 127.0.0.1 www.findsoftware.eu , a- ^ y8 U9 N+ v. D! |% \
127.0.0.1 findsoftware.eu0 l9 x6 N# \0 {4 b5 K; k. z
127.0.0.1 www.rostock-schwarz.de
1 _0 S: H7 ^/ w1 F 127.0.0.1 rostock-schwarz.de$ ~) t% U- I3 Y5 b1 s7 e
127.0.0.1 www.gsa-online.de
/ b& e0 x$ A0 a2 e+ |7 s! L: t3 X 127.0.0.1 gsa-online.de" G, B- f6 L+ T+ r8 ~2 l
5 @& o# R5 r- v8 a. j
6 _7 Q& m1 ^5 p4 u; M! u* F4 W 2)执行 email_spider.exe
2 S1 ]' L! h/ T5 \, \; X . w; T! v4 U7 u6 x6 U: q: k$ @- r
+ w9 Z4 {9 D0 f7 w) P, l% j 3) 要求注册时,输入用户名和密码。+ Q, v% g) M) Z. N# G& [) D2 m4 W
0 _9 E: Y( } A1 n5 q( F Your license name is: MKDEV TEAM
R/ y& k. L9 Q* p' l Your license code is: L1E1-1437-I93N-L1KL5 D; K& I& @6 I! G0 I; E
" z% {$ c4 {! J. s' Q) ]1 F
1 l3 {) Q: j# k 另外附一个收集来的emailList.见附件。. G6 d1 U( s/ H1 o v e n# \ h& y
程序下载地址:http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230 复制代码 另:小弟想学论坛里其它东西,而苦于广告币严重步骤。如果各位坛友,觉得小弟发布的东西对你有用,就请多多评分,多多加广告币吧 。小弟学到东西定会继续分享,提前谢谢诸位了。' H1 d# F! h# j4 f
: S6 x0 s# F, o I1 K' F3 C ~ 1 H% e$ k. W( a# l! y
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
评分
查看全部评分
相关帖子