|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
" `7 ]6 N. \0 P" z0 x, a2 p; n9 o) H/ g4 j; P$ ?' N
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
* G8 l" o4 S( i% I# e5 D A; G0 ]
' h( U6 E" R2 s5 E0 z8 }3 B; U5 G3 l email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：/ ?9 w* ?5 |9 `0 x$ v
•从起始网站提取电子邮件* u' `) P1 X0 I
•除了电子邮件采集，电话和传真号码，您可以搜索 U1 [2 B+ G. Z# |* k
•自动化发送电子邮件到您的新客户% l" m# E* V* q8 V9 K9 L! a
•收获电子邮件与搜索引擎的帮助下（300+包括）' a6 ?6 m( ?! \
•支持HTTPS网站
3 l/ T. Q6 L8 t5 O- q& T' j•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
% p- J7 a5 J( b8 D2 \•内部SNMP服务器直接发送电子邮件# n, V5 ?' M& H
•JavaScript的分析，找出保护的电子邮件地址: x" Z" V4 o8 ?
保护•反蜘蛛引擎（例如随机用户代理）: K3 h; S2 L5 d# j/ W
•收集电子邮件，它们的附加数据（如地址）
! k; o7 b3 Q, g' ~' u6 J•许多过滤器只能提取你想要的电子邮件
2 Z0 M) H; W; u4 u•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
- p! M; J9 N7 i•多语言支持（现在的英语和德语）; H3 S' k9 Z, Y& ?* c& F1 G
: q) P, E! @$ {) }' j% m1 S
) [5 b8 C, ` o0 C0 l4 Q 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
) w) _! H/ p& J$ y: Z1 I& K7 B5 u
8 T6 [2 V" U H6 f, \ m# E7 C% U
程序跑起来比较稳定：
G$ y5 {; b- c0 n5 | , r- O+ q* F5 E$ L0 S6 d
, o! f$ |+ Y+ A" `0 l7 T
程序安装步骤：* j& I6 J: _# c; \
1) 添加如下内容到hots文件中+ \& ? M( s( @( O2 Z
. H3 p9 V9 [# v/ R2 o127.0.0.1 www.findsoftware.eu
- s8 w: a. d U; M127.0.0.1 findsoftware.eu
7 Z7 p7 I l2 S) i, O8 l127.0.0.1 www.rostock-schwarz.de
- ?/ ^2 `( Q/ j/ r' K127.0.0.1 rostock-schwarz.de
0 \6 ?+ K" k& j* U. |127.0.0.1 www.gsa-online.de
; W: K# @, W5 a9 G7 b& M' ?6 R127.0.0.1 gsa-online.de
7 Q. X' g4 c' A0 |6 R$ S
2 N) [% P8 ?8 Q% \- R* I
* @0 M+ H A" h. N/ p9 h2 F7 F3 @2)执行 email_spider.exe I! M( ~" k, D; d, w
! W8 |! \# u `" l# t0 M0 B
1 W" V; j% _" Q/ y, @* D0 j3) 要求注册时，输入用户名和密码。
5 _" ]" A3 c5 i9 v' m$ C
2 J ~% M/ q6 s0 _Your license name is: MKDEV TEAM8 h- y, D) Y( N8 Y# q) R" T, m
Your license code is: L1E1-1437-I93N-L1KL9 e5 n M. Q5 b
9 F) I8 t! S; X" g8 g
' f# T: ~" i7 o" z, A+ Z
另外附一个收集来的emailList.见附件。
0 A4 \9 q i& L. \ d程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
9 t# b* p8 I& _" V: b8 V3 o; M* l; I
$ c- X7 A3 M5 G+ d* p1 F* f |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36