本帖最后由 dingyangfan 于 2014-8-27 09:24 编辑 . X2 `% z' T/ q) R$ R& \0 z: q8 K& _3 A
M3 q7 P9 ^$ s4 w6 ]& _
这个站群软件开发目的一是为了流量,二是为了镜像。; z( F/ p+ x- R/ m* n: y1 u/ c
# ?7 _" P5 q( L不管是亚马逊还是易趣脸谱等什么网站,都可以瞬间镜像到我的域名下,可以一个域名对多个目标站,也可以一个域名对一个站。还可以自动蔓延,爬虫会顺着目标网站的外链爬啊爬。。。经2周测试,4个域名,到现在2014年8月20日21点06分,已经镜像了3568645个网站 ,谷歌收录数将近57w,之前测试阶段日流量最高达到9000IP每天。可以预见将来的流量只会更多哦~
6 ^! W Q4 n! s- d2 A" a7 Y
# R0 Y6 P% L" F4 ~3 Y) f下面开发计划还有 关键词蔓延,同义词替换,各种语言替换,以及CS注入等功能,各位有需求的也可以向我反映下,我会根据计划逐步开发 ) H2 @) m3 |3 }! e3 V
目前,这套程序已经上线测试。但是一个人开发这套软件,确实耗用了大量精力,我也无意靠开发软件去赚这个钱,本意还是想在英文网络营销,IM的世界里走的更远。借鉴一句话:如果想走的快,请独行;如果想走的远,请结伴!
) _1 H$ h1 D( M8 J
现诚心诚意召唤小伙伴,共同奋斗{:soso_e130:}
6 F& `6 s0 ]; Y7 C6 b
站群软件功能如下: 基本功能:顶级域名镜像多个网站,多个域名镜像一个网站都行。限制一个域名镜像一个网站(镜像,域名覆盖,单域对多镜像,多域对单镜像) 替换功能:支持文本替换,正则替换 代理功能:支持使用代理访问镜像网站(可以防止被网站主k掉我们的服务器) 错误状态码功能:可以指定错误的返回码显示的友好页面 缓存功能:设置多种文件格式是否被缓存,设置css js image html等常用文件的缓存时间 代码插入功能:可以在网页中头部和尾部插入代码(可以是广告,可以是统计代码) 域名功能:设置不允许被镜像的域名或者.com \.cn后批不允许被添加进镜像 自动蔓延功能:在没有对域名进行限制的情况下,网站会把网站中的外链变成自己的网站,一直循环下去,让爬虫出不去 插件功能:目前插件有手机网页插件,原镜像网站统计代码去除插件,翻译插件,同义词插件(目前性能不稳定),轮链接插件 日志功能:通过日志可以查看哪些镜像网站把我们的服务器封掉了,或者别人的网站出现问题或者打不开的情况。然后我们通过插件或者代理做出调整 : m& j5 `+ r( }2 m2 ]& W" K, \
2 l* {6 L9 D0 e- c1 s; X1 H' c; l
视频:http://v.youku.com/v_show/id_XNzUzNTM5OTc2.html / H l5 n7 F2 x; D% n
如果不可以放链接,请版主手下留情,帮我去掉就可以了。
& v# b4 f* Y) ~+ j# C' a. ~
- b9 G" _0 a# q1 Q& J- M/ q今晚准备新添加一个功能
|1 ?! {6 v$ [) p3 v( }. P/ U: Y" ^/ R+ G. K- _
xxx.com + alias decode 查询 主机是否存在 不存在就是默认的
7 q5 {3 R8 A& z: g5 u# q4 q( { ]5 R
http://xxx.com
0 _9 l7 P* s- a# o$ r" U[img]http://xxx.com/image/1.jpg对不起,我们不允许远程图片. 请将图片上传到论坛
" x5 K! s/ r$ J) r' u& K0 E4 \* c[img]http://xxx.com/alias/1.jpg对不起,我们不允许远程图片. 请将图片上传到论坛
7 {* V) G3 I$ k0 X6 @! v1 \0 u; k
- p5 k! T2 s+ y替换中的实现
( c+ {. O/ F; {- f替换之前要补全网址,因为对应的二级目录是一个域名镜像,所以我们要把/开头的网址自动补全http://xxx.com/alias/xxxx/aaaa.htm4 M* v' k( X0 j% U" Y& ]- {8 E Q5 }
查找,替换的时候通过currentdomain中的值来判断是否为二级目录,进行实现二级目录功能/ j, X1 c8 r& U' T3 E
; b: S: }3 j, ~& A* C0 I测试
+ A* H; y! |# ~3 k6 n+ r: ]5 i6 v- v a
; y) L+ w6 M- K2014.8.24号更新& k4 B+ \# |4 p6 _
增强替换功能(优化替换方式,增强性能,增中路径匹配替换,三种替换方式,[普通替换,正则替换,DOM替换]): [' ]& A( W- u m
信息数据收集(账号,email数据收集中,为建立统一的垃圾库做准备,使得系统得到的email或者其他信息都是90%有效的)开关自动蔓延功能
5 l/ b# @ ]* Z1 l后台批量添加镜像
6 V0 g8 H8 ?3 s
6 Y; G; u9 s& P+ e
3 V- _5 |1 {- ]' ? ]# F |