网站小偷程序吊丝版(原理、实现，及几种玩法)

beijixing

大洲的小偷程序非常让人眼馋，无奈本diao丝程序员，一无RMB，二无论坛币，只能望洋兴叹，所幸我有web程序开发的经验，对于这个小偷程序的基本原理能猜到不少，本着自力更生，服务大众的精神，我自己实现了一个简易版，在此开源给大家，希望能赚点论坛币，早日进入email版见见世面。

* Y6 t7 a  O. J% k1 V9 a2 T4 O, A一、原理
% Y8 y+ T1 s" y. m" @5 u0 o" ?1.用户访问流程：
（1）用户访问我们的冒牌站（A.com）
- L$ y9 P- {) v7 V/ d（2）网站后台程序根据用户的query参数（包括get/post/cookie）构造原始网站B.com的url，用后台程序去访问该url，此时可以拿到原始网站的html和header输出。这里有一点需要注意的是原始网站输出的头也不可以忽略，里面的set-cookie信息也可以转发给用户的，这样就可以实现注册和登陆原网站啦。
（3）对原始网站的html输出和header输出按某些规则做替换，比如把某些广告去掉啦，把B.com的地址替换成A.com啦，其实这一步是最关键的，也是玩法最多最好玩的部分
  W8 |) T3 e# b0 a- g（4）将替换后的html和header输出给用户。

2.规则替换的几种玩法：
（1）最简单的当然是字符串和正则表达式了，这就不多说了
（2）用html解析库对html的dom节点做操作，然后重新生成html，比如可以把页面中的text node翻译成另一种语言，或者做文章重写，这样比较容易逃过搜索引擎的法眼。
据我所知每种语言都由若干个html库，比如php的有DOM、phpQuery等，java的有htmlcleaner等
6 _7 D' x( G# A8 f% c（3）在原始html代码的后面加入一些javascript代码，用来隐藏一些页面元素，或加入一些广告代码等

3.关于速度和性能：
（1）提到性能第一个想到的当然是缓存啦，我觉得最适合加缓存的地方就是上文1.1.2中提到的生成原始网站url后，这里可以对原始url做md5编码，访问一次改url后就把它的内容和头存到硬盘上，这样就不用每次都去原网站拉取了。做缓存的另一个好处是不用担心被原网站屏蔽。

0 U7 {* ^7 r+ }) ~# l/ p; v+ y（2）对于css，图片，js等静态文件，其实不用每个文件都让php访问原网站拉取，可以直接返回个302，让浏览器直接去原网站拉取。
) p$ l0 s9 H. o; N
7 b% _! c4 d8 D5 l& n+ \2 W
二、实现
% L/ M5 a  X' }) a# y: j1.程序语言：
其实这个东西哪种语言都能搞定，也都不麻烦，我对php比较熟，就选了php。
) M: c) }9 r* N& P! _/ o2.一些准备工作：
（1）修改apache的rewrite规则，因为我们的程序只有一个文件，我们必须把所有接收到的请求都重定向到这个文件，这里我假设重定向到index.php，在apache的<VirtualHost>中加入这几句,如果是虚拟主机的话就修改.htaccess吧，不过我没试过，所以不知道怎么写re它的write规则
RewriteEngine on
RewriteCond %{DOCUMENT_ROOT}%{SCRIPT_FILENAME} -s [OR]
1 |  V, A+ L2 _2 A1 _' l9 ERewriteCond %{DOCUMENT_ROOT}%{SCRIPT_FILENAME} -l [OR]
RewriteCond %{DOCUMENT_ROOT}%{SCRIPT_FILENAME} -d
RewriteRule ^.*$ - [NC,L]
RewriteRule ^.*$ /index.php [NC,L]

（2）安装php的http模块
php发http请求的函数库找了好几个，发现http模块是用起来最简单的，不过需要你会linux操作哦，安装方法在这里http://php.net/manual/en/http.install.php
ps：如果安装不上或没有vps，请把下面程序的http模块的函数换成phpcurl等http lib

3.index.php的代码：
  A9 k* F* j8 @: I
2 {2 d* f3 }' c9 ?7 j/ T6 p( x6 L
$host = $_SERVER['HTTP_HOST'];
; T( Q/ C- ]4 S8 t( w//这里把假站的域名替换成原始网站的，用于生成原始url
$host = str_ireplace('fake.com', "true.com", $host);
$toUrl = sprintf("http://%s%s", $host,$_SERVER['REQUEST_URI']);
  Q* F" k, v% n7 r- r6 I1 k1 o4 L1 I
' X5 B2 M1 K6 c1 V& K0 P0 Q$script_name = $_SERVER['SCRIPT_NAME'];
  @* p+ L1 R( a( ~2 w$arr = explode(".", $script_name);
$endName = $arr[count($arr) - 1];
  C' P3 ?) J5 c) ?2 a

. r4 S1 R+ K$ @& p! R9 Z+ r, J+ Z2 w* g//这些后缀结尾的url直接返回302
( Z4 G; N( [$ X# I$STATIC_END_NAME = array('css','xml','rss','gif','jpg','jpeg','js','axd','atom',
1 G5 Z& f! V  p) T$ l3 f& @& Q                'mml','txt','jad','htc',
* W: S; p; ~/ R  e6 ~6 |& w                'png','tif','tiff','wbmp','ico','jng','bmp','svg',
                'jar','war','ear','hqx','doc','pdf','ps','eps','ai',
                'rtf', 'xls', 'ppt', 'wmlc', 'xhtml', 'cco', 'jardiff',
                'jnlp', 'run', 'pl', 'pm', 'prc', 'pdb', 'rar', 'rpm',
$ [" X4 h( ^8 f3 G" F1 l( L2 Q0 p                'sea', 'swf', 'sit', 'tcl', 'tk', 'der', 'der', 'crt',
                'xpi', 'zip', 'bin', 'exe', 'dll' ,'deb', 'dmg', 'eot',
                'iso', 'img', 'msi', 'msp', 'msm' ,'mid', 'midi', 'kar',
) z) k  }' e3 X2 v" i# @                'mp3', 'ra', '3gpp', '3gp', 'mpeg', 'mpg', 'mov', 'flv',
  m% o; q5 h# J9 Q3 V* D7 H                'mng', 'asx', 'asf', 'wmv', 'avi');

4 B4 L* E; x  {4 L/ a) m( Uif(in_array($endName ,$STATIC_END_NAME))
{
        $headerStr = sprintf("Location: %s", $toUrl);
        header( $headerStr, true, 302);
        exit;
}

//一个简单的cache
5 a' O5 h( r; A' s' J+ G& Wfunction GetFromCache( $url)
1 a* X2 s5 m. q; ?3 L' k{
0 n! F& Z* f: j    $current_dir = dirname(__FILE__);
    $cache_dir = $current_dir . "/cache/";
. Z) \' C/ j- u- R: S    if( !is_dir( $cache_dir))
8 q/ P7 E5 f$ d$ P$ d( S    {

        mkdir($cache_dir);
    }

    $cache_file = $cache_dir . md5($url);
/ D% d( D$ G+ g6 n- u7 H    if(file_exists( $cache_file))
    {
0 U+ l/ J0 J) Q; u$ w2 A( V        $html = file_get_contents( $cache_file);
        if($html == false)
6 h7 j: P( ]! C4 H5 g! Y, t        {
            $html = "";
9 L( l2 L+ [  _        }
( Y/ m8 ?  B* \, W( h: ^% \) P& N    }else
    {
        //访问原始网站
        $data = http_get($url ,array('redirect' => 5, 'timeout' => 10), $http_info );
# H; R- k0 Q- V$ Z3 |! x3 [        $message = http_parse_message($data);

        $html = trim($message->body);
- S, q' M; N( T9 f/ x. G2 ?
        file_put_contents( $cache_file, $html);
1 ]( u1 q) Y; i4 j    }

    return $html;
& @  O. U# @1 v" W}
- x1 }: K- v7 [* i3 t6 E: u+ B
1 x& i, m) J' o, v$ G$html = GetFromCache( $toUrl );
! Z- U. c( Z; t
4 Z  v/ o+ k# N
$html = str_replace("circleid.com", "circleid.us", $html);

$html = preg_replace('/<meta name=.*>/', "", $html);


8 J! D1 a6 c, c( x) ]//注释的这两句是用phpquery操作
# |% i4 \' G" b- b//$body = htmlqp($body)->find('#header')->remove()->html();
//$html = htmlqp($html)->find('#header')->remove()->document->saveHTML();
# G1 ^2 Z1 U: o$ a* s6 E: b
  M" [+ T6 o( p! V4 h  A& O$script = <<<EOD
<script>
$(document).ready(function() {
$ L8 A+ i5 n/ F( g0 u& u2 u                $("#footer").remove();
$ i4 h* h; [0 X% t
});

</script>

1 k$ `; J7 x4 I- WEOD;

echo($html . $script);


4 W- c: U) u+ E8 F' P0 z三、最后
" X% V( g" @' S8 I4 c9 q1.总之，这个程序还很简陋，没有处理post和cookie参数，也没有配置管理模块，距离大洲的程序差距有一个大洲那么大，仅适合稍微懂点程序又有点好奇心的新手玩玩
7 L0 J; E! }6 X8 y+ A2.最后当然是希望大家不令赐分啦，您的论坛币是我继续分享的动力，哈哈
" L' t$ x0 B  m9 X% H" F) i' F

chinafla

随便找一个proxy代码 功能以去掉 什么都齐全了。。。

joul

有一个技术流牛人！赞一个！！！

terranboy

NGINX 天生的小偷 结合LUA 各种替换

goog1e

nginx 早已经实现了,有插件.

tyro

期待楼主的程序，大洲 的程序貌似挺牛，但是贵，初级屌丝用着吃力。

beijixing

chinafla 发表于 2013-5-22 19:15
0 J+ t5 |5 x, H4 o随便找一个proxy代码 功能以去掉 什么都齐全了。。。

是的，其实就是个web proxy，重要的是替换模块的创意和玩法。
我觉得大洲最NB的一点就是把配置管理和站群管理做的很方便，另外就是把替换功能做成插件化，这些边边角角的活看起来没啥技术含量，但是做过产品的人都知道很劳心劳力的

毕加

楼主牛人。。。

ROTOU

对于css，图片，js等静态文件，其实不用每个文件都让php访问原网站拉取，可以直接返回个302，让浏览器直接去原网站拉取。

源网站如果有防盗链的，就不行了。
) b9 C6 d/ J9 B* E

危害性
  w; x, f/ V) a, f7 I1 ^3 D' K" _
' m1 K8 r: L+ F/ n+ t& l302重定向很容易被搜索引擎误认为是利用多个域名指向同一网站，那么你的网站就会被封掉，罪名是“利用重复的内容来干扰Google搜索结果的网站排名”。因为302重定向经常别用于做url劫持，黑帽seo技术中，而且百度在处理302重定向技术还不成熟，经常将它纳入到黑帽seo的范畴中，而google对这方面识别处理就完善了许多。所以302重定向在现阶段的搜索引擎技术中，还是容易导致网站降权的，尽量不用。但从seo、网站优化方面来说是弊大于利。

hudba

没看懂，楼主你抓取的html是永久保存在服务器硬盘吗？还是用户访问每次都抓或者缓存？
5 n2 D+ n5 `* B& Q0 i# v! }1 j- C抓来的页面模板要重新设计吗？觉得最后还是要能赚钱。伪原创？

生鱼片

一个NGINX就搞定了 效率还高
简单的替换有相应模块

Jack

会程序的就是NB哈

beijixing

hudba 发表于 2013-5-23 06:42
没看懂，楼主你抓取的html是永久保存在服务器硬盘吗？还是用户访问每次都抓或者缓存？
& ^) Q+ s( S' w5 Z( y1 O, B抓来的页面模板要重 ...

. m. w1 v: \5 m% B' A这个代码里的cache主要是做demo，是存在硬盘里的，实际使用中你完全可以用memcache或数据库代替，cache的过期策略也可以自己控制

eyemans

也是一个高手哦。。。

如松

技术流牛人！赞一个！！！