分享我经常用的 php多线程源码 批量抓取内容的方法

光大

1. <?php
   
2. class Http_MultiRequest
   
3. {
   
4.     //要并行抓取的url 列表
   
5.     private $urls = array();
   
6. 
   
7.     //curl 的选项
   
8.     private $options;
   
9.    
   
10.     //构造函数
    
11.     function __construct($options = array())
    
12.     {
    
13.         $this->setOptions($options);
    
14.     }
    
15. 
    
16.     //设置url 列表
    
17.     function setUrls($urls)
    
18.     {
    
19.         $this->urls = $urls;
    
20.         return $this;
    
21.     }
    
22. 
    
23. 
    
24.     //设置选项
    
25.     function setOptions($options)
    
26.     {
    
27.         $options[CURLOPT_RETURNTRANSFER] = 1;
    
28.         if (isset($options['HTTP_POST']))
    
29.         {
    
30.             curl_setopt($ch, CURLOPT_POST, 1);
    
31.             curl_setopt($ch, CURLOPT_POSTFIELDS, $options['HTTP_POST']);
    
32.             unset($options['HTTP_POST']);
    
33.         }
    
34. 
    
35.         if (!isset($options[CURLOPT_USERAGENT]))
    
36.         {
    
37.             $options[CURLOPT_USERAGENT] = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)';
    
38.         }
    
39. 
    
40.         if (!isset($options[CURLOPT_FOLLOWLOCATION]))
    
41.         {
    
42.             $options[CURLOPT_FOLLOWLOCATION] = 1;
    
43.         }
    
44. 
    
45.         if (!isset($options[CURLOPT_HEADER]))
    
46.         {
    
47.             $options[CURLOPT_HEADER] = 0;
    
48.         }
    
49.         $this->options = $options;
    
50.     }
    
51. 
    
52.     //并行抓取所有的内容
    
53.     function exec()
    
54.     {
    
55.         if(empty($this->urls) || !is_array($this->urls))
    
56.         {
    
57.             return false;
    
58.         }
    
59.         $curl = $data = array();
    
60.         $mh = curl_multi_init();
    
61.         foreach($this->urls as $k => $v)
    
62.         {
    
63.             $curl[$k] = $this->addHandle($mh, $v);
    
64.         }
    
65.         $this->execMulitHandle($mh);
    
66.         foreach($this->urls as $k => $v)
    
67.         {
    
68.             $data[$k] = curl_multi_getcontent($curl[$k]);
    
69.             curl_multi_remove_handle($mh, $curl[$k]);
    
70.         }
    
71.         curl_multi_close($mh);
    
72.         return $data;
    
73.     }
    
74.    
    
75.     //只抓取一个网页的内容。
    
76.     function execOne($url)
    
77.     {
    
78.         if (empty($url)) {
    
79.             return false;
    
80.         }
    
81.         $ch = curl_init($url);
    
82.         $this->setOneOption($ch);
    
83.         $content = curl_exec($ch);
    
84.         curl_close($ch);
    
85.         return $content;
    
86.     }
    
87.    
    
88.     //内部函数，设置某个handle 的选项
    
89.     private function setOneOption($ch)
    
90.     {
    
91.         curl_setopt_array($ch, $this->options);
    
92.     }
    
93. 
    
94.     //添加一个新的并行抓取 handle
    
95.     private function addHandle($mh, $url)
    
96.     {
    
97.         $ch = curl_init($url);
    
98.         $this->setOneOption($ch);
    
99.         curl_multi_add_handle($mh, $ch);
    
100.         return $ch;
     
101.     }
     
102. 
     
103.     //并行执行(这样的写法是一个常见的错误，我这里还是采用这样的写法，这个写法
     
104.     //下载一个小文件都可能导致cup占用100%, 并且，这个循环会运行10万次以上
     
105.     //这是一个典型的不懂原理产生的错误。这个错误在PHP官方的文档上都相当的常见。）
     
106.     private function execMulitHandle2($mh)
     
107.     {
     
108.         $running = null;
     
109.         do {
     
110.             curl_multi_exec($mh, $running);
     
111.         } while ($running > 0);
     
112.     }
     
113.     //应该用这样的写法
     
114.     private function execMulitHandle($mh){
     
115.       $i = 0;
     
116.       do {$mrc = curl_multi_exec($mh,$active); $i++;} while ($mrc == CURLM_CALL_MULTI_PERFORM);
     
117.       while ($active && $mrc == CURLM_OK){
     
118.         if (curl_multi_select($mh) != -1){
     
119.             do {$mrc = curl_multi_exec($mh, $active); $i++;} while ($mrc == CURLM_CALL_MULTI_PERFORM);
     
120.         }
     
121.         $i++;
     
122.       }
     
123.       //var_dump($i);
     
124.     }
     
125. }
     
126. 
     
127. /*下面是上面的类的一个测试的例子：*/
     
128. 
     
129. $urls = array("http://baidu.com", "http://baidu.com", "http://baidu.com", "http://baidu.com", "http://baidu.com", "http://baidu.com", "http://www.google.com", "http://www.sina.com.cn", );
     
130. $m = new Http_MultiRequest();
     
131. 
     
132. $t = microtime(true);
     
133. $m->setUrls($urls);
     
134. 
     
135. //parallel fetch（并行抓取）:
     
136. $data = $m->exec();
     
137. $parallel_time = microtime(true) - $t;
     
138. echo $parallel_time . "\n";
     
139. 
     
140. $t = microtime(true);
     
141. 
     
142. //serial fetch（串行抓取）:
     
143. foreach ($urls as $url)
     
144. {
     
145.     $data[] = $m->execOne($url);
     
146. }
     
147. $serial_time = microtime(true) - $t;
     
148. echo $serial_time . "\n";
     
149. ?>

复制代码

河小马

多线程差不多都是用curl

luguo

有个rollingurl是非block模式的

JasonLee

河小马 发表于 2013-4-14 04:00
多线程差不多都是用curl

因为最需要用到多线程的就是网络访问，等待响应有时候是个漫长的过程。。。

雷克傻死

http://code.google.com/p/rolling-curl/source/checkout

rolling curl的源码地址，要svn checkout下来的

421031488

不错哦，用来升级一下我的代码，之前自己写得很简单的

光大

luguo 发表于 2013-4-14 08:58
有个rollingurl是非block模式的

Rolling cURL 并发机制真的挺不错啊  thanks luguo

luguo

光大 发表于 2013-4-15 20:28
Rolling cURL 并发机制真的挺不错啊  thanks luguo

其实就多了一个callback呗

kk530

学习下，，， 对这方面认识不够  

买醉

增长了见识了呵呵呵

bjzhush

还是不太习惯
以前没用过curl的multi
内容少点，确实可以用这个，东西多了我还是倾向于消息队列，更稳定些

zhj80

php网络操作效率太差，换个别的语言实现吧

young

学习了

yinliang

pthreads 也非常不错