PHP爬虫：百万级别知乎用户数据爬取与分析

根本原因是在各个子进程创建时，就已经继承了父进程一份完全一样的拷贝。对象可以拷贝，但是已创建的连接不能被拷贝成多个，由此产生的结果，就是各个进程都使用同一个redis连接，各干各的事，最终产生莫名其妙的冲突。

解决方法： >程序不能完全保证在fork进程之前，父进程不会创建redis连接实例。因此，要解决这个问题只能靠子进程本身了。试想一下，如果在子进程中获 取的实例只与当前进程相关，那么这个问题就不存在了。于是解决方案就是稍微改造一下redis类实例化的静态方式，与当前进程ID绑定起来。

改造后的代码如下：

<php 
     public static function getInstance() { 
          static $instances = array(); 
          $key = getmypid();//获取当前进程ID 
          if ($empty($instances[$key])) { 
               $inctances[$key] = new self(); 
          } 
 
          return $instances[$key]; 
     } 

PHP统计脚本执行时间

因为想知道每个进程花费的时间是多少，因此写个函数统计脚本执行时间：

function microtime_float() 
{ 
     list($u_sec, $sec) = explode(' ', microtime()); 
     return (floatval($u_sec) + floatval($sec)); 
} 
 
$start_time = microtime_float(); 
 
//do something 
usleep(100); 
 
$end_time = microtime_float(); 
$total_time = $end_time - $start_time; 
 
$time_cost = sprintf("%.10f", $total_time); 
 
echo "program cost total " . $time_cost . "sn"; 

若文中有不正确的地方，望各位指出以便改正。

代码托管地址：https://github.com/HectorHu/zhihuSpider

（编辑：云计算网_泰州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!