PHP爬虫：百万级别知乎用户数据爬取与分析

抓取用户的过程中，发现有些用户是已经访问过的，而且他的关注者和关注了的用户都已经获取过了，虽然在数据库的层面做了重复数据的处理，但是程序还 是会使用curl发请求，这样重复的发送请求就有很多重复的网络开销。还有一个就是待抓取的用户需要暂时保存在一个地方以便下一次执行，刚开始是放到数组 里面，后来发现要在程序里添加多进程，在多进程编程里，子进程会共享程序代码、函数库，但是进程使用的变量与其他进程所使用的截然不同。不同进程之间的变 量是分离的，不能被其他进程读取，所以是不能使用数组的。因此就想到了使用Redis缓存来保存已经处理好的用户以及待抓取的用户。这样每次执行完的时候 都把用户push到一个already_request_queue队列中，把待抓取的用户（即每个用户的关注者和关注了的用户列表）push到 request_queue里面，然后每次执行前都从request_queue里pop一个用户，然后判断是否在 already_request_queue里面，如果在，则进行下一个，否则就继续执行。

在PHP中使用redis示例：

<php 
    $redis = new Redis(); 
    $redis->connect('127.0.0.1', '6379'); 
    $redis->set('tmp', 'value'); 
    if ($redis->exists('tmp')) 
    { 
        echo $redis->get('tmp') . "n"; 
    } 

使用PHP的pcntl扩展实现多进程

改用了curl_multi函数实现多线程抓取用户信息之后，程序运行了一个晚上，最终得到的数据有10W。还不能达到自己的理想目标，于是便继续优化，后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例：

//PHP多进程demo 
//fork10个进程 
for ($i = 0; $i < 10; $i++) { 
    $pid = pcntl_fork(); 
    if ($pid == -1) { 
        echo "Could not fork!n"; 
        exit(1); 
    } 
    if (!$pid) { 
        echo "child process $i runningn"; 
        //子进程执行完毕之后就退出，以免继续fork出新的子进程 
        exit($i); 
    } 
} 
 
//等待子进程执行完毕，避免出现僵尸进程 
while (pcntl_waitpid(0, $status) != -1) { 
    $status = pcntl_wexitstatus($status); 
    echo "Child $status completedn"; 
} 

在Linux下查看系统的cpu信息

（编辑：云计算网_泰州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!