社区
学习
工具库
AI工具
休闲
搜索
简体中文
首页 后端开发 php教程 浅谈利用php爬取和分析知乎用户数据的方法

浅谈利用php爬取和分析知乎用户数据的方法

PHPz
PHPz
May 16, 2016 pm 07:59 PM
php爬虫

本文给大家介绍的是利用php的curl编写的爬取知乎用户数据的爬虫，并分析用户的各种属性。有一定的参考价值，有需要的朋友可以参考一下，希望对大家有所帮助。

浅谈利用php爬取和分析知乎用户数据的方法

移动端分析数据截图

1.png

pc端分析数据截图

2.png

整个爬取，分析，展现过程大概分如下几步，小拽将分别介绍

  • curl爬取知乎网页数据

  • 正则分析知乎网页数据

  • 数据数据入库和程序部署

  • 数据分析和呈现

curl爬取网页数据

PHP的curl扩展是PHP支持的，允许你与各种服务器使用各种类型的协议进行连接和通信的库。是一个非常便捷的抓取网页的工具，同时，支持多线程扩展。

本程序抓取的是知乎对外提供用户访问的个人信息页面https://www.zhihu.com/people/xxx,抓取过程需要携带用户cookie才能获取页面。直接上码

获取页面cookie

代码如下：

// 登录知乎，打开个人中心，打开控制台，获取cookie

document.cookie

"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cddd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"
登录后复制

通过curl，携带cookie，先抓取本人中心页面

/**
 * 通过用户名抓取个人中心页面并存储
 * 
 * @param $username str :用户名 flag
 * @return boolean   :成功与否标志
 */
public function spiderUser($username)
{
  $cookie = "xxxx" ;
  $url_info = 'http://www.zhihu.com/people/' . $username; //此处cui-xiao-zhuai代表用户ID,可以直接看url获取本人id
  $ch = curl_init($url_info); //初始化会话
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_COOKIE, $cookie); //设置请求COOKIE
  curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  $result = curl_exec($ch);

   file_put_contents('/home/work/zxdata_ch/php/zhihu_spider/file/'.$username.'.html',$result);
   return true;
 }
登录后复制

正则分析网页数据分析新链接，进一步爬取

对于抓取过来的网页进行存储，要想进行进一步的爬取，页面必须包含有可用于进一步爬取用户的链接。通过对知乎页面分析发现：在个人中心页面中有关注人和部分点赞人和被关注人。
如下所示

代码如下:

// 抓取的html页面中发现了新的用户，可用于爬虫
<a class="zm-item-link-avatar avatar-link" href="/people/new-user" data-tip="p$t$new-user">
登录后复制

ok，这样子就可以通过自己-》关注人-》关注人的关注人-》。。。进行不断爬取。接下来就是通过正则匹配提取该信息

代码如下:

// 匹配到抓取页面的所有用户
preg_match_all(&#39;/\/people\/([\w-]+)\"/i&#39;, $str, $match_arr);
// 去重合并入新的用户数组,用户进一步抓取
self::$newUserArr = array_unique(array_merge($match_arr[1], self::$newUserArr));
登录后复制

到此，整个爬虫过程就可以顺利进行了。

如果需要大量的抓取数据，可以研究下curl_multi和pcntl进行多线程的快速抓取，此处不做赘述。

分析用户数据，提供分析

通过正则可以进一步匹配出更多的该用户数据，直接上码。

// 获取用户头像
preg_match(&#39;/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i&#39;, $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// <span class="name">崔小拽</span>
preg_match(&#39;/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match(&#39;/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
//<input type="radio" name="gender" value="1" checked="checked" class="male"/> 男  
// gender value1 ;结束 中文
preg_match(&#39;/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u&#39;, $str, $match_sex);
$user_sex = $match_sex[1];

// 匹配地区
//<span class="location item" title="北京">
preg_match(&#39;/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//<span class="employment item" title="人见人骂的公司">人见人骂的公司</span>
preg_match(&#39;/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// <span class="position item" title="程序猿"><a href="/topic/19590046" title="程序猿" class="topic-link" data-token="19590046" data-topicid="13253">程序猿</a></span>
preg_match(&#39;/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u&#39;, $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// <span class="education item" title="研究僧">研究僧</span>
preg_match(&#39;/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// <span class="education-extra item" title=&#39;挨踢&#39;>挨踢</span>
preg_match(&#39;/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}-
\x{9fa5}]+)</u&#39;, $str, $match_education_extra);
$user_education_extra = $match_education_extra[1];


// 匹配关注话题数量
// class="zg-link-litblue"><strong>41 个话题</strong></a>
preg_match(&#39;/class=\"?zg-link-litblue\"?><strong>(\d+)\s.+strong>/i&#39;, $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// <span class="zg-gray-normal">关注了
preg_match_all(&#39;/<strong>(\d+)<.+<label>/i&#39;, $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// <span class="zg-gray-normal">个人主页被 <strong>17</strong> 人浏览</span>
preg_match(&#39;/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i&#39;, $str, $match_browse);
$user_browse = $match_browse[1];
登录后复制
登录后复制

在抓取的过程中，有条件的话，一定要通过redis入库，确实能提升抓取和入库效率。没有条件的话只能通过sql优化。这里来几发心德。

数据库表设计索引一定要慎重。在spider爬取的过程中，建议出了用户名，左右字段都不要索引，包括主键都不要，尽可能的提高入库效率，试想5000w的数据，每次添加一个，建立索引需要多少消耗。等抓取完毕，需要分析数据时，批量建立索引。

数据入库和更新操作，一定要批量。 mysql 官方给出的增删改的建议和速度：http://dev.mysql.com/doc/refman/5.7/en/insert-speed.html

# 官方的最优批量插入
INSERT INTO yourtable VALUES (1,2), (5,5), ...;
登录后复制

部署操作。程序在抓取过程中，有可能会出现异常挂掉，为了保证高效稳定，尽可能的写一个定时脚本。每隔一段时间干掉，重新跑，这样即使异常挂掉也不会浪费太多宝贵时间，毕竟，time is money。

#!/bin/bash

# 干掉
ps aux |grep spider |awk &#39;{print $2}&#39;|xargs kill -9
sleep 5s

# 重新跑
nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &
登录后复制

数据分析呈现

数据的呈现主要使用echarts 3.0，感觉对于移动端兼容还不错。兼容移动端的页面响应式布局主要通过几个简单的css控制，代码如下

// 获取用户头像
preg_match(&#39;/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i&#39;, $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// <span class="name">崔小拽</span>
preg_match(&#39;/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match(&#39;/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
//<input type="radio" name="gender" value="1" checked="checked" class="male"/> 男  
// gender value1 ;结束 中文
preg_match(&#39;/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u&#39;, $str, $match_sex);
$user_sex = $match_sex[1];

// 匹配地区
//<span class="location item" title="北京">
preg_match(&#39;/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//<span class="employment item" title="人见人骂的公司">人见人骂的公司</span>
preg_match(&#39;/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// <span class="position item" title="程序猿"><a href="/topic/19590046" title="程序猿" class="topic-link" data-token="19590046" data-topicid="13253">程序猿</a></span>
preg_match(&#39;/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u&#39;, $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// <span class="education item" title="研究僧">研究僧</span>
preg_match(&#39;/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// <span class="education-extra item" title=&#39;挨踢&#39;>挨踢</span>
preg_match(&#39;/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}-
\x{9fa5}]+)</u&#39;, $str, $match_education_extra);
$user_education_extra = $match_education_extra[1];


// 匹配关注话题数量
// class="zg-link-litblue"><strong>41 个话题</strong></a>
preg_match(&#39;/class=\"?zg-link-litblue\"?><strong>(\d+)\s.+strong>/i&#39;, $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// <span class="zg-gray-normal">关注了
preg_match_all(&#39;/<strong>(\d+)<.+<label>/i&#39;, $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// <span class="zg-gray-normal">个人主页被 <strong>17</strong> 人浏览</span>
preg_match(&#39;/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i&#39;, $str, $match_browse);
$user_browse = $match_browse[1];
登录后复制
登录后复制

推荐学习：《PHP视频教程》

本站声明
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序，用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸！

显示更多

热门文章

刺客信条阴影：贝壳谜语解决方案
3 周前 By DDD
Windows 11 KB5054979中的新功能以及如何解决更新问题
2 周前 By DDD
在哪里可以找到原子中的起重机控制钥匙卡
3 周前 By DDD
<🎜>：死铁路 - 如何完成所有挑战
4 周前 By DDD
Atomfall指南：项目位置，任务指南和技巧
4 周前 By DDD
显示更多

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版，非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

显示更多

热门话题

gmail邮箱登陆入口在哪里
7651
15
CakePHP 教程
1392
52
steam的账户名称是什么格式
91
11
win11激活密钥永久
73
19
NYT迷你填字游戏答案
36
110
显示更多
Related knowledge
如何使用 PHP 爬虫爬取大数据 如何使用 PHP 爬虫爬取大数据 Jun 14, 2023 pm 12:52 PM

随着数据时代的到来，数据量以及数据类型的多样化，越来越多的企业和个人需要获取并处理海量数据。这时，爬虫技术就成为了一个非常有效的方法。本文将介绍如何使用PHP爬虫来爬取大数据。一、爬虫介绍爬虫是一种自动获取互联网信息的技术。其原理是通过编写程序在网络上自动获取并解析网站内容，并将所需的数据抓取出来进行处理或储存。在爬虫程序的演化过程中，已经出现了许多成熟

高性能PHP爬虫的实现方法 高性能PHP爬虫的实现方法 Jun 13, 2023 pm 03:22 PM

随着互联网的发展，网页中的信息量越来越大，越来越深入，很多人需要从海量的数据中快速地提取出自己需要的信息。此时，爬虫就成了重要的工具之一。本文将介绍如何使用PHP编写高性能的爬虫，以便快速准确地从网络中获取所需的信息。一、了解爬虫基本原理爬虫的基本功能就是模拟浏览器去访问网页，并获取其中的特定信息。它可以模拟用户在网页浏览器中的一系列操作，比如向服务器发送请

PHP爬虫入门：如何选择合适的类库？ PHP爬虫入门：如何选择合适的类库？ Aug 09, 2023 pm 02:52 PM

PHP爬虫入门：如何选择合适的类库？随着互联网的快速发展，大量的数据散落在各个网站中。为了获取这些数据，我们常常需要使用爬虫来从网页中提取信息。而PHP作为一种常用的网页开发语言，也有许多适用于爬虫的类库可供选择。然而，在选择适合自己项目需求的类库时，我们需要考虑一些关键因素。功能丰富性：不同的爬虫类库提供了不同的功能。有些类库只能用于简单的网页抓取，而有些

PHP网络爬虫常见的反爬策略 PHP网络爬虫常见的反爬策略 Jun 14, 2023 pm 03:29 PM

网络爬虫是一种自动化抓取互联网信息的程序，它可以在很短的时间内获取大量的数据。然而，由于网络爬虫具有可扩展性和高效性等特点，使得许多网站担心可能会遭受爬虫攻击，因此采取了各种反爬策略。其中，PHP网络爬虫常见的反爬策略主要包括以下几种：IP限制IP限制是最常见的反爬虫技术，通过限制IP的访问，可以有效防止恶意的爬虫攻击。为了应对这种反爬策略，PHP网络爬虫可

PHP爬虫类的并发与多线程处理技巧 PHP爬虫类的并发与多线程处理技巧 Aug 08, 2023 pm 02:31 PM

PHP爬虫类的并发与多线程处理技巧引言：随着互联网的快速发展，大量的数据信息存储在各种网站上，获取这些数据已经成为很多业务场景下的需求。而爬虫作为一种自动化获取网络信息的工具，被广泛应用于数据采集、搜索引擎、舆情分析等领域。本文将介绍一种基于PHP的爬虫类的并发与多线程处理技巧，并通过代码示例来说明其实现方式。一、爬虫类的基本结构在实现爬虫类的并发与多线程处

基于 PHP 的爬虫实现方法及注意事项 基于 PHP 的爬虫实现方法及注意事项 Jun 13, 2023 pm 06:21 PM

随着互联网的快速发展与普及，越来越多的数据需要被采集和处理。爬虫，作为一种常用的网络爬取工具，可以帮助快速访问、采集和整理网络数据。针对不同的需求，也会有多种语言实现爬虫，其中PHP也是比较流行的一种。今天，我们就来讲一讲基于PHP的爬虫实现方法及注意事项。一、PHP爬虫实现方法初学者建议使用现成的库针对初学者而言，可能需要积累一定的代码经验和网络

如何利用PHP实现爬虫并抓取数据 如何利用PHP实现爬虫并抓取数据 Jun 27, 2023 am 10:56 AM

随着互联网的不断发展，大量的数据被存储在各种网站上，这些数据对于商业和科研有着重要的价值。然而，这些数据不一定容易获取。此时，爬虫就成为一种非常重要且有效的工具，它可以自动地访问网站并抓取数据。PHP是一种流行的解释性编程语言，它有着简单易学、代码高效等特点，适合用来实现爬虫。本文将从以下几个方面来介绍如何使用PHP实现爬虫以及抓取数据。一、爬虫的工作原理爬

如何使用PHP爬虫类自动填充表单并提交数据？ 如何使用PHP爬虫类自动填充表单并提交数据？ Aug 08, 2023 pm 12:49 PM

如何使用PHP爬虫类自动填充表单并提交数据？随着互联网的发展，我们越来越多地需要从网页上获取数据，或者自动填充表单并提交数据。而PHP作为一种强大的服务器端语言，提供了众多的工具和类库来实现这些功能。在本文中，我们将介绍如何使用PHP中的爬虫类来自动填充表单并提交数据。首先，我们需要使用PHP中的curl库来进行网页数据的获取和提交。curl库是一个功能强大

See all articles