爬虫实战：PHP 抓取天气数据-php教程-PHP中文网

爬虫实战：PHP 抓取天气数据

WBOY

发布： 2023-06-13 08:12:01

原创

1126 人浏览过

在现代社会，天气资讯对于人们来说已经成为了生活中不可或缺的一部分。无论是旅游计划、出行安排还是今日服装搭配，都需要依赖准确的天气预报。然而，天气预报的数据又是如何获取的呢？其实这些天气预报的数据都是由一些专门的天气数据网站提供的，通过网络爬虫可以轻松的实现对这些天气数据的抓取。本文将以获取某城市的天气预报数据为例，介绍如何使用 PHP编写爬虫实现天气数据的抓取。

一、分析目标网站

在进行网络爬虫之前，首先需要分析目标网站的源码结构，并了解所需要获取的信息在源码中的位置。这里以 “中国天气网”（http://www.weather.com.cn/）为例，该网站提供了各城市的天气预报，我们要抓取的就是某个城市的天气预报信息。

打开浏览器并访问该网站，输入目标城市的名称，比如 “北京”，并点击查询。此时会出现这个城市今天和未来7天的天气预报情况，我们要抓取的就是这些信息。使用浏览器的开发者工具分析网页源码，可以看到这些天气预报信息都包含在一个 id 为 “7d”的 div 标签内。

二、爬虫程序的编写

分析完目标网站的源码结构之后，我们就可以着手编写爬虫程序了。首先需要定义一些常量和变量来存储一些配置信息，比如目标城市，目标天气数据的URL等等。

// 目标城市名称
$city_name = '北京';

// 目标城市天气数据URL
$url = 'http://www.weather.com.cn/weather/101010100.shtml';

登录后复制

接下来就是爬虫的核心逻辑。首先需要使用 CURL 库进行 HTTP 请求并获取目标城市的天气预报页面，然后解析 HTML 页面获取需要的数据，最后将数据保存到文件中等待后续的处理。

// 初始化 CURL，获取天气预报页面
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
$page_content = curl_exec($ch);

// 解析天气预报页面，获取需要的信息
$doc = new DOMDocument();
$doc->loadHTML($page_content);
$xpath = new DOMXPath($doc);

// 获取未来 7 天天气预报信息
$days = $xpath->query('//div[@id="7d"]//div[@class="con"]/ul/li');

// 遍历天气预报信息，保存到文件中
$file = fopen('weather.txt', 'a+');
foreach($days as $day) {
    $date = trim($day->getElementsByTagName('h1')->item(0)->nodeValue);
    $conditions = $day->getElementsByTagName('p')->item(0)->nodeValue;
    $min_temperature = $day->getElementsByTagName('span')->item(0)->nodeValue;
    $max_temperature = $day->getElementsByTagName('span')->item(1)->nodeValue;
    $line = sprintf("%s%s    %s    %s
", $city_name, $date, $min_temperature, $max_temperature);
    fwrite($file, $line);
}
fclose($file);

// 关闭 CURL
curl_close($ch);

登录后复制

三、运行爬虫程序

完成爬虫程序的编写之后，就可以运行程序并获取天气数据了。在终端中切换到程序所在目录，并输入以下命令运行程序。