Python 웹 크롤러를 사용하여 네트워크 데이터를 얻는 방법

Python을 사용하여 네트워크 데이터 가져오기

Python 언어를 사용하여 인터넷에서 데이터를 가져오는 것은 매우 일반적인 작업입니다. Python에는 웹 서버에 HTTP 요청을 보내는 데 사용되는 Python용 HTTP 클라이언트 라이브러리인 요청이라는 라이브러리가 있습니다.

요청 라이브러리를 사용하여 다음 코드를 통해 지정된 URL에 대한 HTTP 요청을 시작할 수 있습니다.

import requests
response = requests.get(&#39;<http://www.example.com>&#39;)

그 중 응답 개체에는 서버에서 반환한 응답이 포함됩니다. 응답의 텍스트 콘텐츠를 가져오려면 response.text를 사용하세요. response 对象将包含服务器返回的响应。使用 response.text 可以获取响应的文本内容。

此外，我们还可以使用以下代码获取二进制资源：

import requests
response = requests.get(&#39;<http://www.example.com/image.png>&#39;)
with open(&#39;image.png&#39;, &#39;wb&#39;) as f:
    f.write(response.content)

使用 response.content 可以获取服务器返回的二进制数据。

编写爬虫代码

爬虫是一种自动化程序，可以通过网络爬取网页数据，并将其存储在数据库或文件中。爬虫在数据采集、信息监控、内容分析等领域有着广泛的应用。Python 语言是爬虫编写的常用语言，因为它具有简单易学、代码量少、库丰富等优点。

我们以“豆瓣电影”为例，介绍如何使用 Python 编写爬虫代码。首先，我们使用 requests 库获取网页的 HTML 代码，然后将整个代码看成一个长字符串，使用正则表达式的捕获组从字符串提取需要的内容。

豆瓣电影 Top250 页面的地址是 https://movie.douban.com/top250?start=0，其中 start 参数表示从第几个电影开始获取。每页共展示了 25 部电影，如果要获取 Top250 数据，我们共需要访问 10 个页面，对应的地址是 https://movie.douban.com/top250?start=xxx，这里的 xxx 如果为 0 就是第一页，如果 xxx 的值是 100，那么我们可以访问到第五页。

我们以获取电影的标题和评分为例，代码如下所示：

import re
import requests
import time
import random
for page in range(1, 11):
    resp = requests.get(
        url=f&#39;<https://movie.douban.com/top250?start=>{(page - 1) * 25}&#39;,
        headers={&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36&#39;}
    )
    # 通过正则表达式获取class属性为title且标签体不以&开头的span标签并用捕获组提取标签内容
    pattern1 = re.compile(r&#39;<span class="title">([^&]*?)</span>&#39;)
    titles = pattern1.findall(resp.text)
    # 通过正则表达式获取class属性为rating_num的span标签并用捕获组提取标签内容
    pattern2 = re.compile(r&#39;<span class="rating_num".*?>(.*?)</span>&#39;)
    ranks = pattern2.findall(resp.text)
    # 使用zip压缩两个列表，循环遍历所有的电影标题和评分
    for title, rank in zip(titles, ranks):
        print(title, rank)
    # 随机休眠1-5秒，避免爬取页面过于频繁
    time.sleep(random.random() * 4 + 1)

在上述代码中，我们通过正则表达式获取标签体为标题和评分的 span 标签，并用捕获组提取标签内容。使用 zip 压缩两个列表，循环遍历所有电影标题和评分。

使用 IP 代理

许多网站对爬虫程序比较反感，因为爬虫程序会耗费掉它们很多的网络带宽，并制造很多无效的流量。为了隐匿身份，通常需要使用 IP 代理来访问网站。商业 IP 代理（如蘑菇代理、芝麻代理、快代理等）是一个好的选择，使用商业 IP 代理可以让被爬取的网站无法获取爬虫程序来源的真实 IP 地址，从而无法简单的通过 IP 地址对爬虫程序进行封禁。

以蘑菇代理为例，我们可以在该网站注册一个账号，然后购买相应的套餐来获得商业 IP 代理。蘑菇代理提供了两种接入代理的方式，分别是 API 私密代理和 HTTP 隧道代理，前者是通过请求蘑菇代理的 API 接口获取代理服务器地址，后者是直接使用统一的代理服务器 IP 和端口。

使用 IP 代理的代码如下所示：

import requests
proxies = {
    &#39;http&#39;: &#39;<http://username:password@ip>:port&#39;,
    &#39;https&#39;: &#39;<https://username:password@ip>:port&#39;
}
response = requests.get(&#39;<http://www.example.com>&#39;, proxies=proxies)

其中，username 和 password 分别是蘑菇代理账号的用户名和密码，ip 和 port

또한 다음 코드를 사용하여 바이너리 리소스를 얻을 수도 있습니다: 🎜rrreee🎜response.content를 사용하여 서버에서 반환된 바이너리 데이터를 가져옵니다. 🎜🎜크롤러 코드 작성🎜🎜크롤러는 네트워크를 통해 웹페이지 데이터를 크롤링하여 데이터베이스나 파일에 저장하는 자동화된 프로그램입니다. 크롤러는 데이터 수집, 정보 모니터링, 콘텐츠 분석 및 기타 분야에서 널리 사용됩니다. Python 언어는 배우기 쉽고 코드 양이 적으며 라이브러리가 풍부하다는 장점이 있기 때문에 크롤러 작성에 일반적으로 사용되는 언어입니다. 🎜🎜Python을 사용하여 크롤러 코드를 작성하는 방법을 소개하기 위해 "Douban Movie"를 예로 들어 보겠습니다. 먼저 요청 라이브러리를 사용하여 웹 페이지의 HTML 코드를 가져온 다음 전체 코드를 긴 문자열로 처리하고 정규식의 캡처 그룹을 사용하여 문자열에서 필요한 콘텐츠를 추출합니다. 🎜🎜Douban Movie Top250 페이지의 주소는 https://movie.douban.com/top250?start=0입니다. 여기서 start 매개변수는 시작할 영화를 나타냅니다. . 각 페이지에는 총 25개의 영화가 표시됩니다. Top250 데이터를 얻으려면 총 10개의 페이지를 방문해야 합니다. 해당 주소는 https://movie.douban.com/top250?start입니다. =xxx. 여기에서 xxx가 0이면 xxx의 값이 100이면 첫 번째 페이지입니다. 를 클릭하면 5페이지로 이동합니다. 🎜🎜영화의 제목과 등급을 가져오는 예를 들어 보겠습니다. 코드는 다음과 같습니다. 🎜rrreee🎜위 코드에서는 정규식을 사용하여 태그 본문이 제목과 등급인 스팬 태그를 가져오고 다음을 사용합니다. 태그 콘텐츠를 추출하는 캡처 그룹. zip을 사용하여 두 목록을 압축하고 모든 영화 제목과 등급을 반복합니다. 🎜🎜IP 프록시 사용🎜🎜크롤러는 네트워크 대역폭을 많이 소비하고 유효하지 않은 트래픽을 많이 생성하기 때문에 많은 웹사이트가 크롤러를 싫어합니다. 귀하의 신원을 숨기려면 일반적으로 웹 사이트에 액세스하기 위해 IP 프록시를 사용해야 합니다. 상업용 IP 프록시(예: Mushroom Proxy, Sesame Proxy, Fast Proxy 등)를 사용하는 것은 좋은 선택입니다. 상업용 IP 프록시를 사용하면 크롤링된 웹사이트가 크롤러 프로그램 소스의 실제 IP 주소를 얻는 것을 방지할 수 있습니다. IP 주소를 사용하면 크롤러 프로그램이 차단됩니다. 🎜🎜 버섯 에이전트를 예로 들면, 웹사이트에 계정을 등록한 후 해당 패키지를 구매하여 상용 IP 에이전트를 얻을 수 있습니다. Mushroom 프록시는 프록시에 액세스하는 두 가지 방법, 즉 API 개인 프록시와 HTTP 터널 프록시를 제공합니다. 전자는 Mushroom 프록시의 API 인터페이스를 요청하여 프록시 서버 주소를 얻고 후자는 통합 프록시 서버 IP 및 포트를 직접 사용합니다. 🎜🎜IP 프록시를 사용하기 위한 코드는 다음과 같습니다. 🎜rrreee🎜그 중 사용자 이름과 비밀번호는 각각 버섯 프록시 계정의 사용자 이름과 비밀번호입니다. ip 및 port는 각각 프록시 서버의 IP 주소와 포트 번호입니다. 프록시 공급자마다 액세스 방법이 다를 수 있으므로 실제 상황에 따라 수정해야 합니다. 🎜

위 내용은 Python 웹 크롤러를 사용하여 네트워크 데이터를 얻는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!