python beautifulsoup4模块怎么用
一、BeautifulSoup4 基础知识补充
BeautifulSoup4 是一款 python 解析库，主要用于解析 HTML 和 XML，在爬虫知识体系中解析 HTML 会比较多一些，
该库安装命令如下：
pip install beautifulsoup4
BeautifulSoup 在解析数据时，需依赖第三方解析器，常用解析器与优势如下所示：
python 标准库 html.parser：python 内置标准库，容错能力强；lxml 解析器：速度快，容错能力强；html5lib：容错性最强，解析方式与浏览器一致。
接下来用一段自定义的 HTML 代码来演示 beautifulsoup4 库的基本使用，测试代码如下：
<html>
<head>
<title>测试bs4模块脚本</title>
</head>
<body>
<h2>橡皮擦的爬虫课</h2>
<p>用一段自定义的 HTML 代码来演示</p>
</body>
</html>使用 BeautifulSoup 对其进行简单的操作，包含实例化 BS 对象，输出页面标签等内容。
from bs4 import BeautifulSoup text_str = """<html> <head> <title>测试bs4模块脚本</title> </head> <body> <h2>橡皮擦的爬虫课</h2> <p>用1段自定义的 HTML 代码来演示</p> <p>用2段自定义的 HTML 代码来演示</p> </body> </html> """ # 实例化 Beautiful Soup 对象 soup = BeautifulSoup(text_str, "html.parser") # 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化 # soup = BeautifulSoup(open('test.html')) print(soup) # 输入网页标题 title 标签 print(soup.title) # 输入网页 head 标签 print(soup.head) # 测试输入段落标签 p print(soup.p) # 默认获取第一个
我们可以通过 BeautifulSoup 对象，直接调用网页标签，这里存在一个问题，通过 BS 对象调用标签只能获取排在第一位置上的标签，如上述代码中，只获取到了一个 p 标签，如果想要获取更多内容，请继续阅读。
学习到这里，我们需要了解 BeautifulSoup 中的 4 个内置对象：
BeautifulSoup：基本对象，整个 HTML 对象，一般当做 Tag 对象看即可；Tag：标签对象，标签就是网页中的各个节点，例如 title，head，p；NavigableString：标签内部字符串；Comment：注释对象，爬虫里面使用场景不多。
下述代码为你演示这几种对象出现的场景，注意代码中的相关注释：
from bs4 import BeautifulSoup text_str = """<html> <head> <title>测试bs4模块脚本</title> </head> <body> <h2>橡皮擦的爬虫课</h2> <p>用1段自定义的 HTML 代码来演示</p> <p>用2段自定义的 HTML 代码来演示</p> </body> </html> """ # 实例化 Beautiful Soup 对象 soup = BeautifulSoup(text_str, "html.parser") # 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化 # soup = BeautifulSoup(open('test.html')) print(soup) print(type(soup)) # <class 'bs4.BeautifulSoup'> # 输入网页标题 title 标签 print(soup.title) print(type(soup.title)) # <class 'bs4.element.Tag'> print(type(soup.title.string)) # <class 'bs4.element.NavigableString'> # 输入网页 head 标签 print(soup.head)
对于 Tag 对象，有两个重要的属性，是 name 和 attrs
from bs4 import BeautifulSoup text_str = """<html> <head> <title>测试bs4模块脚本</title> </head> <body> <h2>橡皮擦的爬虫课</h2> <p>用1段自定义的 HTML 代码来演示</p> <p>用2段自定义的 HTML 代码来演示</p> <a href="http://www.csdn.net" rel="external nofollow" rel="external nofollow" >CSDN 网站</a> </body> </html> """ # 实例化 Beautiful Soup 对象 soup = BeautifulSoup(text_str, "html.parser") print(soup.name) # [document] print(soup.title.name) # 获取标签名 title print(soup.html.body.a) # 可以通过标签层级获取下层标签 print(soup.body.a) # html 作为一个特殊的根标签，可以省略 print(soup.p.a) # 无法获取到 a 标签 print(soup.a.attrs) # 获取属性
上述代码演示了获取 name 属性和 attrs 属性的用法，其中 attrs 属性得到的是一个字典，可以通过键获取对应的值。
获取标签的属性值，在 BeautifulSoup 中，还可以使用如下方法：
print(soup.a["href"])
print(soup.a.get("href"))获取 NavigableString 对象 获取了网页标签之后，就要获取标签内文本了，通过下述代码进行。
print(soup.a.string)
除此之外，你还可以使用 text 属性和 get_text() 方法获取标签内容。
print(soup.a.string) print(soup.a.text) print(soup.a.get_text())
还可以获取标签内所有文本，使用 strings 和 stripped_strings 即可。
print(list(soup.body.strings)) # 获取到空格或者换行 print(list(soup.body.stripped_strings)) # 去除空格或者换行
扩展标签/节点选择器之遍历文档树
直接子节点
标签（Tag）对象的直接子元素，可以使用 contents 和 children 属性获取。
from bs4 import BeautifulSoup
text_str = """<html>
<head>
<title>测试bs4模块脚本</title>
</head>
<body>
<div id="content">
<h2>橡皮擦的爬虫课<span>最棒</span></h2>
<p>用1段自定义的 HTML 代码来演示</p>
<p>用2段自定义的 HTML 代码来演示</p>
<a href="http://www.csdn.net" rel="external nofollow" rel="external nofollow" >CSDN 网站</a>
</div>
<ul class="nav">
<li>首页</li>
<li>博客</li>
<li>专栏课程</li>
</ul>
</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
# contents 属性获取节点的直接子节点，以列表的形式返回内容
print(soup.div.contents) # 返回列表
# children 属性获取的也是节点的直接子节点，以生成器的类型返回
print(soup.div.children) # 返回 <list_iterator object at 0x00000111EE9B6340>请注意以上两个属性获取的都是直接子节点，例如 h2 标签内的后代标签 span ，不会单独获取到。
如果希望将所有的标签都获取到，使用 descendants 属性，它返回的是一个生成器，所有标签包括标签内的文本都会单独获取。
print(list(soup.div.descendants))
其它节点的获取（了解即可，即查即用）
parent和parents：直接父节点和所有父节点；next_sibling，next_siblings，previous_sibling，previous_siblings：分别表示下一个兄弟节点、下面所有兄弟节点、上一个兄弟节点、上面所有兄弟节点，由于换行符也是一个节点，所有在使用这几个属性时，要注意一下换行符；next_element，next_elements，previous_element，previous_elements：这几个属性分别表示上一个节点或者下一个节点，注意它们不分层次，而是针对所有节点，例如上述代码中div节点的下一个节点是h2，而div节点的兄弟节点是ul。
文档树搜索相关函数
第一个要学习的函数就是 find_all() 函数，原型如下所示：
find_all(name,attrs,recursive,text,limit=None,**kwargs)
name：该参数为 tag 标签的名字，例如find_all('p')是查找所有的p标签，可接受标签名字符串、正则表达式与列表；attrs：传入的属性，该参数可以字典的形式传入，例如attrs={'class': 'nav'}，返回的结果是 tag 类型的列表；
上述两个参数的用法示例如下：
print(soup.find_all('li')) # 获取所有的 li
print(soup.find_all(attrs={'class': 'nav'})) # 传入 attrs 属性
print(soup.find_all(re.compile("p"))) # 传递正则，实测效果不理想
print(soup.find_all(['a','p'])) # 传递列表recursive：调用find_all ()方法时，BeautifulSoup 会检索当前 tag 的所有子孙节点，如果只想搜索 tag 的直接子节点，可以使用参数recursive=False，测试代码如下：
print(soup.body.div.find_all(['a','p'],recursive=False)) # 传递列表
text：可以检索文档中的文本字符串内容，与name参数的可选值一样，text参数接受标签名字符串、正则表达式、 列表；
print(soup.find_all(text='首页')) # ['首页']
print(soup.find_all(text=re.compile("^首"))) # ['首页']
print(soup.find_all(text=["首页",re.compile('课')])) # ['橡皮擦的爬虫课', '首页', '专栏课程']limit：可以用来限制返回结果的数量；kwargs：如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作 tag 的属性来搜索。这里要按class属性搜索，因为class是 python 的保留字，需要写作class_，按class_查找时，只要一个 CSS 类名满足即可，如需多个 CSS 名称，填写顺序需要与标签一致。
print(soup.find_all(class_ = 'nav')) print(soup.find_all(class_ = 'nav li'))
还需要注意网页节点中，有些属性在搜索中不能作为kwargs参数使用，比如html5 中的 data-*属性，需要通过attrs参数进行匹配。
与
find_all()方法用户基本一致的其它方法清单如下：
find()：函数原型find( name , attrs , recursive , text , **kwargs )，返回一个匹配元素；find_parents()，find_parent()：函数原型find_parent(self, name=None, attrs={}, **kwargs)，返回当前节点的父级节点；find_next_siblings()，find_next_sibling()：函数原型find_next_sibling(self, name=None, attrs={}, text=None, **kwargs)，返回当前节点的下一兄弟节点；find_previous_siblings()，find_previous_sibling()：同上，返回当前的节点的上一兄弟节点；find_all_next()，find_next()，find_all_previous () ，find_previous ()：函数原型find_all_next(self, name=None, attrs={}, text=None, limit=None, **kwargs)，检索当前节点的后代节点。
CSS 选择器 该小节的知识点与pyquery有点撞车，核心使用select()方法即可实现，返回数据是列表元组。
通过标签名查找，
soup.select("title")；通过类名查找，
soup.select(".nav")；通过 id 名查找，
soup.select("#content")；通过组合查找，
soup.select("div#content")；通过属性查找，
soup.select("div[id='content'")，soup.select("a[href]")；
在通过属性查找时，还有一些技巧可以使用，例如：
^=：可以获取以 XX 开头的节点：
print(soup.select('ul[class^="na"]'))
*=：获取属性包含指定字符的节点：
print(soup.select('ul[class*="li"]'))
二、爬虫案例
BeautifulSoup 的基础知识掌握之后，在进行爬虫案例的编写，就非常简单了，本次要采集的目标网站 ，该目标网站有大量的艺术二维码，可以供设计大哥做参考。
下述应用到了 BeautifulSoup 模块的标签检索与属性检索，完整代码如下：
from bs4 import BeautifulSoup
import requests
import logging
logging.basicConfig(level=logging.NOTSET)
def get_html(url, headers) -> None:
try:
res = requests.get(url=url, headers=headers, timeout=3)
except Exception as e:
logging.debug("采集异常", e)
if res is not None:
html_str = res.text
soup = BeautifulSoup(html_str, "html.parser")
imgs = soup.find_all(attrs={'class': 'lazy'})
print("获取到的数据量是", len(imgs))
datas = []
for item in imgs:
name = item.get('alt')
src = item["src"]
logging.info(f"{name},{src}")
# 获取拼接数据
datas.append((name, src))
save(datas, headers)
def save(datas, headers) -> None:
if datas is not None:
for item in datas:
try:
# 抓取图片
res = requests.get(url=item[1], headers=headers, timeout=5)
except Exception as e:
logging.debug(e)
if res is not None:
img_data = res.content
with open("./imgs/{}.jpg".format(item[0]), "wb+") as f:
f.write(img_data)
else:
return None
if __name__ == '__main__':
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"
}
url_format = "http://www.9thws.com/#p{}"
urls = [url_format.format(i) for i in range(1, 2)]
get_html(urls[0], headers)本次代码测试输出采用的 logging 模块实现，效果如下图所示。 测试仅采集了 1 页数据，如需扩大采集范围，只需要修改 main 函数内页码规则即可。 ==代码编写过程中，发现数据请求是类型是 POST，数据返回格式是 JSON，所以本案例仅作为 BeautifulSoup 的上手案例吧==
以上是python beautifulsoup4模块怎么用的详细内容。更多信息请关注PHP中文网其他相关文章！
热AI工具
Undresser.AI Undress
人工智能驱动的应用程序，用于创建逼真的裸体照片
AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。
Undress AI Tool
免费脱衣服图片
Clothoff.io
AI脱衣机
AI Hentai Generator
免费生成ai无尽的。
热门文章
热工具
记事本++7.3.1
好用且免费的代码编辑器
SublimeText3汉化版
中文版，非常好用
禅工作室 13.0.1
功能强大的PHP集成开发环境
Dreamweaver CS6
视觉化网页开发工具
SublimeText3 Mac版
神级代码编辑软件(SublimeText3)
热门话题
mysql 是否要付费
Apr 08, 2025 pm 05:36 PM
MySQL 有免费的社区版和收费的企业版。社区版可免费使用和修改，但支持有限，适合稳定性要求不高、技术能力强的应用。企业版提供全面商业支持，适合需要稳定可靠、高性能数据库且愿意为支持买单的应用。选择版本时考虑的因素包括应用关键性、预算和技术技能。没有完美的选项，只有最合适的方案，需根据具体情况谨慎选择。
mysql安装后怎么使用
Apr 08, 2025 am 11:48 AM
文章介绍了MySQL数据库的上手操作。首先，需安装MySQL客户端，如MySQLWorkbench或命令行客户端。1.使用mysql-uroot-p命令连接服务器，并使用root账户密码登录；2.使用CREATEDATABASE创建数据库，USE选择数据库；3.使用CREATETABLE创建表，定义字段及数据类型；4.使用INSERTINTO插入数据，SELECT查询数据，UPDATE更新数据，DELETE删除数据。熟练掌握这些步骤，并学习处理常见问题和优化数据库性能，才能高效使用MySQL。
mysql下载文件损坏无法安装的修复方案
Apr 08, 2025 am 11:21 AM
MySQL下载文件损坏，咋整？哎，下载个MySQL都能遇到文件损坏，这年头真是不容易啊！这篇文章就来聊聊怎么解决这个问题，让大家少走弯路。读完之后，你不仅能修复损坏的MySQL安装包，还能对下载和安装过程有更深入的理解，避免以后再踩坑。先说说为啥下载文件会损坏这原因可多了去了，网络问题是罪魁祸首，下载过程中断、网络不稳定都可能导致文件损坏。还有就是下载源本身的问题，服务器文件本身就坏了，你下载下来当然也是坏的。另外，一些杀毒软件过度“热情”的扫描也可能造成文件损坏。诊断问题：确定文件是否真的损坏
mySQL下载完安装不了
Apr 08, 2025 am 11:24 AM
MySQL安装失败的原因主要有：1.权限问题，需以管理员身份运行或使用sudo命令；2.依赖项缺失，需安装相关开发包；3.端口冲突，需关闭占用3306端口的程序或修改配置文件；4.安装包损坏，需重新下载并验证完整性；5.环境变量配置错误，需根据操作系统正确配置环境变量。解决这些问题，仔细检查每个步骤，就能顺利安装MySQL。
如何针对高负载应用程序优化 MySQL 性能？
Apr 08, 2025 pm 06:03 PM
MySQL数据库性能优化指南在资源密集型应用中，MySQL数据库扮演着至关重要的角色，负责管理海量事务。然而，随着应用规模的扩大，数据库性能瓶颈往往成为制约因素。本文将探讨一系列行之有效的MySQL性能优化策略，确保您的应用在高负载下依然保持高效响应。我们将结合实际案例，深入讲解索引、查询优化、数据库设计以及缓存等关键技术。1.数据库架构设计优化合理的数据库架构是MySQL性能优化的基石。以下是一些核心原则：选择合适的数据类型选择最小的、符合需求的数据类型，既能节省存储空间，又能提升数据处理速度
MySQL安装后服务无法启动的解决办法
Apr 08, 2025 am 11:18 AM
MySQL拒启动？别慌，咱来排查！很多朋友安装完MySQL后，发现服务死活启动不了，心里那个急啊！别急，这篇文章带你从容应对，揪出幕后黑手！读完后，你不仅能解决这个问题，还能提升对MySQL服务的理解，以及排查问题的思路，成为一名更强大的数据库管理员！MySQL服务启动失败，原因五花八门，从简单的配置错误到复杂的系统问题都有可能。咱们先从最常见的几个方面入手。基础知识：服务启动流程简述MySQL服务启动，简单来说，就是操作系统加载MySQL相关的文件，然后启动MySQL守护进程。这其中涉及到配置
mysql安装后怎么优化数据库性能
Apr 08, 2025 am 11:36 AM
MySQL性能优化需从安装配置、索引及查询优化、监控与调优三个方面入手。1.安装后需根据服务器配置调整my.cnf文件，例如innodb_buffer_pool_size参数，并关闭query_cache_size；2.创建合适的索引，避免索引过多，并优化查询语句，例如使用EXPLAIN命令分析执行计划；3.利用MySQL自带监控工具(SHOWPROCESSLIST,SHOWSTATUS)监控数据库运行状况，定期备份和整理数据库。通过这些步骤，持续优化，才能提升MySQL数据库性能。
mysql 需要互联网吗
Apr 08, 2025 pm 02:18 PM
MySQL 可在无需网络连接的情况下运行，进行基本的数据存储和管理。但是，对于与其他系统交互、远程访问或使用高级功能（如复制和集群）的情况，则需要网络连接。此外，安全措施（如防火墙）、性能优化（选择合适的网络连接）和数据备份对于连接到互联网的 MySQL 数据库至关重要。
