使用 aiofiles 和 asyncio 在 Python 中异步处理文件-Python教程-PHP中文网

异步代码已成为 Python 开发的支柱。随着 asyncio 成为标准库的一部分，并且许多第三方软件包提供与其兼容的功能，这种范例不会很快消失。

如果您正在编写异步代码，请务必确保代码的所有部分都能协同工作，这样其中的一个方面就不会减慢其他所有部分的速度。文件 I/O 可能是这方面的常见阻碍，因此让我们逐步了解如何使用 aiofiles 库异步处理文件。

从基础开始，这是异步读取文件内容所需的所有代码（在异步函数内）：

async with aiofiles.open('filename', mode='r') as f:
    contents = await f.read()
print(contents)

登录后复制

让我们继续深入挖掘。

什么是非阻塞代码？

您可能会听到“异步”、“非阻塞”或“并发”等术语，但对它们的含义感到有点困惑。根据这个更详细的教程，两个主要属性是：

异步例程能够在等待最终结果时“暂停”，以便让其他例程同时运行。
异步代码，通过上面的机制，有利于并发执行。换句话说，异步代码给人一种并发的感觉。

因此，异步代码是可以在等待结果时挂起的代码，以便让其他代码同时运行。它不会“阻止”其他代码运行，因此我们可以将其称为“非阻塞”代码。

asyncio 库为 Python 开发人员提供了多种工具来执行此操作，aiofiles 提供了更具体的文件处理功能。

设置

在我们开始之前，请确保您已设置好 Python 环境。如果您需要帮助，请按照本指南的 virtualenv 部分进行操作。如果您有多个项目在同一台计算机上运行，那么让一切正常工作，特别是在虚拟环境方面，对于隔离依赖项非常重要。 您至少需要 Python 3.7 或更高版本才能运行本文中的代码。

现在您的环境已经设置完毕，您将需要安装一些第三方库。我们将使用 aiofiles，因此在激活虚拟环境后使用以下命令安装它：

pip install aiofiles==0.6.0

登录后复制

对于本文其余部分的示例，我们将使用与原始 150 个 Pokemon 相对应的 Pokemon API 数据的 JSON 文件。您可以在此处下载包含所有这些内容的文件夹。有了这个，您应该准备好继续编写一些代码。

使用 aiofiles 读取文件

首先，我们简单地打开一个与特定 Pokemon 对应的文件，将其 JSON 解析为字典，并打印出其名称：

async with aiofiles.open('filename', mode='r') as f:
    contents = await f.read()
print(contents)

登录后复制

运行此代码时，您应该看到“articuno”打印到终端。您还可以逐行异步迭代文件（此代码将打印出 articuno.json 的所有 9271 行）：

pip install aiofiles==0.6.0

登录后复制

使用 aiofiles 写入文件

写入文件也类似于标准 Python 文件 I/O。假设我们想要创建包含每个神奇宝贝可以学习的所有动作列表的文件。举个简单的例子，下面是我们对 Pokemon Ditto 所做的事情，它只能学习“变形”这一招式：

import aiofiles
import asyncio
import json


async def main():
    async with aiofiles.open('articuno.json', mode='r') as f:
        contents = await f.read()
    pokemon = json.loads(contents)
    print(pokemon['name'])

asyncio.run(main())

登录后复制

让我们用一个有不止一个动作的神奇宝贝来尝试一下这个，比如雷顿：

import aiofiles
import asyncio

async def main():
    async with aiofiles.open('articuno.json', mode='r') as f:
        async for line in f:
            print(line)

asyncio.run(main())

登录后复制

如果您打开 rhydon_moves.txt，您应该会看到一个包含 112 行的文件，其开头类似。

A screenshot of the rhydon_moves.txt file

使用 asyncio 异步浏览多个文件

现在让我们变得更复杂一点，对我们拥有 JSON 文件的所有 150 个 Pokemon 执行此操作。我们的代码必须读取每个文件，解析 JSON，并将每个 Pokemon 的动作重写到一个新文件中：

import aiofiles
import asyncio

async def main():
    async with aiofiles.open('ditto_moves.txt', mode='w') as f:
        await f.write('transform')

asyncio.run(main())

登录后复制

运行此代码后，您应该会看到 Pokemon 文件的目录，其中包含 .txt 文件和 .json 文件，其中包含与每个 Pokemon 对应的移动列表。

A screenshot of the files in the directory

如果您需要执行一些异步操作，并希望以与这些异步任务相对应的数据结束，例如在写入文件后列出每个 Pokemon 的动作列表，您可以使用 asyncio.ensure_future 和 asyncio.gather。

您可以将处理每个文件的代码部分分解为自己的异步函数，并将这些函数调用的承诺附加到任务列表中。以下是该函数的示例，以及您的新主函数的外观：

import aiofiles
import asyncio
import json


async def main():
    # Read the contents of the json file.
    async with aiofiles.open('rhydon.json', mode='r') as f:
        contents = await f.read()

    # Load it into a dictionary and create a list of moves.
    pokemon = json.loads(contents)
    name = pokemon['name']
    moves = [move['move']['name'] for move in pokemon['moves']]

    # Open a new file to write the list of moves into.
    async with aiofiles.open(f'{name}_moves.txt', mode='w') as f:
        await f.write('\n'.join(moves))


asyncio.run(main())

登录后复制

这是在 Python 中使用异步代码的常见方法，通常用于发出 HTTP 请求之类的事情。