Asynchrones Arbeiten mit Dateien in Python mithilfe von Aiofiles und Asyncio

Asynchroner Code ist zu einer tragenden Säule der Python-Entwicklung geworden. Da Asyncio Teil der Standardbibliothek wird und viele Pakete von Drittanbietern damit kompatible Funktionen bereitstellen, wird dieses Paradigma nicht so schnell verschwinden.

Wenn Sie asynchronen Code schreiben, ist es wichtig sicherzustellen, dass alle Teile Ihres Codes zusammenarbeiten, damit nicht ein Aspekt davon alles andere verlangsamt. Datei-E/A kann an dieser Front ein häufiger Blocker sein. Lassen Sie uns daher durchgehen, wie Sie die aiofiles-Bibliothek verwenden, um asynchron mit Dateien zu arbeiten.

Beginnend mit den Grundlagen ist dies der gesamte Code, den Sie benötigen, um den Inhalt einer Datei asynchron (innerhalb einer asynchronen Funktion) zu lesen:

async with aiofiles.open('filename', mode='r') as f:
    contents = await f.read()
print(contents)

Lasst uns weitermachen und tiefer graben.

Was ist nicht blockierender Code?

Möglicherweise hören Sie Begriffe wie „asynchron“, „nicht blockierend“ oder „gleichzeitig“ und sind etwas verwirrt darüber, was sie alle bedeuten. Gemäß diesem viel ausführlicheren Tutorial sind zwei der primären Eigenschaften:

• Asynchrone Routinen können „pausieren“, während sie auf ihr endgültiges Ergebnis warten, um in der Zwischenzeit andere Routinen laufen zu lassen.
• Asynchroner Code erleichtert durch den oben genannten Mechanismus die gleichzeitige Ausführung. Anders ausgedrückt: Asynchroner Code vermittelt das Erscheinungsbild von Parallelität.

Asynchroner Code ist also Code, der beim Warten auf ein Ergebnis hängen bleiben kann, um in der Zwischenzeit anderen Code ausführen zu lassen. Es „blockiert“ nicht die Ausführung anderen Codes, daher können wir es als „nicht blockierenden“ Code bezeichnen.

Die Asyncio-Bibliothek stellt Python-Entwicklern hierfür eine Vielzahl von Tools zur Verfügung, und aiofiles bietet noch spezifischere Funktionen für die Arbeit mit Dateien.

Einrichten

Stellen Sie sicher, dass Ihre Python-Umgebung eingerichtet ist, bevor wir beginnen. Folgen Sie dieser Anleitung bis zum Abschnitt „virtualenv“, wenn Sie Hilfe benötigen. Es ist wichtig, dass alles ordnungsgemäß funktioniert, insbesondere im Hinblick auf virtuelle Umgebungen, um Ihre Abhängigkeiten zu isolieren, wenn mehrere Projekte auf demselben Computer ausgeführt werden. Sie benötigen mindestens Python 3.7 oder höher, um den Code in diesem Beitrag auszuführen.

Da Ihre Umgebung nun eingerichtet ist, müssen Sie einige Bibliotheken von Drittanbietern installieren. Wir werden Aiofiles verwenden, also installieren Sie diese mit dem folgenden Befehl, nachdem Sie Ihre virtuelle Umgebung aktiviert haben:

pip install aiofiles==0.6.0

Für die Beispiele im Rest dieses Beitrags verwenden wir JSON-Dateien mit Pokemon-API-Daten, die den ursprünglichen 150 Pokemon entsprechen. Einen Ordner mit all diesen Informationen können Sie hier herunterladen. Damit sollten Sie bereit sein, weiterzumachen und Code zu schreiben.

Aus einer Datei mit aiofiles lesen

Beginnen wir damit, dass wir einfach eine Datei öffnen, die einem bestimmten Pokémon entspricht, seinen JSON-Code in ein Wörterbuch analysieren und seinen Namen ausdrucken:

async with aiofiles.open('filename', mode='r') as f:
    contents = await f.read()
print(contents)

Wenn Sie diesen Code ausführen, sollte „articuno“ auf dem Terminal angezeigt werden. Sie können die Datei auch asynchron Zeile für Zeile durchlaufen (dieser Code druckt alle 9271 Zeilen von articuno.json aus):

pip install aiofiles==0.6.0

Mit aiofiles in eine Datei schreiben

Das Schreiben in eine Datei ähnelt auch der Standard-Python-Datei-E/A. Nehmen wir an, wir wollten Dateien erstellen, die eine Liste aller Bewegungen enthalten, die jedes Pokémon lernen kann. Als einfaches Beispiel würden wir Folgendes für das Pokémon Ditto tun, das nur die Attacke „Transformieren“ lernen kann:

import aiofiles
import asyncio
import json


async def main():
    async with aiofiles.open('articuno.json', mode='r') as f:
        contents = await f.read()
    pokemon = json.loads(contents)
    print(pokemon['name'])

asyncio.run(main())

Versuchen wir das mit einem Pokémon, das mehr als einen Zug hat, wie Rhydon:

import aiofiles
import asyncio

async def main():
    async with aiofiles.open('articuno.json', mode='r') as f:
        async for line in f:
            print(line)

asyncio.run(main())

Wenn Sie rhydon_moves.txt öffnen, sollten Sie eine Datei mit 112 Zeilen sehen, die etwa so beginnt.

Verwenden Sie Asyncio, um viele Dateien asynchron zu durchsuchen

Lassen Sie uns nun etwas komplizierter vorgehen und dies für alle 150 Pokémon tun, für die wir JSON-Dateien haben. Unser Code muss aus jeder Datei lesen, den JSON analysieren und die Bewegungen jedes Pokémon in eine neue Datei umschreiben:

import aiofiles
import asyncio

async def main():
    async with aiofiles.open('ditto_moves.txt', mode='w') as f:
        await f.write('transform')

asyncio.run(main())

Nachdem Sie diesen Code ausgeführt haben, sollten Sie das Verzeichnis der Pokemon-Dateien sehen, das mit .txt-Dateien neben den .json-Dateien gefüllt ist und Bewegungslisten für jedes Pokemon enthält.

Wenn Sie einige asynchrone Aktionen ausführen müssen und mit Daten abschließen möchten, die diesen asynchronen Aufgaben entsprechen, z. B. einer Liste mit den Bewegungen jedes Pokémon nach dem Schreiben der Dateien, können Sie asyncio.ensure_future und asyncio.gather verwenden.

Sie können den Teil Ihres Codes, der jede Datei verarbeitet, in eine eigene asynchrone Funktion aufteilen und Versprechen für diese Funktionsaufrufe an eine Liste von Aufgaben anhängen. Hier ist ein Beispiel dafür, wie diese Funktion und Ihre neue Hauptfunktion aussehen würden:

import aiofiles
import asyncio
import json


async def main():
    # Read the contents of the json file.
    async with aiofiles.open('rhydon.json', mode='r') as f:
        contents = await f.read()

    # Load it into a dictionary and create a list of moves.
    pokemon = json.loads(contents)
    name = pokemon['name']
    moves = [move['move']['name'] for move in pokemon['moves']]

    # Open a new file to write the list of moves into.
    async with aiofiles.open(f'{name}_moves.txt', mode='w') as f:
        await f.write('\n'.join(moves))


asyncio.run(main())

Dies ist eine gängige Methode zur Verwendung von asynchronem Code in Python und wird häufig für Dinge wie das Senden von HTTP-Anfragen verwendet.

Wofür verwende ich das also?

Die Beispiele in diesem Beitrag, bei denen Daten aus dem Pokémon verwendet wurden, waren nur ein Vorwand, um die Funktionalität des Aiofiles-Moduls zu zeigen und wie Sie Code schreiben würden, um durch ein Dateiverzeichnis zum Lesen und Schreiben zu navigieren. Hoffentlich können Sie diese Codebeispiele an die spezifischen Probleme anpassen, die Sie lösen möchten, damit Datei-E/A nicht zu einem Blocker in Ihrem asynchronen Code wird.

Wir haben nur an der Oberfläche dessen gekratzt, was Sie mit aiohttp und asyncio machen können, aber ich hoffe, dass dies Ihnen den Einstieg in die Welt des asynchronen Python ein wenig erleichtert hat.

Ich freue mich darauf zu sehen, was Sie bauen. Fühlen Sie sich frei, uns zu kontaktieren und Ihre Erfahrungen zu teilen oder Fragen zu stellen.

Das obige ist der detaillierte Inhalt vonAsynchrones Arbeiten mit Dateien in Python mithilfe von Aiofiles und Asyncio. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!