Parallelität und Parallelität in Python

---

Ja, ich hatte hier mit der Veröffentlichung aufgehört, aber aus Marketing-Sicht ist es besser, mit der Veröffentlichung fortzufahren... Wir machen weiter.

Text ursprünglich hier veröffentlicht.

---

Ziel dieses Textes ist es, eine direkte Zusammenfassung der Grundkonzepte zu geben, die zum Verständnis von Parallelität und Parallelität in der Python-Sprache erforderlich sind. Ich empfehle, über ein Mindestmaß an Hintergrundwissen zu diesem Thema zu verfügen oder diesen Text mit Studien aus anderen Quellen zu kombinieren. Alle Referenzen finden Sie am Ende des Textes.

Ich werde folgende Themen behandeln:

• Was ist ein Prozess?
• Was sind Threads?
• Was bedeuten E/A-gebunden und CPU-gebunden?
• Was ist Python GIL?
• Was ist Wettbewerb?
• Was ist Parallelität?
• Die Asyncio-Bibliothek
• Die Threading-Bibliothek
• Die Multiprocessing-Bibliothek

Was ist ein Prozess?

In der Informatik ist ein Prozess eine Instanz einer laufenden Anwendung. Wenn Sie eine Anwendung auf Ihrem Computer öffnen, beispielsweise einen Browser, wird diese Anwendung mit einem Prozess verknüpft. Ein Prozess besteht aus:

• Hardware-Kontext: Speichert Inhalte allgemeiner und CPU-spezifischer Register
• Softwarekontext: Gibt die Ressourcen an, die vom Prozess zugewiesen werden können
• Adressraum: Gibt den Speicherbereich an, zu dem der Prozess gehört

Das folgende Bild stammt aus dem Buch von Francis Machado und Luis Maia:

Diese Informationen sind erforderlich, um ein Programm auszuführen.

Was sind Threads?

Ein Thread ist eine Unterroutine eines Programms, die kleinste Ausführungseinheit, die ein Betriebssystem verwaltet, und eine Komponente eines Prozesses.

Die verschiedenen Threads eines hypothetischen Prozesses können gleichzeitig ausgeführt werden (was wir gleich verstehen werden) und dabei Ressourcen wie den Speicher gemeinsam nutzen. Verschiedene Prozesse teilen sich diese Ressourcen nicht.

Das Bild unten stammt aus Wikipedia:

Wenn wir das obige Bild interpretieren, können wir daraus schließen, dass ein Programm auf der Festplatte (sekundärer, nichtflüchtiger Speicher) gespeichert ist und mehrere Anweisungen enthält und in einem oder mehreren Prozessen instanziiert (gestartet) werden kann, und diese wiederum können dies tun mehrere zugehörige Threads.

Was bedeuten I/O-gebunden und CPU-gebunden?

Diese beiden Ausdrücke tauchen häufig in der Diskussion über Wettbewerb auf und können im Portugiesischen mit I/O (Eingabe/Ausgabe) und CPU (Zentraleinheit) vorkommen.

Wenn wir über E/A-gebunden und CPU-gebunden sprechen, sprechen wir über die begrenzenden Faktoren, die verhindern, dass ein Vorgang auf unserem Computer schneller ausgeführt wird, und wir können diese beiden Arten von Vorgängen in derselben Codebasis finden.

Ein CPU-gebundener Vorgang ist CPU-intensiv und wird schneller ausgeführt, wenn die CPU leistungsstärker ist. Mit anderen Worten: Wenn wir von einer Taktrate von 2 GHz auf 4 GHz umsteigen, wird dieser Vorgang wahrscheinlich schneller ablaufen. Wir sprechen hier von Operationen, die viele Berechnungen und Berechnungen durchführen; zum Beispiel, wie man Pi berechnet.

Ein E/A-gebundener Vorgang hängt von der Netzwerkgeschwindigkeit und der Geschwindigkeit der Eingabe- und Ausgabegeräte ab. Eine Anfrage an einen Webserver zu stellen oder eine Datei von der Festplatte zu lesen, sind E/A-gebundene Vorgänge.

Beide Arten von Vorgängen können von der Verwendung der Parallelität profitieren.

Was ist Pythons GIL?

GIL steht für Global Interpreter Lock, das verhindern soll, dass ein Python-Prozess mehr als einen Python-Anweisungsbytecode gleichzeitig ausführt. Um einen Thread auszuführen, muss die GIL „erworben“ werden, und während ein Thread die GIL hält, kann ein anderer Thread sie nicht gleichzeitig erwerben. Das bedeutet nicht, dass wir in diesem Zusammenhang nicht mehr als einen Thread haben können.

Hier betrachten wir die Python-Referenzimplementierung. CPython ist die Standardimplementierung von Python, die als Referenz für das Verhalten der Sprache dient. Es gibt andere Implementierungen wie Jython oder IronPython. GIL ist in CPython vorhanden und erst kürzlich hatten wir einen PEP (Python Enhancement Proposal), der vorschlug, GIL optional zu machen.

Die Idee von GIL besteht darin, Race Conditions zu verhindern, die auftreten können, wenn mehr als ein Thread gleichzeitig auf ein Python-Objekt verweisen muss. Wenn mehr als ein Thread eine gemeinsam genutzte Variable ändert, befindet sich diese Variable möglicherweise in einem unerwarteten Zustand. Bild aus Matthew Fowlers Buch:

Im Bild oben versuchen zwei Threads, einen Referenzzähler gleichzeitig zu erhöhen, und anstatt dass die Anzahl 2 ergibt, da beide um 1 erhöhen, ergibt das Endergebnis 1 (jeder Thread ist eine Spalte).

Was ist Wettbewerb?

Konkurrenz im Computerbereich entsteht, wenn mehr als eine Aufgabe bearbeitet wird, ohne diese beiden Aufgaben unbedingt gleichzeitig auszuführen. Ein bekannter Satz von Rob Pyke zu diesem Thema:

Wettbewerb bedeutet, sich mit vielen Dingen gleichzeitig auseinanderzusetzen. Parallelität bedeutet, viele Dinge gleichzeitig zu tun.

Denken Sie an diese hypothetische Situation: Wenn Sie zwei Kuchen backen möchten, können Sie zunächst den Ofen vorheizen und in der Zwischenzeit den Teig für den ersten Kuchen vorbereiten. Sobald der Ofen die richtige Temperatur erreicht hat, können Sie den Teig für den ersten Kuchen in den Ofen geben und, während Sie darauf warten, dass der Kuchen im Ofen aufgeht, den Teig für den zweiten Kuchen vorbereiten. Die Idee des Wettbewerbs besteht im Wesentlichen darin, dass Sie nicht untätig, steckengeblieben oder angehalten sein müssen, während Sie auf den Abschluss einer Aufgabe warten. Sie können einen Wechsel durchführen und Aufgaben ändern.

In diesem Zusammenhang gibt es zwei Arten von Multitasking:

• Kooperatives Multitasking: In diesem Modell erklären wir im Code die Punkte, an denen Aufgaben umgeschaltet werden können. In Python wird dies mithilfe einer Ereignisschleife erreicht, einem allgemeinen Entwurfsmuster, bei dem nur ein Thread und ein CPU-Kern verwendet werden, beispielsweise mithilfe von Asyncio mit Async und Wait
• Präventives Multitasking: In diesem Modell überlassen wir den Schalter dem Betriebssystem. In Python wird dies mit mehr als einem Thread und einem CPU-Kern erreicht, beispielsweise mithilfe der Threading-Bibliothek

Das Bild unten hilft, die Parallelität in Python zusammenzufassen:

Was ist Parallelität?

Parallelität bedeutet, dass mehr als eine Aufgabe gleichzeitig ausgeführt wird. Mit anderen Worten: Parallelität impliziert Parallelität (Bearbeitung von mehr als einer Aufgabe), Parallelität bedeutet jedoch nicht Parallelität (Aufgaben werden nicht unbedingt gleichzeitig parallel ausgeführt). Damit Parallelität möglich ist, benötigen wir mehr als einen CPU-Kern.

In Python wird Parallelität beispielsweise mit der Multiprocessing-Bibliothek erreicht, wo wir mehr als einen Python-Prozess haben, jeder mit seiner eigenen GIL. Das Bild hilft, Parallelität in Python zu veranschaulichen:

Die Asyncio-Bibliothek

Es gibt verschiedene Möglichkeiten, Parallelität und Parallelität in Python zu erreichen, und wir können einige Bibliotheken verwenden, um unseren Code zu optimieren, abhängig von der Art der Operation, mit der wir es zu tun haben, E/A-gebunden oder CPU-gebunden. asyncio ist eine Bibliothek, um Parallelität mithilfe von async und waiting zu erreichen. Aus der Dokumentation:

Asyncio wird als Grundlage für mehrere asynchrone Python-Frameworks verwendet, die leistungsstarke Netzwerk- und Webserver, Datenbankverbindungsbibliotheken, verteilte Jobwarteschlangen usw. bereitstellen.

Wie Sie sich vorstellen können, eignet sich diese Bibliothek zur Optimierung von I/O-gebundenen Aufgaben, bei denen wir Netzwerkwartezeiten haben, auf die Festplatte schreiben usw. Bei einer CPU-gebundenen Operation gibt es keine Wartezeiten, wir sind nur von der CPU-Berechnungsgeschwindigkeit abhängig.

Die Threading-Bibliothek

Pythons Threading-Bibliothek ermöglicht es uns, mehr als einen Thread zu betreiben, wir haben es jedoch immer noch mit einem CPU-Kern und einem Python-Prozess zu tun, und denken Sie daran, dass es sich hier um einen Fall von präemptivem Multitasking handelt, bei dem das Betriebssystem dies tut der Aufgabenwechsel für uns. Die Bibliothek ist auch nützlicher für die Optimierung von I/O-gebundenen Vorgängen.

Zum Thema Threading bietet die Real Python-Website einige wichtige Punkte:

Da das Betriebssystem die Kontrolle darüber hat, wann eine Aufgabe stoppt und eine andere Aufgabe startet, müssen alle Daten, die zwischen Threads geteilt werden, geschützt oder thread-sicher sein. Leider ist request.Session() nicht Thread-sicher. Es gibt verschiedene Strategien, um den Datenzugriff thread-sicher zu machen, je nachdem, um welche Daten es sich handelt und wie Sie sie verwenden. Eine davon besteht darin, Thread-sichere Datenstrukturen als Warteschlange des Python-Warteschlangenmoduls zu verwenden.

Die Warteschlangendokumentation haben wir hier gefunden.

Die Multiprocessing-Bibliothek

Über die Multiprocessing-Bibliothek in der Python-Dokumentation:

Multiprocessing ist ein Paket, das die Generierung von Prozessen mithilfe einer API ähnlich dem Threading-Modul unterstützt. Das Multiprocessing-Paket bietet sowohl lokale als auch Remote-Parallelität und umgeht effektiv die GIL, indem es Unterprozesse anstelle von Threads verwendet. Aus diesem Grund ermöglicht das Multiprocessing-Modul dem Programmierer, die Vorteile mehrerer Prozessoren auf einer Maschine zu nutzen.

Es ist erwähnenswert, dass das Ausführen von mehr als einem Prozess auf verschiedenen CPU-Kernen nicht bedeutet, die GIL zu deaktivieren, sondern dass jeder Prozess seine eigene GIL hat. Durch die Nutzung von mehr als einem CPU-Kern und der Aufteilung hoher CPU-Arbeitslasten auf mehrere verfügbare Kerne eignet sich die Bibliothek besser für CPU-gebundene Anwendungen.

---

Quellen:

FOWLER, Matthew. Python-Parallelität mit Asyncio. Manning Publications, 2022.

MACHADO, Francis Berenger; MAIA, Luiz Paulo. Betriebssystemarchitektur: Einschließlich Übungen mit dem SOSIM-Simulator und ENADE-Fragen. Rio de Janeiro: LTC, 2013.

Thread (Computer) von Wikipedia

Beschleunigen Sie Ihr Python-Programm mit Concurrency von Real Python

Das obige ist der detaillierte Inhalt vonParallelität und Parallelität in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!