Debugging-Retter! Nutzung von ObjWatch für effizientes Codeverständnis und Debugging in komplexen Python-Projekten

Link zum Quellcode

aeeeeep / objwatch

?️ ObjWatch ist eine Python-Bibliothek zum Verfolgen und Überwachen von Objektattributen und Methodenaufrufen.

ObjWatch

[ Englisch | 中文 ]

Übersicht

ObjWatch ist eine robuste Python-Bibliothek, die entwickelt wurde, um das Debuggen und Überwachen komplexer Projekte zu optimieren. Durch die Echtzeitverfolgung von Objektattributen und Methodenaufrufen ermöglicht ObjWatch Entwicklern, tiefere Einblicke in ihre Codebasen zu gewinnen, was die Identifizierung von Problemen, die Leistungsoptimierung und die allgemeine Verbesserung der Codequalität erleichtert.

⚠️Leistungswarnung

ObjWatch kann sich auf die Leistung Ihrer Anwendung auswirken. Es wird empfohlen, es ausschließlich in Debug-Umgebungen zu verwenden.

Funktionen

• Nachverfolgung verschachtelter Strukturen: Visualisieren und überwachen Sie verschachtelte Funktionsaufrufe und Objektinteraktionen mit klarer, hierarchischer Protokollierung.

• Erweiterte Protokollierungsunterstützung: Nutzen Sie das integrierte Protokollierungsmodul von Python für strukturierte, anpassbare Protokollausgaben, einschließlich Unterstützung für einfache und detaillierte Formate. Um sicherzustellen, dass Protokolle auch dann erfasst werden, wenn der Logger von externen Bibliotheken deaktiviert oder entfernt wird, können Sie außerdem level="force" festlegen. Wenn die Ebene auf „erzwingen“ eingestellt ist, umgeht ObjWatch die Standardprotokollierungshandler und verwendet print(), um…

Auf GitHub ansehen

Aktuelle Schwachstellen beim Debuggen

Beim Lesen und Debuggen komplexer Projekte stößt man häufig auf verschachtelte Aufrufe mit bis zu einem Dutzend Ebenen, was es schwierig macht, die Ausführungsreihenfolge zu bestimmen. Der frustrierendste Aspekt ist das Debuggen in einer Umgebung mit mehreren Prozessen. Das Debuggen eines einzelnen Prozesses führt oft dazu, dass andere Prozesse warten und eine Zeitüberschreitung erleiden, was einen ständigen Neustart des Debugging-Programms erfordert. Die Verwendung von print-Anweisungen führt häufig dazu, dass Funktionsaufrufe verpasst werden, was zeitaufwändig und mühsam ist. Derzeit gibt es keine Debugging-Bibliothek, die Einfachheit und Vollständigkeit vereint, daher habe ich ein Wochenende damit verbracht, ein Tool zu entwickeln, das dieses Problem angeht.

Was ist ObjWatch?

ObjWatch wurde speziell entwickelt, um das Debuggen und Überwachen komplexer Projekte zu vereinfachen. Es ermöglicht die Echtzeitverfolgung von Objekteigenschaften und Methodenaufrufen und ermöglicht benutzerdefinierte Hooks, um Entwicklern zu helfen, tiefere Einblicke in die Codebasis zu gewinnen.

Beispiel für eine schnelle Nutzung

Sie können es direkt mit pip install objwatch installieren. Zu Demonstrationszwecken müssen Sie den Quellcode klonen:

git clone https://github.com/aeeeeeep/objwatch
cd objwatch
pip install .
python3 examples/example_usage.py

Das Ausführen des obigen Codes erzeugt die folgenden Anrufinformationen:

[2025-01-04 19:15:13] [DEBUG] objwatch: Processed targets:
>>>>>>>>>>
examples/example_usage.py
<<<<<<<<<<
[2025-01-04 19:15:13] [WARNING] objwatch: wrapper 'BaseLogger' loaded
[2025-01-04 19:15:13] [INFO] objwatch: Starting ObjWatch tracing.
[2025-01-04 19:15:13] [INFO] objwatch: Starting tracing.
[2025-01-04 19:15:13] [DEBUG] objwatch: run main <-
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.__init__ <- '0':(type)SampleClass, '1':10
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.__init__ -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value None -> 10
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 10 -> 11
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 11 -> 12
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 12 -> 13
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 13 -> 14
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 14 -> 15
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 15 -> 14
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 14 -> 13
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 13 -> 12
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: end main -> None
[2025-01-04 19:15:13] [INFO] objwatch: Stopping ObjWatch tracing.
[2025-01-04 19:15:13] [INFO] objwatch: Stopping tracing.

Der wichtigste Teil des Codes ist der Folgende:

# Using as a Context Manager with Detailed Logging
with objwatch.ObjWatch(['examples/example_usage.py']):
    main()

# Using the API with Simple Logging
obj_watch = objwatch.watch(['examples/example_usage.py'])
main()
obj_watch.stop()

Wir können das Tool sowohl über einen Kontextmanager als auch über API-Aufrufe nutzen. Im Beispiel geben wir die Nachverfolgung für die Datei „example_usage.py“ an, was bedeutet, dass jede Funktion, Methode oder Variable in „example_usage.py“ vom Tool protokolliert wird. Diese übersichtliche, hierarchische Protokollierung hilft bei der Visualisierung und Überwachung verschachtelter Funktionsaufrufe und Objektinteraktionen. Die gedruckten Protokolle umfassen folgende Ausführungsarten:

• run: Zeigt den Beginn der Ausführung einer Funktion oder Klassenmethode an.
• Ende: Zeigt das Ende der Ausführung einer Funktion oder Klassenmethode an.
• upd: Stellt die Erstellung einer neuen Variablen dar.
• apd: Bezeichnet das Hinzufügen von Elementen zu Datenstrukturen wie Listen, Mengen oder Wörterbüchern.
• Pop: Markiert das Entfernen von Elementen aus Datenstrukturen wie Listen, Mengen oder Wörterbüchern.

Das Beispiel ist relativ einfach, aber diese Funktionalität wird für die Ausführung großer Projekte äußerst nützlich sein.

Allgemeine Merkmale

ObjWatch bietet die folgenden Schnittstellen:

• Ziele (Liste): Zu überwachende Dateien oder Module.
• exclude_targets (Liste, optional): Dateien oder Module, die von der Überwachung ausgeschlossen werden sollen.
• Ränge (Liste, optional): GPU-Ränge, die bei Verwendung von Torch.distributed verfolgt werden sollen.
• Ausgabe (str, optional): Pfad zu einer Datei zum Schreiben von Protokollen.
• Output_xml (str, optional): Pfad zur XML-Datei zum Schreiben strukturierter Protokolle. Falls angegeben, werden die Ablaufverfolgungsinformationen zum einfachen Durchsuchen und Analysieren in einem verschachtelten XML-Format gespeichert.
• level (str, optional): Protokollierungsebene (z. B. logging.DEBUG, logging.INFO, force usw.).
• simple (bool, optional): Aktiviert den einfachen Protokollierungsmodus mit dem Format „DEBUG: {msg}“.
• Wrapper (FunctionWrapper, optional): Benutzerdefinierter Wrapper zur Erweiterung der Ablaufverfolgungs- und Protokollierungsfunktionalität.
• with_locals (bool, optional): Aktivieren Sie die Ablaufverfolgung und Protokollierung lokaler Variablen innerhalb von Funktionen während ihrer Ausführung.
• with_module_path (bool, optional): Steuern Sie, ob der Modulpfad Funktionsnamen in Protokollen vorangestellt werden soll.

Hauptmerkmal: Benutzerdefinierte Wrapper-Erweiterungen

ObjWatch stellt die abstrakte Basisklasse FunctionWrapper bereit, mit der Benutzer benutzerdefinierte Wrapper erstellen können, um die Tracking- und Protokollierungsfunktionen der Bibliothek zu erweitern und anzupassen. Durch die Übernahme von FunctionWrapper können Entwickler angepasste Verhaltensweisen implementieren, die auf spezifische Projektanforderungen zugeschnitten sind. Diese Verhaltensweisen werden bei Funktionsaufrufen und -rückgaben ausgeführt, was eine professionellere Überwachung ermöglicht.

FunctionWrapper-Klasse

Die FunctionWrapper-Klasse definiert zwei Kernmethoden, die implementiert werden müssen:

• wrap_call(self, func_name: str, frame: FrameType) -> str:

Diese Methode wird zu Beginn eines Funktionsaufrufs aufgerufen. Es erhält den Funktionsnamen und das aktuelle Frame-Objekt, das den Ausführungskontext einschließlich lokaler Variablen und des Aufrufstapels enthält. Implementieren Sie diese Methode, um Informationen zu extrahieren, zu protokollieren oder zu ändern, bevor die Funktion ausgeführt wird.

• wrap_return(self, func_name: str, result: Any) -> str:

Diese Methode wird bei der Rückkehr einer Funktion aufgerufen. Es erhält den Funktionsnamen und das von der Funktion zurückgegebene Ergebnis. Verwenden Sie diese Methode, um Informationen zu protokollieren, zu analysieren oder zu ändern, nachdem die Ausführung der Funktion abgeschlossen ist.

• wrap_upd(self, old_value: Any, current_value: Any) -> Tupel[str, str]:

Diese Methode wird ausgelöst, wenn eine Variable aktualisiert wird und den alten Wert und den aktuellen Wert empfängt. Es kann zum Protokollieren von Änderungen an Variablen verwendet werden und ermöglicht so die Verfolgung und Fehlerbehebung von Variablenzustandsübergängen.

Weitere Informationen zu Frame-Objekten finden Sie in der offiziellen Python-Dokumentation.

TensorShapeLogger

Dies ist ein Beispiel für einen benutzerdefinierten Wrapper, den ich basierend auf meinem Nutzungsszenario implementiert habe. Der Code befindet sich in der Datei objwatch/wrappers.py. Dieser Wrapper zeichnet automatisch die Tensorformen von Ein- und Ausgaben in allen Funktionsmethodenaufrufen innerhalb des angegebenen Moduls sowie die Zustände von Variablen auf. Dies ist äußerst nützlich, um die Ausführungslogik komplexer verteilter Frameworks zu verstehen.

git clone https://github.com/aeeeeeep/objwatch
cd objwatch
pip install .
python3 examples/example_usage.py

In Deep-Learning-Projekten sind Form und Dimensionen von Tensoren entscheidend. Ein kleiner Dimensionsfehler kann dazu führen, dass das gesamte Modell nicht korrekt trainiert oder vorhersagt. Die manuelle Überprüfung der Form jedes Tensors ist mühsam und fehleranfällig. Der TensorShapeLogger automatisiert die Aufzeichnung von Tensorformen und hilft Entwicklern dabei:

• Probleme mit Dimensionsabweichungen schnell erkennen: Forminformationen werden automatisch erfasst, um Dimensionsfehler umgehend zu erkennen und zu beheben.
• Modellarchitektur optimieren: Optimieren Sie die Netzwerkstruktur, um die Modellleistung zu verbessern, indem Sie die Änderungen in Tensorformen verfolgen.
• Erhöhen Sie die Debugging-Effizienz: Reduzieren Sie den Zeitaufwand für die manuelle Überprüfung von Tensorformen, sodass Sie sich auf die Entwicklung des Kernmodells konzentrieren können.

Beispiel für die Verwendung eines benutzerdefinierten Wrappers

Es wird empfohlen, auf die Datei „tests/test_torch_train.py“ zu verweisen. Diese Datei enthält ein vollständiges Beispiel eines PyTorch-Trainingsprozesses, der zeigt, wie ObjWatch zur Überwachung und Protokollierung integriert wird.

Notizen

⚠️ Leistungswarnung
ObjWatch kann sich auf die Leistung Ihres Programms auswirken, wenn es in einer Debugging-Umgebung verwendet wird. Daher wird empfohlen, es nur während der Debugging- und Entwicklungsphase zu verwenden.

Dies ist nur eine erste Beschreibung; Ich habe vor, im Laufe der Zeit weitere hinzuzufügen. Wenn Sie es nützlich finden, können Sie ihm gerne einen Stern geben.

Die Bibliothek wird weiterhin aktiv aktualisiert. Wenn Sie Fragen oder Vorschläge haben, hinterlassen Sie bitte einen Kommentar oder öffnen Sie ein Problem im Repository.

Das obige ist der detaillierte Inhalt vonDebugging-Retter! Nutzung von ObjWatch für effizientes Codeverständnis und Debugging in komplexen Python-Projekten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!