解鎖 Python 的隱藏力量：掌握程式碼魔法的抽象語法樹-Python教學-PHP中文網

Unlock Python

Python 的元程式設計功能非常強大，抽象語法樹 (AST) 將其提升到了一個全新的水平。我最近一直在研究 AST，很高興能分享我學到的東西。

本質上，AST 是 Python 程式碼結構的樹狀表示。這就像透過不同的鏡頭查看您的程式碼，程式的每個部分都成為這棵樹中的一個節點。很酷的是，您可以操縱這棵樹來改變程式碼的行為。

讓我們從一個簡單的例子開始。假設我們有這段程式碼：

x = 5 + 3
print(x)

登入後複製

當我們將其解析為 AST 時，它看起來像這樣：

import ast

code = """
x = 5 + 3
print(x)
"""

tree = ast.parse(code)
print(ast.dump(tree))

登入後複製

這將輸出 AST 的表示。雖然有點亂，但您可以看到程式碼的每個部分如何表示為樹中的節點。

現在，為什麼這有用？嗯，它讓我們可以做一些非常巧妙的技巧。我們可以分析程式碼、修改程式碼，甚至動態產生新程式碼。這就像為您的 Python 程式提供 X 光視覺。

使用 AST 可以做的最酷的事情之一就是創建自訂語言功能。想像一下，您正在開發一個大數據項目，並且您厭倦了編寫相同的樣板程式碼來進行資料驗證。使用 AST，您可以建立自訂裝飾器，自動將驗證程式碼新增至您的函數。

這是一個簡單的例子：

import ast
import inspect

def validate_types(func):
    source = inspect.getsource(func)
    tree = ast.parse(source)

    for node in ast.walk(tree):
        if isinstance(node, ast.FunctionDef):
            for arg in node.args.args:
                if arg.annotation:
                    check = ast.parse(f'if not isinstance({arg.arg}, {arg.annotation.id}): raise TypeError("Invalid type for {arg.arg}")').body[0]
                    node.body.insert(0, check)

    new_func = compile(ast.fix_missing_locations(tree), '<string>', 'exec')
    namespace = {}
    exec(new_func, namespace)
    return namespace[func.__name__]

@validate_types
def greet(name: str, times: int):
    for _ in range(times):
        print(f"Hello, {name}!")

greet("Alice", 3)  # This works
greet("Bob", "not a number")  # This raises a TypeError

登入後複製

在這個例子中，我們建立了一個裝飾器，它自動向我們的函數添加類型檢查。它將函數解析為 AST，為每個帶有註釋的參數添加類型檢查程式碼，然後重新編譯函數。很酷吧？

但我們只是觸及了表面。 AST 可用於各種用途。程式碼優化是另一大問題。您可以編寫一個 AST 轉換器來尋找程式碼中的某些模式並用更有效率的版本取代它們。

例如，假設您在程式碼中使用大量字串連接。您知道，對於字串來說，使用 join() 通常比運算子更快，尤其是在處理許多字串時。您可以編寫一個 AST 轉換器，自動將字串連線轉換為 join() 呼叫：

import ast

class StringConcatOptimizer(ast.NodeTransformer):
    def visit_BinOp(self, node):
        if isinstance(node.op, ast.Add) and isinstance(node.left, ast.Str) and isinstance(node.right, ast.Str):
            return ast.Call(
                func=ast.Attribute(
                    value=ast.Str(s=''),
                    attr='join',
                    ctx=ast.Load()
                ),
                args=[
                    ast.List(
                        elts=[node.left, node.right],
                        ctx=ast.Load()
                    )
                ],
                keywords=[]
            )
        return node

# Usage
code = """
result = "Hello, " + "world!"
"""

tree = ast.parse(code)
optimizer = StringConcatOptimizer()
optimized_tree = optimizer.visit(tree)

print(ast.unparse(optimized_tree))
# Output: result = ''.join(['Hello, ', 'world!'])

登入後複製

此轉換器尋找字串連接操作並用 join() 呼叫取代它們。這是一個簡單的範例，但您可以想像這對於更大的程式碼庫來說有多強大。

AST 也非常適合靜態分析。您可以編寫工具來掃描程式碼以查找潛在的錯誤、樣式違規或安全漏洞。許多流行的 linting 工具在底層使用 AST 來分析您的程式碼。

以下是如何使用 AST 來尋找一段程式碼中的所有函數定義的簡單範例：

x = 5 + 3
print(x)

登入後複製

函數將程式碼解析為 AST，然後遍歷樹尋找 FunctionDef 節點。這是一個簡單的範例，但您可以看到如何擴展它以進行更複雜的分析。

AST 真正發揮作用的一個領域是創建特定於領域的語言 (DSL)。這些是為特定任務或領域量身定制的語言。使用 AST，您可以解析這些自訂語言並將它們翻譯成 Python 程式碼。

例如，假設您正在從事資料分析項目，並且您想要建立一種簡單的語言來定義資料轉換。您可以使用 AST 來解析該語言並產生 Python 程式碼：

import ast

code = """
x = 5 + 3
print(x)
"""

tree = ast.parse(code)
print(ast.dump(tree))

登入後複製

這個解析器採用簡單的 DSL 進行資料轉換，並使用 pandas 將其轉換為 Python 程式碼。這是一個基本範例，但它展示瞭如何使用 AST 來根據您的特定需求創建您自己的迷你語言。

AST 對於程式碼重構也非常有用。您可以編寫自動更新程式碼以遵循新模式或約定的工具。例如，假設您想要更新所有列印語句以使用 f 字串：

import ast
import inspect

def validate_types(func):
    source = inspect.getsource(func)
    tree = ast.parse(source)

    for node in ast.walk(tree):
        if isinstance(node, ast.FunctionDef):
            for arg in node.args.args:
                if arg.annotation:
                    check = ast.parse(f'if not isinstance({arg.arg}, {arg.annotation.id}): raise TypeError("Invalid type for {arg.arg}")').body[0]
                    node.body.insert(0, check)

    new_func = compile(ast.fix_missing_locations(tree), '<string>', 'exec')
    namespace = {}
    exec(new_func, namespace)
    return namespace[func.__name__]

@validate_types
def greet(name: str, times: int):
    for _ in range(times):
        print(f"Hello, {name}!")

greet("Alice", 3)  # This works
greet("Bob", "not a number")  # This raises a TypeError

登入後複製

此轉換器使用舊的 % 格式尋找列印語句，並將它們轉換為使用 f 字串。它有點複雜，因為它需要處理不同的情況，但它顯示了 AST 在自動重構方面的強大功能。

使用 AST 時要記住的一件事是它們可能有點挑剔。您需要確保 AST 中的所有節點都已正確設置，否則在嘗試編譯或執行程式碼時會發生錯誤。 ast.fix_missing_locations() 函數是您的朋友 – 它會填入 AST 中任何缺少的位置資訊。

此外，雖然 AST 很強大，但它們並不總是適合這項工作的最佳工具。對於簡單的字串操作或基於正規表示式的更改，您可能最好使用更簡單的方法。當您需要理解或操作程式碼本身的結構時，AST 就會發揮作用。

總之，抽象語法樹是 Python 元程式設計工具包中的一個強大工具。它們可以讓您以其他方法難以或不可能的方式分析、轉換和產生程式碼。無論您是優化效能、建立自訂語言功能，還是建立程式碼分析和重構工具，AST 都可以讓您從根本上使用 Python 程式碼。這就像你的 Python 程式擁有超能力一樣！