Hinweise zum Python 3-Typ und statische Analyse

Python 3.5 führt das neue Typmodul ein, das standardmäßige Bibliotheksunterstützung für optionale Typhinweise unter Verwendung von Funktionsanmerkungen bietet. Dies öffnet die Tür zur statischen Typprüfung (wie mypy) und möglicherweise in der Zukunft zur automatisierten typbasierten Optimierung. Typhinweise sind in PEP-483 und PEP-484 angegeben.

In diesem Tutorial erkunde ich die Möglichkeiten der Typhinweis-Wiedergabe und zeige Ihnen, wie Sie mit mypy Ihre Python-Programme statisch analysieren und die Codequalität erheblich verbessern können.

Typtipps

Typhinweise basieren auf Funktionsanmerkungen. Kurz gesagt, Funktionsanmerkungen ermöglichen es Ihnen, die Parameter und Rückgabewerte einer Funktion oder Methode mit beliebigen Metadaten zu kommentieren. Typhinweise sind ein Sonderfall von Funktionsanmerkungen, die Funktionsparameter und Rückgabewerte gezielt mit Standardtypinformationen annotieren. Allgemeine Funktionsanmerkungen und spezielle Typhinweise sind völlig optional. Schauen wir uns ein einfaches Beispiel an:

def reverse_slice(text: str, start: int, end: int) -> str:
    return text[start:end][::-1]
    
reverse_slice('abcdef', 3, 5)
'ed'

Parameter werden mit ihrem Typ und Rückgabewert versehen. Es ist jedoch wichtig zu erkennen, dass Python dies völlig ignoriert. Es stellt Typinformationen über die annotation-Eigenschaft des Funktionsobjekts bereit und nichts weiter.

reverse_slice.__annotations
{'end': int, 'return': str, 'start': int, 'text': str}

Um zu überprüfen, ob Python Typhinweise wirklich ignoriert, lassen Sie uns die Typhinweise komplett durchspielen:

def reverse_slice(text: float, start: str, end: bool) -> dict:
    return text[start:end][::-1]
    
reverse_slice('abcdef', 3, 5)
'ed'

Wie Sie sehen, verhält sich der Code unabhängig von Typhinweisen gleich.

Motivation für Typtipps

Okay. Typhinweise sind optional. Python ignoriert Typhinweise vollständig. Was ist ihr Sinn? Nun, es gibt ein paar gute Gründe:

• Statische Analyse
• IDE-Unterstützung
• Standarddokumente

Ich werde Mypy später für die statische Analyse verwenden. Die IDE-Unterstützung hat mit der PyCharm 5-Unterstützung für Typhinweise begonnen. Die Standarddokumentation ist nützlich für Entwickler, die einfach durch einen Blick auf die Funktionssignatur die Parametertypen und Rückgabewerte herausfinden können, sowie einen automatischen Dokumentationsgenerator, der Typinformationen aus Hinweisen extrahieren kann.

typing Modul

Das Eingabemodul enthält Typen, die Typhinweise unterstützen sollen. Warum nicht einfach vorhandene Python-Typen wie int, str, list und dict verwenden? Sie können diese Typen auf jeden Fall verwenden, aber aufgrund der dynamischen Typisierung von Python erhalten Sie nicht viele Informationen, die über die Grundtypen hinausgehen. Wenn Sie beispielsweise angeben möchten, dass ein Parameter eine Zuordnung zwischen Zeichenfolgen und Ganzzahlen sein kann, ist dies mit Standard-Python-Typen nicht möglich. Mit dem Eingabemodul geht das ganz einfach:

Mapping[str, int]

Sehen wir uns ein vollständigeres Beispiel an: eine Funktion mit zwei Argumenten. Eines davon ist eine Liste von Wörterbüchern, wobei jedes Wörterbuch Zeichenfolgenschlüssel und Ganzzahlwerte enthält. Der andere Parameter ist eine Zeichenfolge oder eine Ganzzahl. Mit Typmodulen lassen sich solch komplexe Parameter präzise spezifizieren.

from typing import List, Dict, Union

def foo(a: List[Dict[str, int]],
        b: Union[str, int]) -> int:
    """Print a list of dictionaries and return the number of dictionaries
    """
    if isinstance(b, str):
        b = int(b)
    for i in range(b):
        print(a)


x = [dict(a=1, b=2), dict(c=3, d=4)]
foo(x, '3')

[{'b': 2, 'a': 1}, {'d': 4, 'c': 3}]
[{'b': 2, 'a': 1}, {'d': 4, 'c': 3}]
[{'b': 2, 'a': 1}, {'d': 4, 'c': 3}]

Nützliche Typen

Sehen wir uns einige der interessanteren Typen im Tippmodul an.

Mit dem Callable-Typ können Sie Funktionen angeben, die als Argumente übergeben oder als Ergebnisse zurückgegeben werden können, da Python Funktionen als erstklassige Bürger behandelt. Die Syntax für ein aufrufbares Objekt besteht darin, ein Array von Parametertypen (auch aus dem Typisierungsmodul) bereitzustellen, gefolgt von einem Rückgabewert. Wenn das verwirrend ist, hier ein Beispiel:

def do_something_fancy(data: Set[float], on_error: Callable[[Exception, int], None]):
    ...
    

Die Rückruffunktion

on_error wird als Funktion angegeben, die eine Ausnahme und eine Ganzzahl als Argumente akzeptiert und nichts zurückgibt.

Jeder Typ bedeutet, dass der statische Typprüfer jede Operation und Zuweisung zu jedem anderen Typ zulassen sollte. Jeder Typ ist ein Untertyp von Any.

Der Union-Typ, den Sie zuvor gesehen haben, ist nützlich, wenn Argumente mehrere Typen haben können, was in Python üblich ist. Im folgenden Beispiel akzeptiert die Funktion verify_config() einen Konfigurationsparameter, der ein Config-Objekt oder ein Dateiname sein kann. Wenn es sich um einen Dateinamen handelt, rufen Sie eine andere Funktion auf, um die Datei in ein Config-Objekt zu analysieren und zurückzugeben.

def verify_config(config: Union[str, Config]):
    if isinstance(config, str):
        config = parse_config_file(config)
    ...
    
def parse_config_file(filename: str) -> Config:
    ...
    

Optionaler Typ bedeutet, dass der Parameter auch None sein kann. 可选[T] 相当于 Union[T, None]

Es gibt viele weitere Typen, die verschiedene Funktionen darstellen, wie z. B. Iterable, Iterator, Reversible, SupportsInt, SupportsFloat, Sequence, MutableSequence und IO. Eine vollständige Liste finden Sie in der Dokumentation zum Typisierungsmodul.

Das Beste ist, dass Sie die Parametertypen sehr feinkörnig angeben können, wodurch das Python-Typsystem mit hoher Genauigkeit unterstützt wird und generische und abstrakte Basisklassen möglich sind.

Repost-Zitat

Manchmal möchten Sie in einem Typhinweis auf eine Klasse für eine ihrer Methoden verweisen. Angenommen, Klasse A kann eine Zusammenführungsoperation ausführen, die eine andere Instanz von A annimmt, sie mit sich selbst zusammenführt und das Ergebnis zurückgibt. Hier ist ein naiver Versuch, es mithilfe von Typhinweisen zu spezifizieren:

class A:
    def merge(other: A) -> A:
        ...

      1 class A:
----> 2         def merge(other: A = None) -> A:
      3                 ...
      4

NameError: name 'A' is not defined

Was ist passiert? Wenn Python die Typhinweise für seine Methode merge() überprüft, ist Klasse A noch nicht definiert, sodass Klasse A derzeit nicht (direkt) verwendet werden kann. Die Lösung ist sehr einfach und ich habe sie schon einmal mit SQLAlchemy gesehen. Sie geben den Typhinweis einfach als Zeichenfolge an. Python wird verstehen, dass es sich um eine Vorwärtsreferenz handelt, und das Richtige tun:

class A:
    def merge(other: 'A' = None) -> 'A':
        ...

输入别名

对长类型规范使用类型提示的一个缺点是，即使它提供了大量类型信息，它也会使代码变得混乱并降低可读性。您可以像任何其他对象一样为类型添加别名。很简单：

Data = Dict[int, Sequence[Dict[str, Optional[List[float]]]]

def foo(data: Data) -> bool:
    ...

get_type_hints() 辅助函数

类型模块提供 get_type_hints() 函数，该函数提供有关参数类型和返回值的信息。虽然 annotations 属性返回类型提示，因为它们只是注释，但我仍然建议您使用 get_type_hints() 函数，因为它可以解析前向引用。另外，如果您为其中一个参数指定默认值 None，则 get_type_hints() 函数将自动将其类型返回为 Union[T, NoneType]（如果您刚刚指定了 T）。让我们看看使用 A.merge() 方法的区别之前定义：

print(A.merge.__annotations__)

{'other': 'A', 'return': 'A'}

annotations 属性仅按原样返回注释值。在本例中，它只是字符串“A”，而不是 A 类对象，“A”只是对其的前向引用。

print(get_type_hints(A.merge))

{'return': , 'other': typing.Union[__main__.A, NoneType]}

由于 None 默认参数，get_type_hints() 函数将 other 参数的类型转换为 A（类）和 NoneType 的并集。返回类型也转换为 A 类。

装饰器

类型提示是函数注释的特殊化，它们也可以与其他函数注释一起工作。

为了做到这一点，类型模块提供了两个装饰器：@no_type_check和@no_type_check_decorator。 @no_type_check 装饰器可以应用于类或函数。它将 no_type_check 属性添加到函数（或类的每个方法）。这样，类型检查器就会知道忽略注释，它们不是类型提示。

这有点麻烦，因为如果你编写一个将被广泛使用的库，你必须假设将使用类型检查器，并且如果你想用非类型提示来注释你的函数，你还必须装饰它们与@no_type_check。

使用常规函数注释时的一个常见场景也是有一个对其进行操作的装饰器。在这种情况下，您还想关闭类型检查。一种选择是除了装饰器之外还使用 @no_type_check 装饰器，但这会过时。相反，@no_Type_check_decorator可用于装饰您的装饰器，使其行为类似于@no_type_check（添加no_type_check属性）。 p>

让我来说明所有这些概念。如果您尝试在使用常规字符串注释的函数上使用 get_type_hint() （任何类型检查器都会这样做），则 get_type_hints() 会将其解释为前向引用：

def f(a: 'some annotation'):
    pass

print(get_type_hints(f))

SyntaxError: ForwardRef must be an expression -- got 'some annotation'

要避免这种情况，请添加 @no_type_check 装饰器，get_type_hints 仅返回一个空字典，而 __annotations__ 属性返回注释：

@no_type_check
def f(a: 'some annotation'):
    pass
    
print(get_type_hints(f))
{}

print(f.__annotations__)
{'a': 'some annotation'}

现在，假设我们有一个打印注释字典的装饰器。您可以使用 @no_Type_check_decorator 装饰它，然后装饰该函数，而不用担心某些类型检查器调用 get_type_hints() 并感到困惑。对于每个使用注释操作的装饰器来说，这可能是最佳实践。不要忘记@functools.wraps，否则注释将不会被复制到装饰函数中，一切都会崩溃。 Python 3 函数注释对此进行了详细介绍。

@no_type_check_decorator
def print_annotations(f):
    @functools.wraps(f)
    def decorated(*args, **kwargs):
        print(f.__annotations__)
        return f(*args, **kwargs)
    return decorated

现在，您可以仅使用 @print_annotations 来装饰该函数，并且每当调用它时，它都会打印其注释。

@print_annotations
def f(a: 'some annotation'):
    pass
    
f(4)
{'a': 'some annotation'}

调用 get_type_hints() 也是安全的，并返回一个空字典。

print(get_type_hints(f))
{}

使用 Mypy 进行静态分析

Mypy 是一个静态类型检查器，它是类型提示和类型模块的灵感来源。 Guido van Rossum 本人是 PEP-483 的作者，也是 PEP-484 的合著者。

安装 Mypy

Mypy 正处于非常活跃的开发阶段，截至撰写本文时，PyPI 上的软件包已经过时，并且无法与 Python 3.5 一起使用。要将 Mypy 与 Python 3.5 结合使用，请从 GitHub 上的 Mypy 存储库获取最新版本。很简单：

pip3 install git+git://github.com/JukkaL/mypy.git

使用 Mypy

一旦安装了 Mypy，您就可以在您的程序上运行 Mypy。以下程序定义了一个需要字符串列表的函数。然后它使用整数列表调用该函数。

from typing import List

def case_insensitive_dedupe(data: List[str]):
    """Converts all values to lowercase and removes duplicates"""
    return list(set(x.lower() for x in data))


print(case_insensitive_dedupe([1, 2]))

运行程序时，显然在运行时失败并出现以下错误：

python3 dedupe.py
Traceback (most recent call last):
  File "dedupe.py", line 8, in <module>
    print(case_insensitive_dedupe([1, 2, 3]))
  File "dedupe.py", line 5, in case_insensitive_dedupe
    return list(set(x.lower() for x in data))
  File "dedupe.py", line 5, in <genexpr>
    return list(set(x.lower() for x in data))
AttributeError: 'int' object has no attribute 'lower'

这有什么问题吗？问题在于，即使在这个非常简单的案例中，也无法立即弄清楚根本原因是什么。是输入类型的问题吗？或者代码本身可能是错误的，不应该尝试调用“int”对象的 lower() 方法。另一个问题是，如果您没有 100% 的测试覆盖率（老实说，我们都没有），那么此类问题可能潜伏在一些未经测试、很少使用的代码路径中，并在生产中最糟糕的时间被检测到。

静态类型在类型提示的帮助下，通过确保您始终使用正确的类型调用函数（用类型提示注释），为您提供了额外的安全网。这是 Mypy 的输出：

(N) > mypy dedupe.py
dedupe.py:8: error: List item 0 has incompatible type "int"
dedupe.py:8: error: List item 1 has incompatible type "int"
dedupe.py:8: error: List item 2 has incompatible type "int"

这很简单，直接指出问题，并且不需要运行大量测试。静态类型检查的另一个好处是，如果您提交它，则可以跳过动态类型检查，除非解析外部输入（读取文件、传入的网络请求或用户输入）。就重构而言，它还建立了很大的信心。

结论

类型提示和类型模块对于 Python 的表达能力来说是完全可选的补充。虽然它们可能不适合每个人的口味，但对于大型项目和大型团队来说它们是不可或缺的。证据是大型团队已经使用静态类型检查。现在类型信息已经标准化，共享使用它的代码、实用程序和工具将变得更加容易。像 PyCharm 这样的 IDE 已经利用它来提供更好的开发人员体验。

Das obige ist der detaillierte Inhalt vonHinweise zum Python 3-Typ und statische Analyse. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!