利用 Python 的模式匹配和理解进行数据分析-Python教程-PHP中文网

Leveraging Python

博客：什么是 Data Lakehouse 和表格式？
Apache Iceberg 权威指南的免费副本
免费 Apache Iceberg 速成课程
Lakehouse目录课程
Iceberg Lakehouse 工程视频播放列表

Python 是一种功能强大且多功能的工具。 Python 以其简单性和可读性而闻名，提供了一系列内置功能，使其成为数据操作、分析和可视化的理想语言。在这些功能中，模式匹配和理解这两种功能为有效转换和构建数据提供了显着的优势。

Python 3.10 中引入的模式匹配通过使用最少的代码来匹配复杂的数据结构，从而实现更直观和可读的条件逻辑。当处理不同的数据格式、嵌套结构或应用多个条件转换时，此功能在数据分析中特别有用。另一方面，推导式（列表推导式、集合推导式和字典推导式）允许简洁、可读的表达式，可以动态过滤、转换和聚合数据，使重复的数据任务更快、更不容易出错。

让我们探讨一下这两个功能如何帮助数据分析师和工程师编写更清晰、更快、更具可读性的代码。我们将深入探讨如何应用模式匹配和理解来简化数据处理的实际示例，展示它们如何简化复杂的任务并优化数据工作流程。最后，您将更清楚地了解这些 Python 功能如何增强您的数据分析工具包。

了解 Python 中的模式匹配

模式匹配是在 Python 3.10 (PEP 634) 中通过匹配和大小写语法引入的，可实现更清晰、更易读的条件逻辑，特别是在处理复杂的数据结构时。与传统的 if-else 链不同，模式匹配允许您定义 Python 将匹配的特定模式，从而简化处理各种数据格式和嵌套结构的代码。

通过模式匹配，数据分析师可以编写富有表现力的代码，以最少的样板来处理不同的数据转换和格式。例如，在处理包含多种类型值（例如字典、嵌套列表或 JSON 对象）的数据集时，模式匹配可以帮助根据结构和内容对数据进行分类、转换或验证。

数据分析中的模式匹配用例

以下是模式匹配有利于数据分析的几种方式：

数据转换：在数据工作流程中，数据集通常包含混合或嵌套的数据类型。模式匹配可以识别数据集中的特定结构，并根据这些结构应用转换，从而简化类型转换或字符串操作等任务。
处理嵌套数据：JSON 文件和嵌套字典在数据分析中很常见。模式匹配可以直观地解包和重组这些嵌套格式，从而更轻松地从深层嵌套数据中提取见解。
类型检查和过滤：在清理数据时，准确处理各种数据类型至关重要。模式匹配可用于检查数据集中的某些类型（例如 str、int、list），从而可以轻松过滤掉不需要的类型或以不同方式处理每种类型以进行验证和转换。

模式匹配的实际应用

模式匹配不仅是一个强大的概念，而且在现实世界的数据分析工作流程中也非常实用。通过匹配特定的数据结构和模式，它允许分析师为清理、分类和转换数据等任务编写简洁的代码。让我们探讨一些常见的应用程序，其中模式匹配可以简化数据处理。

示例 1：使用模式匹配进行数据清理

任何数据分析项目的第一步都是数据清理。这通常涉及处理缺失值、类型不匹配和不正确的格式。使用模式匹配，您可以匹配数据集中的特定模式以相应地清理或转换数据。

例如，假设您有一个数据集，其中某些条目可能包含 None 值、不正确的日期格式或意外的数据类型。模式匹配使您能够简洁地处理每种情况：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

登录后复制

在此示例中，模式匹配简化了在单个函数中处理不同数据情况的过程，减少了多次 if-elif 检查的需要。

示例 2：数据分类

模式匹配的另一个有用的应用是数据分类。假设您有一个数据集，其中每条记录都有一组属性，可以帮助将数据分类，例如产品类型、风险级别或客户群。模式匹配允许您轻松地根据属性模式对记录进行分类。

例如，如果您想根据客户的消费模式对客户数据进行分类，您可以使用模式匹配来定义这些类别：

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

登录后复制

这种方法可以让您快速应用基于规则的分类，使您的代码更加模块化和可读。

示例 3：将 JSON 映射到 DataFrame

JSON 数据通常是嵌套的和分层的，直接使用可能具有挑战性。模式匹配使遍历和重塑 JSON 结构变得容易，允许将数据直接映射到 pandas DataFrames。考虑以下示例：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

登录后复制

该函数根据特定模式处理 JSON 条目，然后将其转换为结构化 DataFrame。模式匹配可确保仅提取相关数据，从而节省手动转换的时间。

在这些示例中，模式匹配简化了数据清理、分类和转换任务，使其成为任何数据分析师或工程师的宝贵工具。在下一节中，我们将探讨推导式以及它们如何进一步简化数据操作任务。

使用列表、集合和字典推导式

推导式是 Python 最强大的功能之一，它允许简洁、可读的表达式来简化数据处理任务。列表、集合和字典理解使分析师能够快速过滤、转换和聚合数据，所有这些都在一行代码中完成。在处理大型数据集或重复转换时，推导式可以显着减少您编写的代码量，使其更易于阅读和维护。

数据分析中推导式的用例

以下是推导式的一些常见应用，可以极大地增强您的数据操作工作流程。

数据过滤

数据过滤是分析中的一项常见任务，尤其是在删除异常值或隔离满足特定条件的记录时。列表推导式提供了一种有效过滤数据的简单方法。假设您有一个交易金额列表并希望隔离超过 500 美元的交易：

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

登录后复制

这个单行代码只需一步即可实现传统循环需要几行代码的效果。推导式可以轻松快速过滤数据，而不会增加太多复杂性。

数据转换

转换数据，例如更改格式或将函数应用于每个元素，是另一个常见需求。假设您有一份美元价格清单，并希望以 1 美元 = 0.85 欧元的汇率将其转换为欧元。列表推导式让您可以轻松应用转换：

import pandas as pd

def json_to_dataframe(json_data):
    rows = []
    for entry in json_data:
        match entry:
            case {"id": id, "attributes": {"name": name, "value": value}}:
                rows.append({"ID": id, "Name": name, "Value": value})
            case {"id": id, "name": name}:
                rows.append({"ID": id, "Name": name, "Value": None})
            case _:
                pass  # Ignore entries that don't match any pattern
    return pd.DataFrame(rows)

登录后复制

这种方法不仅简洁而且高效，非常适合整个数据集的快速转换。

字典聚合

推导式对于将数据聚合到字典中也非常有效，这有助于对数据进行分类或创建快速摘要。例如，假设您有一个包含产品名称及其销售额的元组列表。您可以使用字典理解将它们聚合成字典格式：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

登录后复制

此推导式按产品汇总销售额，提供每种产品的总销售额摘要，无需多个循环或中间数据结构。

设置唯一值的推导式

如果您需要从数据集中提取唯一值，集合推导式可以提供快速而干净的解决方案。假设您有一个包含重复条目的数据集，并且想要一个唯一客户 ID 的列表：

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

登录后复制

此集合理解会自动删除重复项，确保每个 ID 在输出中仅出现一次。

复杂转换的嵌套推导式

在某些情况下，数据集可能包含需要多级转换的嵌套结构。嵌套推导式使您能够展平这些结构或在每个级别应用转换。例如，如果您有一个代表调查响应的列表列表并且想要标准化数据，您可以使用嵌套理解：

import pandas as pd

def json_to_dataframe(json_data):
    rows = []
    for entry in json_data:
        match entry:
            case {"id": id, "attributes": {"name": name, "value": value}}:
                rows.append({"ID": id, "Name": name, "Value": value})
            case {"id": id, "name": name}:
                rows.append({"ID": id, "Name": name, "Value": None})
            case _:
                pass  # Ignore entries that don't match any pattern
    return pd.DataFrame(rows)

登录后复制

此示例对嵌套列表中的每个单独分数应用转换，从而实现所有响应的一致标准化。

推导式是任何数据分析师工具包中的强大工具，提供了一种快速的方法来处理重复的数据转换、过滤数据和创建汇总统计数据。在下一节中，我们将探索如何将模式匹配和理解结合起来，以实现更有效的数据操作工作流程。

结合模式匹配和理解的高级示例

一起使用时，模式匹配和推导式可实现更强大的数据操作工作流程，使您能够处理复杂的转换、分析嵌套数据结构，并以简洁、可读的方式应用条件逻辑。在本节中，我们将探讨一些高级示例，展示这两个功能之间的协同作用。

复杂的数据转换

假设您有一个包含不同类型记录的数据集，并且您希望根据每种记录类型执行不同的转换。通过结合模式匹配和推导式，您可以一步有效地对每个条目进行分类和转换。

例如，想象一个混合记录的数据集，其中每个条目可以是数字、数字列表或具有数值的字典。结合使用模式匹配和理解，您可以在一行中处理此数据集：

transactions = [100, 250, 600, 1200, 300]
high_value_transactions = [t for t in transactions if t > 500]
# Output: [600, 1200]

登录后复制

在此示例中，使用条件表达式和推导式以不同方式处理每种类型的条目，使您能够干净地转换混合数据类型。

嵌套数据操作

在处理 JSON 文件等深层嵌套数据结构时，结合模式匹配和嵌套理解可以简化数据提取和转换。想象一个数据集，其中每个条目都是一个嵌套字典，其中包含有关用户的信息，包括他们的爱好。你想要提取并扁平化这些爱好进行分析。

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

登录后复制

在此示例中，我们使用嵌套推导式直接访问每个用户的爱好，将它们提取并展平到单个列表中。将推导式与结构化数据提取相结合可以节省时间并简化代码的可读性。

使用最少的代码应用条件转换

有时，您可能希望根据数据模式有条件地应用转换。假设您有一个交易数据集，其中每笔交易都有金额和类型。使用带有推导式的模式匹配，您可以根据交易类型轻松应用不同的转换。

def categorize_customer(spending):
    match spending:
        case {"amount": amount} if amount > 1000:
            return "High spender"
        case {"amount": amount} if 500 < amount <= 1000:
            return "Medium spender"
        case {"amount": amount} if amount <= 500:
            return "Low spender"
        case _:
            return "Unknown category"

登录后复制

在此示例中，贷方增加 5%，而借方减少 5%。通过将模式匹配逻辑与推导式相结合，您可以在一个步骤中应用这些条件转换，从而创建一个干净、可读的转换管道。

基于模式匹配的汇总统计

在某些情况下，您可能需要根据数据中的模式计算统计数据。假设您有一个事件日志，每个事件都有不同的状态，并且您想要计算每种状态类型的计数。使用模式匹配和字典理解，您可以有效地创建每种事件类型的摘要。

import pandas as pd

def json_to_dataframe(json_data):
    rows = []
    for entry in json_data:
        match entry:
            case {"id": id, "attributes": {"name": name, "value": value}}:
                rows.append({"ID": id, "Name": name, "Value": value})
            case {"id": id, "name": name}:
                rows.append({"ID": id, "Name": name, "Value": None})
            case _:
                pass  # Ignore entries that don't match any pattern
    return pd.DataFrame(rows)

登录后复制

在此示例中，我们使用集合理解从事件日志中收集唯一状态。然后，通过字典理解，我们通过匹配数据集中的模式来计算每种状态类型的出现次数。这种方法很简洁，并且利用推导式和基于模式的逻辑来有效地生成摘要。

性能考虑因素

虽然模式匹配和理解为数据处理任务带来了效率和可读性，但必须考虑它们的性能影响，尤其是在处理大型数据集时。了解何时以及如何使用这些功能可以帮助您编写在可读性与速度之间取得平衡的最佳代码。

理解的效率

列表、集合和字典理解通常比传统循环更快，因为它们在 Python 解释器级别进行了优化。但是，在处理非常大的数据集时，您可能会遇到内存限制，因为推导式会在内存中创建整个数据结构。在这种情况下，生成器表达式（使用括号而不是方括号）可以是一种节省内存的替代方案，特别是在迭代大数据而不需要一次存储所有元素时。

带有生成器表达式的示例：

def clean_entry(entry):
    match entry:
        case None:
            return "Missing"
        case str(date) if date.isdigit():
            return f"2023-{date[:2]}-{date[2:]}"  # Convert YYMMDD to YYYY-MM-DD
        case int(value):
            return float(value)  # Convert integers to floats
        case _:
            return entry  # Keep other cases as-is

登录后复制

此处使用生成器可以让您即时处理每个元素，而无需在内存中创建大型列表，这使其非常适合海量数据集。

大型数据集中的模式匹配

模式匹配对于条件分支和处理不同的数据结构非常有效，但对于复杂的嵌套数据或高度条件模式，性能可能会受到影响。在这些情况下，请尝试：

简化模式：使用最小和特定的模式进行匹配，而不是广泛的情况，因为更少的分支可以提高匹配速度。
避免深度嵌套：深度嵌套的模式会增加匹配的复杂性。处理深度结构化数据时，如果可能，请考虑将其预处理为更扁平的结构。
批处理：如果您需要在大型数据集中匹配模式，请考虑批量处理数据。这种方式可以防止内存使用过多，提高缓存效率。

在处理不同的数据结构或多个条件情况时，模式匹配是一个很有价值的工具。但是，对于更简单的条件逻辑，传统的 if-elif 语句可能会提供更好的性能。通过保持模式简单并在必要时使用批处理，即使在大型数据集中，您也可以有效地利用模式匹配。

在模式匹配和传统方法之间进行选择

模式匹配很强大，但它并不总是最有效的选择。在简单的条件（if-elif 语句）就足够的情况下，传统方法由于开销较小，可能会更快。当您需要处理多种情况或使用嵌套结构时，请使用模式匹配，但为简单的条件保留更简单的结构以保持速度。

组合功能以获得最佳性能

结合推导式和模式匹配时，请记住：

限制数据结构大小：如果没有必要，请避免使用推导式创建大型中间数据结构。
利用生成器进行流数据：通过模式匹配处理大型数据集时，请在推导式中或直接在模式匹配逻辑中使用生成器，以实现内存高效处理。

概括

模式匹配和理解是编写清晰高效代码的强大功能，但在性能关键型应用程序中需要谨慎使用。通过了解如何有效地使用这些功能，数据分析师和工程师可以最大限度地发挥其效用，同时保持代码性能最佳。

结论

Python 的模式匹配和理解功能提供了一种处理复杂数据转换、条件逻辑和数据过滤的有效方法。通过利用这些工具，数据分析师和工程师可以编写更清晰、更简洁的代码，这些代码不仅更易于阅读，而且在许多情况下执行速度更快。模式匹配简化了处理不同的数据结构和嵌套格式，使其成为处理 JSON 文件、字典和混合类型记录的理想选择。同时，推导式简化了过滤、转换和聚合任务，所有这些都在单行表达式内。

当一起使用时，这些功能可实现强大的数据操作工作流程，使您能够有效地处理具有复杂结构或条件需求的大型数据集。然而，与任何工具一样，必须考虑性能和内存影响，尤其是在处理非常大的数据集时。通过结合生成器表达式和批处理等策略，您可以进行模式匹配和比较