我开发了tea-tasting，一个用于 A/B 测试统计分析的 Python 包，具有：
在这篇博文中，我探讨了在实验分析中使用品茶的每一个优点。
如果您渴望尝试，请查看文档。
品茶包括统计方法和技术，涵盖了您在实验分析中可能需要的大部分内容。
使用学生 t 检验和 Z 检验分析指标平均值和比例。或者使用 Bootstrap 来分析您选择的任何其他统计数据。并且有一种使用 Bootstrap 分析分位数的预定义方法。 品茶 还可以检测 A/B 测试不同变体的样本比例不匹配。
品茶采用Delta方法来分析平均值的比率。例如，假设会话不是随机化单位，则每平均会话数的平均订单数。
使用实验前数据、指标预测或其他协变量来减少方差并提高实验的灵敏度。这种方法也称为 CUPED 或 CUPAC。
学生 t 检验和 Z 检验中百分比变化的置信区间的计算可能很棘手。只需取绝对变化的置信区间并将其除以控制平均值就会产生有偏差的结果。 品茶采用delta方法计算正确的间隔。
分析学生 t 检验和 Z 检验的统计功效。有以下三种可能的选择：
请参阅详细的用户指南了解更多信息。
路线图包括：
您可以使用您选择的统计测试来定义自定义指标。
有许多不同的数据库和引擎用于存储和处理实验数据。而且在大多数情况下，将详细的实验数据拉入 Python 环境的效率并不高。许多统计检验，例如学生 t 检验或 Z 检验，仅需要汇总数据进行分析。
例如，如果原始实验数据存储在 ClickHouse 中，则直接在 ClickHouse 中计算计数、平均值、方差和协方差比在 Python 环境中获取粒度数据并执行聚合更快、更高效。
手动查询所有必需的统计信息可能是一项艰巨且容易出错的任务。例如，使用 CUPED 分析比率指标和方差减少不仅需要行数和方差，还需要协方差。不过别担心——品茶这一切对你有用。
tea-tasting 接受 Pandas DataFrame 或 Ibis Table 形式的数据。 Ibis 是一个 Python 包，用作各种数据后端的 DataFrame API。它支持 20 多个后端，包括 BigQuery、ClickHouse、PostgreSQL/GreenPlum、Snowflake 和 Spark。您可以编写 SQL 查询，将其包装为 Ibis 表，然后将其传递给品茶。
请记住，品茶假设：
一些统计方法，例如 Bootstrap，需要精细的数据进行分析。在这种情况下，品茶也会获取详细数据。
在数据后端指南中了解更多信息。
您可以仅使用 NumPy、SciPy 和 Ibis 执行上面列出的所有任务。事实上，品茶在幕后使用了这些包。 品茶提供的最重要的是一个方便的高级API。
展示比描述更容易。这是基本示例：
import tea_tasting as tt
data = tt.make_users_data(seed=42)
experiment = tt.Experiment(
sessions_per_user=tt.Mean("sessions"),
orders_per_session=tt.RatioOfMeans("orders", "sessions"),
orders_per_user=tt.Mean("orders"),
revenue_per_user=tt.Mean("revenue"),
)
result = experiment.analyze(data)
print(result)
#> metric control treatment rel_effect_size rel_effect_size_ci pvalue
#> sessions_per_user 2.00 1.98 -0.66% [-3.7%, 2.5%] 0.674
#> orders_per_session 0.266 0.289 8.8% [-0.89%, 19%] 0.0762
#> orders_per_user 0.530 0.573 8.0% [-2.0%, 19%] 0.118
#> revenue_per_user 5.24 5.73 9.3% [-2.4%, 22%] 0.123
两阶段方法，具有单独的参数化和推理，在统计建模中很常见。这种分离有助于使代码更加模块化且更易于理解。
品茶执行的计算可能很棘手且容易出错：
它还提供了一个表示实验数据的框架以避免错误。按随机化单位对数据进行分组并包含数据集中的所有单位对于正确分析非常重要。
此外，品茶提供了一些方便的方法和功能，例如漂亮的结果格式和度量参数的上下文管理器。
最后但并非最不重要的一点：文档。我相信良好的文档对于工具的采用至关重要。这就是我编写多个用户指南和 API 参考的原因。
我建议从用户指南中的基本用法示例开始。然后您可以在同一指南中探索特定主题，例如方差减少或功效分析。
请参阅数据后端指南，了解如何在品茶中使用您选择的数据后端。
如果您想要执行品茶中未包含的统计测试，请参阅自定义指标指南。
使用 API 参考来探索 tea-tasting 中可用的函数、类和方法的所有参数和详细信息。
有多种统计方法可以应用于实验分析。但在大多数情况下实际使用的只有少数。
另一方面，还有一些特定于 A/B 测试分析的方法，这些方法未包含在 SciPy 等通用统计包中。
品茶功能包括最重要的统计测试，以及特定于A/B测试分析的方法。
品茶提供了方便的API，有助于减少分析时间并最大限度地减少错误概率。
此外，品茶通过在您选择的存储数据的数据后端中计算统计数据来优化计算效率。
通过详细的文档，您可以快速学习如何使用品茶来分析您的实验。
套餐名称“品茶”是一个双关语，涉及两个主题：
以上是tea-tasting：用于 A/B 测试统计分析的 Python 包的详细内容。更多信息请关注PHP中文网其他相关文章！
