rasa teh: pakej Python untuk analisis statistik ujian A/B

Pengenalan

Saya membangunkan rasa teh, pakej Python untuk analisis statistik ujian A/B yang menampilkan:

• Ujian-t pelajar, Bootstrap, pengurangan varians dengan CUPED, analisis kuasa dan kaedah serta pendekatan statistik lain di luar kotak.
• Sokongan untuk pelbagai jenis backend data, seperti BigQuery, ClickHouse, PostgreSQL/GreenPlum, Snowflake, Spark, Pandas dan 20+ backend lain yang disokong oleh Ibis.
• API Boleh Diperluas: tentukan metrik tersuai dan gunakan ujian statistik pilihan anda.
• API yang mudah untuk mengurangkan kerja manual dan rangka kerja untuk meminimumkan ralat.
• Dokumentasi terperinci.

Dalam catatan blog ini, saya meneroka setiap kelebihan menggunakan rasa teh dalam analisis eksperimen.

Jika anda tidak sabar-sabar untuk mencubanya, semak dokumentasi.

Kaedah statistik

rasa teh termasuk kaedah dan teknik statistik yang merangkumi kebanyakan perkara yang mungkin anda perlukan dalam analisis eksperimen.

Analisis purata metrik dan perkadaran dengan ujian-t Pelajar dan ujian-Z. Atau gunakan Bootstrap untuk menganalisis sebarang statistik lain pilihan anda. Dan terdapat kaedah yang telah ditetapkan untuk analisis kuantil menggunakan Bootstrap. rasa teh juga mengesan ketidakpadanan dalam nisbah sampel varian berbeza ujian A/B.

rasa teh menggunakan kaedah delta untuk analisis nisbah purata. Contohnya, purata bilangan pesanan bagi setiap purata bilangan sesi, dengan mengandaikan sesi itu bukan unit rawak.

Gunakan data pra-percubaan, ramalan metrik atau kovariat lain untuk mengurangkan varians dan meningkatkan sensitiviti percubaan. Pendekatan ini juga dikenali sebagai CUPED atau CUPAC.

Pengiraan selang keyakinan untuk peratusan perubahan dalam ujian-t dan Z-Pelajar boleh menjadi rumit. Hanya mengambil selang keyakinan untuk perubahan mutlak dan membahagikannya dengan purata kawalan akan menghasilkan hasil yang berat sebelah. rasa teh menggunakan kaedah delta untuk mengira selang masa yang betul.

Analisis kuasa statistik untuk ujian-t dan ujian-Z Pelajar. Terdapat tiga pilihan yang mungkin:

• Kira saiz kesan, diberi kuasa statistik dan jumlah bilangan pemerhatian.
• Kira jumlah bilangan pemerhatian, diberi kuasa statistik dan saiz kesan.
• Kira kuasa statistik, memandangkan saiz kesan dan jumlah bilangan pemerhatian.

Ketahui lebih lanjut dalam panduan pengguna terperinci.

Peta jalan termasuk:

• Pengujian pelbagai hipotesis:
  • Kadar ralat mengikut keluarga: Kaedah Holm–Bonferroni.
  • Kadar penemuan palsu: Prosedur Benjamini–Hochberg.
• Ujian A/A dan simulasi untuk menganalisis kuasa mana-mana ujian statistik.
• Lebih banyak ujian statistik:
  • Ujian asimptotik dan tepat untuk data kekerapan.
  • Ujian Mann–Whitney U.
• Ujian berjujukan: nilai p sentiasa sah dengan mSPRT.

Anda boleh menentukan metrik tersuai dengan ujian statistik pilihan anda.

Bahagian belakang data

Terdapat banyak pangkalan data dan enjin yang berbeza untuk menyimpan dan memproses data percubaan. Dan dalam kebanyakan kes, ia tidak cekap untuk menarik data percubaan terperinci ke dalam persekitaran Python. Banyak ujian statistik, seperti ujian-t Pelajar atau ujian-Z, hanya memerlukan data agregat untuk analisis.

Sebagai contoh, jika data percubaan mentah disimpan dalam ClickHouse, lebih pantas dan cekap untuk mengira kiraan, purata, varians dan kovarian secara langsung dalam ClickHouse daripada mengambil data berbutir dan melaksanakan pengagregatan dalam persekitaran Python.

Menyoal semua statistik yang diperlukan secara manual boleh menjadi tugas yang menakutkan dan mudah ralat. Contohnya, analisis metrik nisbah dan pengurangan varians dengan CUPED memerlukan bukan sahaja bilangan baris dan varians, tetapi juga kovarians. Tetapi jangan risau—rasa teh semua ini berfungsi untuk anda.

rasa teh menerima data sama ada sebagai Pandas DataFrame atau Ibis Table. Ibis ialah pakej Python yang berfungsi sebagai API DataFrame kepada pelbagai bahagian belakang data. Ia menyokong 20+ bahagian belakang termasuk BigQuery, ClickHouse, PostgreSQL/GreenPlum, Snowflake dan Spark. Anda boleh menulis pertanyaan SQL, membungkus ia sebagai Jadual Ibis dan menyerahkannya kepada perasaan teh.

Perlu diingat bahawa merasa teh menganggap bahawa:

• Data dikumpulkan mengikut unit rawak, seperti pengguna individu.
• Terdapat lajur yang menunjukkan varian ujian A/B (biasanya dilabelkan sebagai A, B, dsb.).
• Semua lajur yang diperlukan untuk pengiraan metrik (seperti bilangan pesanan, hasil, dll.) disertakan dalam jadual.

Sesetengah kaedah statistik, seperti Bootstrap, memerlukan data berbutir untuk analisis. Dalam kes ini, rasa teh mengambil data terperinci juga.

Ketahui lebih lanjut dalam panduan tentang hujung belakang data.

API yang mudah

Anda boleh melaksanakan semua tugasan yang disenaraikan di atas hanya menggunakan NumPy, SciPy dan Ibis. Malah, rasa teh menggunakan pakej ini di bawah tudung. Apa yang ditawarkan rasa teh di atas ialah API peringkat tinggi yang mudah.

Lebih mudah untuk ditunjukkan daripada diterangkan. Berikut ialah contoh asas:

import tea_tasting as tt


data = tt.make_users_data(seed=42)

experiment = tt.Experiment(
    sessions_per_user=tt.Mean("sessions"),
    orders_per_session=tt.RatioOfMeans("orders", "sessions"),
    orders_per_user=tt.Mean("orders"),
    revenue_per_user=tt.Mean("revenue"),
)

result = experiment.analyze(data)
print(result)
#>             metric control treatment rel_effect_size rel_effect_size_ci pvalue
#>  sessions_per_user    2.00      1.98          -0.66%      [-3.7%, 2.5%]  0.674
#> orders_per_session   0.266     0.289            8.8%      [-0.89%, 19%] 0.0762
#>    orders_per_user   0.530     0.573            8.0%       [-2.0%, 19%]  0.118
#>   revenue_per_user    5.24      5.73            9.3%       [-2.4%, 22%]  0.123

Pendekatan dua peringkat, dengan parametrisasi dan inferens yang berasingan, adalah perkara biasa dalam pemodelan statistik. Pemisahan ini membantu dalam menjadikan kod lebih modular dan lebih mudah difahami.

rasa teh melakukan pengiraan yang boleh rumit dan mudah ralat:

• Analisis metrik nisbah dengan kaedah delta.
• Pengurangan varians dengan CUPED/CUPAC (juga digabungkan dengan kaedah delta untuk metrik nisbah).
• Pengiraan selang keyakinan untuk kedua-dua perubahan mutlak dan peratusan.
• Analisis kuasa statistik.

Ia juga menyediakan rangka kerja untuk mewakili data percubaan untuk mengelakkan ralat. Mengumpulkan data mengikut unit rawak dan memasukkan semua unit dalam set data adalah penting untuk analisis yang betul.

Selain itu, rasa teh menyediakan beberapa kaedah dan fungsi yang mudah, seperti pemformatan hasil yang cantik dan pengurus konteks untuk parameter metrik.

Dokumentasi

Terakhir tetapi tidak kurang penting: dokumentasi. Saya percaya bahawa dokumentasi yang baik adalah penting untuk penggunaan alat. Itulah sebabnya saya menulis beberapa panduan pengguna dan rujukan API.

Saya mengesyorkan bermula dengan contoh penggunaan asas dalam panduan pengguna. Kemudian anda boleh meneroka topik tertentu, seperti pengurangan varians atau analisis kuasa, dalam panduan yang sama.

Lihat panduan tentang hujung belakang data untuk mengetahui cara menggunakan hujung belakang data pilihan anda dengan rasa teh.

Lihat panduan tentang metrik tersuai jika anda ingin melakukan ujian statistik yang tidak disertakan dalam perasaan teh.

Gunakan rujukan API untuk meneroka semua parameter dan maklumat terperinci tentang fungsi, kelas dan kaedah yang tersedia dalam perasaan teh.

Kesimpulan

Terdapat pelbagai kaedah statistik yang boleh digunakan dalam analisis sesuatu eksperimen. Tetapi hanya segelintir daripada mereka yang sebenarnya digunakan dalam kebanyakan kes.

Sebaliknya, terdapat kaedah khusus untuk analisis ujian A/B yang tidak termasuk dalam pakej statistik tujuan umum seperti SciPy.

Fungsi

rasa teh termasuk ujian statistik yang paling penting, serta kaedah khusus untuk analisis ujian A/B.

rasa teh menyediakan API mudah yang membantu mengurangkan masa yang diluangkan untuk analisis dan meminimumkan kebarangkalian ralat.

Selain itu, rasa teh mengoptimumkan kecekapan pengiraan dengan mengira statistik dalam bahagian belakang data pilihan anda, tempat data disimpan.

Dengan dokumentasi terperinci, anda boleh belajar dengan cepat cara menggunakan perasaan teh untuk analisis percubaan anda.

P.S. Nama pakej

Nama pakej "merasa teh" ialah permainan perkataan yang merujuk kepada dua subjek:

• Teh wanita merasai adalah eksperimen terkenal yang telah direka oleh Ronald Fisher. Dalam eksperimen ini, Fisher membangunkan rangka kerja ujian kepentingan hipotesis nol untuk menganalisis dakwaan seorang wanita bahawa dia boleh membezakan sama ada teh atau susu dimasukkan dahulu ke dalam cawan.
• "tea-tasting" secara fonetik menyerupai "t-testing" atau Student's t-test, ujian statistik yang dibangunkan oleh William Gosset.

Atas ialah kandungan terperinci rasa teh: pakej Python untuk analisis statistik ujian A/B. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!