Isu reka bentuk eksperimen yang kompleks dalam pasaran dua belah Kuaishou

1. Latar belakang masalah

1. Pasaran dua belah, iaitu platform, merangkumi kedua-dua pengeluar dan pengguna, dan kedua-dua pihak mempromosikan satu sama lain. Sebagai contoh, Kuaishou mempunyai pengeluar video dan pengguna video, dan kedua-dua identiti mungkin bertindih pada tahap tertentu.

Percubaan dua hala ialah kaedah percubaan yang menggabungkan kumpulan di pihak pengeluar dan pengguna.

Eksperimen dua hala mempunyai kelebihan berikut:

(1) Kesan strategi baharu terhadap dua aspek boleh dikesan pada masa yang sama, seperti DAU produk dan karya yang dimuat naik Bilangan orang berubah. Platform dua hala selalunya mempunyai kesan rangkaian rentas sisi Semakin ramai pembaca, semakin aktif pengarang, dan semakin aktif pengarang, semakin ramai pembaca akan mengikuti.

(2) Boleh mengesan limpahan dan pemindahan kesan.

(3) Bantu kami lebih memahami mekanisme tindakan Percubaan AB itu sendiri tidak boleh memberitahu kami hubungan antara punca dan akibatnya, tetapi hanya boleh memberitahu kami apa yang telah dilakukan Apakah kesan yang akan diperolehi dan bagaimana data berubah. Walau bagaimanapun, mekanisme tindakan antara penghujung pengeluaran dan penghujung pengguna memerlukan reka bentuk percubaan yang lebih kompleks dan penunjuk eksperimen yang lebih untuk memahami dengan jelas isu ini.

2 Contoh eksperimen dua hala

Di sini

menggunakan contoh kecantikan siaran langsung untuk membantu semua orang memahami lagi percubaan dua hala. Andaikan kesan kecantikan ditambahkan pada adegan siaran langsung. Melihat ke sisi dari meja, dua baris kumpulan penonton eksperimen mengawal sama ada penonton dapat melihat perbezaan sebelum dan selepas rawatan kecantikan secara langsung. Lajur dalam jadual menunjukkan kesan sebenar sama ada sauh mempunyai pengindahan atau tidak. Menggabungkan dua aspek di atas, fungsi pengindahan akan didayakan untuk video jika dan hanya apabila sauh kumpulan eksperimen membandingkan dengan penonton kumpulan eksperimen. Malah, tiga kumpulan lain tidak dapat melihat fungsi kecantikan. Tetapi ada perbezaan antara BC tidak melihat kecantikan dan D tidak melihat kecantikan. Perbezaan AD ialah senario biasa dalam eksperimen AB konvensional. Adegan ini menggunakan reka bentuk dua hala untuk melihat sama ada terdapat limpahan pada bahagian penonton.

Tiada fungsi pengindahan untuk kecantikan anchor Jika tiada limpahan penonton, data BD harus konsisten, tetapi sebenarnya, jika terdapat perbezaan dalam data BD, jika Anchor tidak mempunyai fungsi kecantikan Jika penonton melihat fungsi kecantikan pada anchor lain, kesan sebenar akan memberi kesan positif atau negatif. Dengan cara yang sama, limpahan pada bahagian sauh juga boleh dilakukan melalui eksperimen dua hala seperti ini untuk lebih memahami mekanisme eksperimen dan sama ada terdapat limpahan pada kedua-dua belah eksperimen.

2 Cabaran strategi insentif

Dalam ekosistem sisi bekalan-pihak pengguna, tempoh perniagaan memerlukan sokongan trafik dasar Ini ialah strategi insentif, yang terutamanya merangkumi tiga senario berikut:

(1) Operasi memperkenalkan pengarang berkualiti tinggi, tetapi prestasi data pengarang pada platform tidak pasti beberapa sokongan trafik kawalan makro akan diberikan kepada pengedaran trafik yang lebih kukuh; 🎜>

(3) Dalam senario platform akan, pembangunan ke arah tertentu dianggap Tukar kaedah pengedaran trafik untuk mengukuhkan bekalan kandungan tertentu yang sepadan.

Dalam senario di atas, ia selalunya bukan kaedah pembelajaran dalam talian, tetapi kawalan makro trafik platform daripada perspektif manusia. Bagi mereka yang memberi tumpuan kepada jangka masa yang agak panjang, adalah perlu untuk memerhatikan kesan pembelajaran (menggalakkan pengeluaran, dsb.), dan kaedah seperti putaran kepingan masa tidak dicuba. Contohnya, senario berikut: berikan sokongan trafik kepada pengarang dengan jenis trafik berarah untuk mengkaji sama ada interaksi dan pengeluaran trafik sedemikian boleh bertahan lama dalam senario jangka panjang.

Yang pertama adalah bersesak-sesak di pihak pengarang: kebanyakan eksperimen sedemikian, jumlah pendedahan platform Bilangan adalah terhad dan di bawah sokongan platform, pendedahan pengarang dalam kumpulan eksperimen meningkat, manakala pendedahan kumpulan kawalan yang tidak disokong berkurangan. Sekiranya pendedahan permulaan sejuk penulis meningkat lebih daripada pendedahan permulaan sejuk pembaca, ia membuktikan bahawa terdapat kesesakan.

Menurut rajah di atas, berdasarkan hubungan antara kumpulan eksperimen dan kumpulan kawalan dan perbezaan garis dasar relatif pendedahan setiap kumpulan, ia boleh dilihat bahawa apabila percubaan bermula, rangsangan pengarang akhirnya akan lulus Sistem pengesyoran bukan sahaja menyerahkannya kepada kumpulan pengguna B tetapi juga kepada kumpulan pengguna A, dan perbezaan pendedahan pengarang B, pengguna B, pengarang B dan pengguna A pada asasnya konsisten . Percubaan tradisional telah ditumpukan untuk membetulkan keadaan lalu lintas yang diherotkan oleh strategi ini.

SUTVA menganggap individu i hanya ditugaskan kepada kumpulan eksperimen dengan dirinya sendiri semasa eksperimen Atau ia berkaitan dengan kumpulan kawalan dan tiada kaitan dengan kumpulan mana nod lain berada di bawah sistem percubaan, tidak kira sama ada nod lain berada dalam hubungan kerjasama atau persaingan. SUTVA ialah andaian paling asas untuk mendapatkan kesimpulan yang berkesan dalam eksperimen AB.

Rangkaian dua hala sebenar melanggar andaian SUTVA.

Dalam senario video pendek, jika setiap strategi rakaman dianggap sebagai algoritma Isih. Strategi insentif yang berbeza mewakili keputusan kedudukan video pendek yang berbeza. RC dalam rajah di atas mewakili kumpulan kawalan, RT_25% ialah gabungan pengisihan algoritma apabila trafik kumpulan eksperimen ialah 25% dan RT mewakili tolakan percubaan kumpulan percubaan bagi gabungan pengisihan algoritma 100%. BCDE ialah jenis pengguna sasaran percubaan, iaitu, pengarang insentif yang dipilih berfungsi. Dan D bermakna apabila inferens eksperimen ialah 25%, ia jatuh tepat dalam kumpulan eksperimen. Katakan bahawa melalui kaedah pemberat cadangan, D diletakkan terus ke kedudukan hadapan. Jika strategi meningkat kepada 100%, BCDE akan ditimbang Dalam kes ini, kedudukan kerja D akan menurun. Senario ini adalah kesesakan kumpulan eksperimen dan sebab kesesakan.

3 Penyelesaian pilihan

1: Pengembangan beransur-ansur

Jurang pengisihan kumpulan eksperimen akan menghampiri secara beransur-ansur apabila perkadaran data kumpulan eksperimen berkembang dan kesan kesesakan akan berkurangan apabila trafik kawalan kumpulan berkurangan.

[Kelebihan penggerak pertama] Semasa percubaan, didapati bahawa dalam senario sokongan trafik, dengan keamatan sokongan yang sama, menyokong pengarang dahulu akan sentiasa mengekalkan kelebihan trafik. Logik sokongan awal dan proses penggalian dipercepatkan adalah konsisten.

​Butiran eksperimen pengembangan berperingkat: Rajah di atas menunjukkan pengembangan berperingkat, dan ordinat ialah perbezaan dalam data pertumbuhan serbuk bagi kumpulan asas relatif. Pada permulaan eksperimen, 20% daripada kumpulan eksperimen hanya menyokong kumpulan eksperimen 1, dan penunjuk data kumpulan eksperimen 1 mula meningkat apabila eksperimen meningkat kepada 60%, kumpulan eksperimen 123 mula menyokong, dan penunjuk eksperimen daripada dua kumpulan yang lain juga mula meningkat, tetapi masih tidak ada Melebihi kumpulan eksperimen 1 kemudian menukar kumpulan eksperimen kepada 124, dan mendapati bahawa 4 juga mula bertambah baik, tetapi 4 masih tidak dapat mengatasi kumpulan eksperimen 3.

Daripada ini kita boleh membuat kesimpulan berikut: Pengembangan secara beransur-ansur berguna Penunjuk akan meningkat mengikut pengembangan. Adalah mustahil untuk mengesahkan sama ada peningkatan akan menjadi lebih kecil apabila trafik berkembang. Keputusan percubaan semasa boleh disimpulkan bahawa prestasi data kumpulan eksperimen yang menerima sokongan trafik terlebih dahulu akan lebih baik daripada kumpulan eksperimen yang menerima sokongan trafik kemudian. ​

2 Pilihan 2: Bahagikan dunia kecil

Seperti yang ditunjukkan dalam rajah di atas, kumpulan eksperimen dan kumpulan kawalan diasingkan sepenuhnya Pembaca dalam kumpulan eksperimen hanya boleh melihat karya kumpulan eksperimen, dan pembaca dalam kumpulan kawalan sahaja lihat kerja kumpulan kawalan. Ini mengelakkan berlakunya perpecahan antara pengarang dan pembaca.

Pendekatan yang sama adalah untuk menganggap taburan trafik antara pengarang dan pembaca sebagai gambar rajah rangkaian ini tidak disambungkan ke mana-mana sahaja, dan sesetengah pembaca hanya suka membaca beberapa bahagian Berdasarkan kerja seperti ini, kumpulan eksperimen dan kumpulan kawalan boleh dibahagikan berdasarkan gambarajah rangkaian tersebut. Pendekatan di atas adalah konsisten dengan kaedah membahagikan dunia kecil dan mempunyai hasil praktikal yang lebih baik, tetapi pada masa yang sama ia juga mempunyai kos pengiraan yang lebih besar.

Masalah utama dalam membahagikan dunia kecil ialah:

(1) Sistem pengesyoran algoritma memerlukan tertentu Permulaan sejuk hanya boleh dibuat jika saiz sistem adalah mengikut urutan magnitud Apabila kolam sharding mestilah kecil, ia akan menjejaskan ruang pengedaran yang diperibadikan. Perniagaan yang berbeza dan platform yang berbeza mempunyai keperluan yang berbeza untuk kebutiran terbaik struktur pembahagian pada premis mengekalkan kesan keanjalan pengesyoran. Dalam kebanyakan kes, kesan marginal yang berkurangan adalah disyorkan.

(2) Pengasingan trafik yang jelas akan mempunyai sekatan tertentu pada bilangan eksperimen dan kaedah pemeriksaan untuk sampel. Untuk senario percubaan selari, pengguna terpencil perlu sentiasa disusun semula dan dipisahkan semula.

Pembetulan daripada kaedah analisis dan bukannya reka bentuk eksperimen:

• Menurut Perform analisis pembetulan pada kesan rangkaian sebenar;
• Buat beberapa andaian linear dan andaian bersyarat lain berdasarkan keputusan percubaan.

Sebab untuk menggunakan pembetulan eksperimen:

Pertama sekali, andaian dalam kaedah pembetulan analisis sebenar sukar untuk disahkan , dan untuk perbezaan yang besar Dalam eksperimen, kesan limpahan dan kesesakan rangkaian adalah berbeza, jadi sukar untuk meringkaskan peraturan dalam masa yang singkat dan adalah mustahil untuk mendapatkan kaedah umum. Malah, penyelesaian kami berharap dapat menyelesaikan kelas masalah yang besar.

4 Bina rancangan yang komprehensif

Pembinaan penyelesaian berdasarkan gabungan kedudukan - pada asasnya kami berharap untuk memastikan bahawa kedudukan kumpulan eksperimen RT_a% dan kedudukan sebenar kumpulan eksperimen RT_100% dapat mengekalkan hasil yang konsisten.

Kaedah pelaksanaan: Pertama, gunakan dua set algoritma pengisihan RT/RC untuk mengisih pada masa yang sama, dan rekodkan susunan kerja yang sepadan; ke dalam kumpulan eksperimen dan kumpulan kawalan, Untuk kumpulan eksperimen, pembaca ditunjukkan susunan pengisihan dan gabungan kedua-dua algoritma.

Konfigurasikan RC sebagai penyelesaian pengisihan dalam talian yang pada masa ini tidak disokong oleh semua pengarang, dalam RT Tingkatkan hak semua pengarang pengetahuan. Selepas menggabungkan hasil pengisihan RC dan RT, letakkan dahulu pengarang (T1T2) yang sepadan dengan RT kumpulan eksperimen dalam kedudukan pengisihan sepadan kumpulan akhir, dan pastikan pengarang kumpulan kawalan dalam susunan yang tidak berkaitan dengan yang asal. eksperimen. Untuk bersikap konservatif, semasa tempoh trafik rendah, adalah disyorkan bahawa kecuali untuk kerja-kerja percubaan, kerja-kerja lain hendaklah diisi dalam susunan asal. Jika percubaan telah diekstrapolasi, keputusan RT akan digunakan sepenuhnya.

Bagaimana jika kumpulan eksperimen dan kumpulan kawalan bersaing untuk kedudukan yang sama?

Mengikut reka bentuk eksperimen di atas, jika kerja kumpulan eksperimen dan kerja kumpulan kawalan bersaing untuk kedudukan yang sama, cara paling mudah ialah memilih secara rawak. Kebarangkalian ini berlaku adalah sangat rendah.

Jika kedua-dua kumpulan eksperimen dan kumpulan kawalan mempunyai % daripada jumlah trafik, dengan andaian a=2,

Dengan mengandaikan bahawa 10 karya dipromosikan pada satu masa, kebarangkalian bahawa 10 karya teratas kedua-dua kumpulan eksperimen dan kumpulan kawalan akan muncul dikira seperti yang ditunjukkan di atas, iaitu kira-kira 3.3%. Jika kedua-dua algoritma adalah bebas sepenuhnya, kebarangkalian konflik dalam 10 kedudukan teratas yang sama adalah lebih rendah.

​Lazimnya peningkatan adalah agak beransur-ansur, dengan RC dan RT sangat berkorelasi dan kurang bercanggah. Pada masa yang sama, kebarangkalian konflik juga boleh dianggarkan lebih awal melalui ujian luar talian.

Penilaian penunjuk utama bagi eksperimen dua hala di atas boleh dibahagikan kepada tiga kategori berikut: ​

• Penunjuk sisi pengarang: bilangan karya, bilangan daripada pengarang produksi, terus daripada pengarang Semakan sisi;
• Penunjuk paparan laporan: CTR, EVTR, peningkatan pendedahan kerja pengarang = peningkatan dalam paparan pembaca; >
• Penunjuk sebelah pembaca: Pengesahan percubaan unilateral sebelah pembaca.

Penyelesaian mungkin mempunyai beberapa masalah lain:

Pertama sekali, mana-mana rancangan akan menghadapi masalah. Kesan limpahan kuat pasaran dua belah menyukarkan untuk menyelesaikan semua masalah dengan satu penyelesaian.

Isu utama dalam reka bentuk eksperimen semasa termasuk aspek berikut:

(1 ) Pertama sekali, terdapat kos tertentu dari bahagian kejuruteraan untuk mengekalkan dua set pengisihan Jika insentif dasar disediakan, ia akan lebih baik dari sudut pandangan algoritma, tidak mudah untuk mengekalkan dua set itu gabungan;

(2) Kedua, dari perspektif pengasingan data algoritma, sebahagian daripada penambahbaikan datang daripada data itu sendiri sendiri, dan akibatnya, logik algoritma pengisihan tidak lagi berlaku.

(3) Ketiga, pengiraan mengandaikan a=2%. Pilih percampuran berkadar secara rawak untuk mengurangkan kemungkinan konflik lalu lintas yang lebih besar. Akhir sekali, isu dua hala akan diselesaikan secara unilateral sama ada ia boleh diselesaikan secara dua hala akan diterokai pada masa hadapan.

Atas ialah kandungan terperinci Isu reka bentuk eksperimen yang kompleks dalam pasaran dua belah Kuaishou. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!