Amalan pemodelan model berbilang senario yang mudah suai dan tidak diselia dalam pengesyoran diperibadikan Taobao

Artikel ini akan berkongsi pemikiran dan amalan tentang pemodelan berbilang senario yang boleh suai dan tidak diselia dalam senario pengesyoran diperibadikan Taobao. Karya ini telah diterbitkan dalam CIKM 2022 (tajuk kertas: Model Penyesuaian Senario dan Penyeliaan Sendiri untuk Pengesyoran Peribadi Berbilang Senario). Artikel ini akan memperkenalkan cara pemodelan berbilang senario menerangkan hubungan migrasi antara senario domain penuh dan senario tunggal secara terperinci untuk mencapai penyesuaian domain dan cara memperkenalkan data tanpa seliaan ke dalam pemodelan berbilang senario. Ia juga akan memperkenalkan peranan pemodelan pelbagai senario dalam pengesyoran dan amalan pelaksanaan berperingkat.

1. Pengenalan latar belakang dan motivasi penyelesaian

Perkenalkan latar belakang perniagaan pemodelan pelbagai senario , Memodelkan motivasi dan pemilihan penyelesaian. Artikel ini akan memberi tumpuan kepada masalah pemodelan berbilang senario sistem pengesyoran, yang juga merupakan masalah biasa dalam pelbagai sistem pengesyoran dan perlu diselesaikan dengan segera. Secara khusus, ia akan diperkenalkan sekitar 5 soalan.

1 Soalan 1: Apakah itu berbilang adegan

Boleh dijelaskan dari perspektif perniagaan dan perspektif model. Dari perspektif perniagaan, "senario" boleh difahami secara ringkas sebagai portal pengesyoran yang berbeza atau halaman pengehosan pengehosan pada platform pengesyoran. Sebagai contoh, dalam bidang pengiklanan, iklan yang sama boleh diletakkan pada terminal media yang berbeza, dan pada masa yang sama, ia boleh sepadan dengan borang penghantaran yang berbeza, seperti iklan aliran maklumat atau iklan skrin terbuka. Dalam bidang e-dagang, terdapat juga halaman pengesyoran yang sangat kaya Mengambil Taobao sebagai contoh, terdapat antara muka pengesyoran produk kegemaran anda pada halaman utama, senario pengesyoran dalam troli beli-belah dan pengesyoran yang berkaitan pada. halaman butiran produk. Dalam bidang pengesyoran kandungan, seperti perniagaan sebenar kami - membeli-belah di Taobao, halaman pengesyoran termasuk adegan paparan satu lompatan, dua lajur, serta aliran pengesyoran yang tidak berkesudahan yang mengasyikkan yang meluncur ke atas dan ke bawah selepas mengklik untuk masuk lompatan kedua. Dalam contoh ini, setiap halaman yang dihoskan boleh digunakan sebagai adegan, dan platform pengesyoran yang sama juga akan mempunyai berbilang adegan pengesyoran, menunjukkan ciri berbilang babak.

Dari perspektif pemodelan model, masalah berbilang senario boleh ditakrifkan secara ringkas sebagai berbilang set data yang berkongsi ruang ciri dan ruang label yang sama, tetapi mempunyai pengedaran data yang berbeza. Data yang direkodkan dalam setiap senario pengesyoran boleh membentuk set data yang sepadan Walaupun setiap set data datang daripada sumber yang berbeza, sistem ciri dan ruang labelnya adalah konsisten.

2. Soalan 2: Ciri berbilang senario

​Pertama ialah trafik bertindih Dari perspektif pengguna, untuk pengguna yang sama, dia mengesyorkan Senario yang berbeza boleh diakses dalam produk atau sistem pengesyoran, dan penyemakan imbas, klikan dan gelagat interaktif lain yang sepadan akan ditinggalkan dalam berbilang senario.

Perkara kedua ialah bekalan bertindih Sama ada pengiklanan, produk atau kandungan, ia boleh diletakkan dalam adegan yang berbeza dan dipaparkan dalam adegan yang berbeza.

Titik ketiga ialah perbezaan taburan antara adegan Dari segi corak tingkah laku, pengguna yang sama melawati beberapa adegan yang berbeza, dan tingkah laku pengguna dalam adegan itu mungkin berbeza, dari perspektif bekalan, untuk iklan, produk atau kandungan yang sama, pendedahan dan prestasi interaksi yang dipaparkan olehnya dalam senario yang berbeza juga berbeza. Oleh itu, terdapat perbezaan antara senario yang berbeza dari segi pengagihan data. Oleh itu, masalah pengesyoran berbilang senario yang kami hadapi kini merangkumi pencirian kesamaan dan ciri senario: pengguna mungkin mempunyai minat yang mampan, tetapi ekspresi mereka dalam senario berbeza mungkin berbeza.

Perkara keempat ialah ruang ciri dan sasaran antara adegan adalah konsisten. Pemandangan yang berbeza mencerminkan lebih banyak perbezaan dalam pengedaran data, tetapi sistem ciri sebenarnya agak konsisten. Selain itu, ruang label antara adegan adalah sama, yang bermaksud bahawa tugas pemodelan antara berbilang adegan sebenarnya adalah sama. Contohnya, memodelkan tugasan klik pada adegan produk, atau menyelesaikan model atau tugasan lama dimainkan pada adegan kandungan. ​

3 Soalan 3: Matlamat pemodelan berbilang senario

​Berdasarkan latar belakang perniagaan tertentu, kami berharap dapat memberi tumpuan kepada perkara berikut melalui pemodelan. masalah pelbagai senario Dua matlamat.

Yang pertama ialah matlamat prestasi, memfokuskan pada mengoptimumkan masalah kekurangan data. Senario pengesyoran tunggal biasanya menghadapi masalah data tingkah laku pengguna yang jarang, dan fenomena ini amat ketara dalam beberapa senario kecil atau senario baharu. Salah satu matlamat penting masalah berbilang senario adalah untuk mengurangkan masalah kekurangan data dan menambah baik penunjuk perniagaan semua senario melalui perkongsian maklumat antara pelbagai senario.

Yang kedua ialah matlamat dari segi lelaran dan kos operasi dan penyelenggaraan Kaedah pengoptimuman tradisional adalah untuk memperuntukkan kakitangan yang berdedikasi untuk mengekalkan dan mengoptimumkan model bebas bagi setiap senario, , ia mungkin perlu untuk mengulangi keseluruhan proses capaian dan proses latihan model. Ini bermakna semua peruntukan kakitangan, kerja penggunaan model dan kos penyelenggaraan adalah berkaitan secara positif dengan bilangan senario, yang akan membawa kepada kos penyelenggaraan keseluruhan dan kos lelaran yang agak tinggi.

Memandangkan kos sebenar, kami berharap dapat membina rangka kerja algoritma bersatu yang boleh melayani pelbagai senario pada masa yang sama dan menyokong akses pantas senario baharu. Inilah yang kami mahu capai melalui pemodelan berbilang senario. matlamat lain.

Perlu ditegaskan juga bahawa masalah berbilang senario adalah berbeza daripada masalah berbilang objektif dan merentas domain yang diketahui sekarang. Fokus masalah berbilang senario adalah untuk berkongsi sistem ciri yang sama, mempunyai berbilang sumber data yang berbeza dan mempunyai matlamat yang sama. Berbilang objektif bermaksud mempunyai berbilang objektif pengoptimuman berbeza untuk sumber data yang sama. Masalah merentas domain biasanya dibahagikan kepada domain sumber dan domain sasaran Secara umumnya diandaikan bahawa volum data dan kesan domain sumber adalah lebih tinggi, dan kemudian domain sumber digunakan untuk membantu dalam meningkatkan kesan domain sasaran. . Dalam masalah berbilang adegan, tiada hubungan antara kelebihan dan kekurangan setiap adegan Matlamat pemodelan adalah untuk menambah baik kesan semua adegan. ​

4 Soalan 4: Penyelesaian yang berkaitan dengan masalah pelbagai senario

Pada peringkat awal aplikasi praktikal, untuk pelbagai jenis ini -masalah senario Pemodelan Kami telah membuat klasifikasi mudah bagi penyelesaian sedia ada dalam industri, dan ia dibahagikan secara kasar kepada empat jenis berikut.

​Yang pertama adalah yang paling intuitif, dan ia juga merupakan penyelesaian yang digunakan pada masa ini dalam banyak amalan perniagaan, yang ialah, untuk setiap Setiap senario adalah senario yang berasingan, dan data setiap senario digunakan untuk melatih model yang berasingan, kemudian semasa penggunaan dan anggaran dalam talian, setiap senario akan mempunyai model yang berasingan. Dengan cara ini, struktur model sedia ada dalam industri boleh dipilih untuk pemodelan dalam senario yang berbeza.

Sudah tentu, penyelesaian ini juga mempunyai beberapa kelemahan, yang terutamanya tertumpu pada perkara-perkara berikut Perkara pertama ialah kaedah ini tidak dapat menyelesaikan masalah jarang data dalam satu senario gunakan yang sama Tambahan maklumat ciri jenis senario lain Terutamanya dalam beberapa senario di mana jumlah data yang agak kecil atau data tingkah laku adalah jarang, masalah jarang data adalah lebih menonjol. Perkara kedua yang dinyatakan sebelum ini ialah kaedah pemodelan model tunggal senario-tunggal ini menggunakan tenaga kerja dan sumber yang agak tinggi dari segi kos penyelenggaraan dan lelaran model. Perkara ketiga ialah apabila beberapa senario baharu diperkenalkan dalam perniagaan, akan timbul juga masalah kos yang lebih tinggi.

Memandangkan pendekatan model tunggal-senario-tunggal mempunyai masalah sampel yang jarang, penyelesaian kedua ialah mencampurkan data sampel semua adegan, melatih model dengan data bercampur, dan kemudian menggunakan model yang sama kepada semua Di tempat kejadian. Pendekatan ini boleh mengurangkan dua masalah dalam jenis skema pertama, kerana skema ini menggunakan sampel daripada semua senario, dan semua senario berkongsi model yang sama. Walau bagaimanapun, kelemahannya ialah latihan campuran sampel data yang agak kasar ini memusnahkan pengedaran data antara setiap adegan dan memperkenalkan sedikit bunyi. Di samping itu, kesan model keseluruhan mungkin dikuasai oleh data beberapa adegan besar, sekali gus menjejaskan kesan beberapa adegan kecil.

Jenis penyelesaian ketiga ialah menggunakan kaedah latihan dua peringkat, iaitu, mula-mula menjalankan latihan campuran ke atas sampel dari semua adegan, melatih model asas, dan kemudian menggunakan sampel bebas dari setiap adegan untuk melatih model asas asal untuk penalaan halus dalam adegan. Dari segi penggunaan dan anggaran model, setiap senario juga diletakkan dalam talian dan dianggarkan menggunakan model yang diperhalusi dengan data pemandangannya sendiri. Kelemahan pendekatan ini ialah setiap senario memerlukan modelnya sendiri untuk digunakan secara berasingan. Di samping itu, kaedah pra-latihan langsung dan penalaan halus ini tidak memodelkan hubungan antara adegan dengan baik.

Kategori terakhir kini merupakan kaedah arus perdana dalam industri untuk pemodelan pelbagai senario Dengan menggunakan seni bina pembelajaran pelbagai tugas, data setiap senario dipertimbangkan dalam struktur model untuk menjalankan pemodelan bersama, dan​Dan melalui reka bentuk struktur model, ekspresi biasa dan perbezaan antara adegan digambarkan. Dalam dua tahun yang lalu, terdapat banyak percubaan dan pelaksanaan dalam industri Sebagai contoh, SAR-Net dilatih dengan cara yang serupa dengan MMOE, dan STAR membina rangkaian yang dikongsi secara global ini dan rangkaian yang unik untuk setiap senario, melalui pemetaan matriks. antara parameter model kaedah untuk mencapai pencirian perbezaan pemandangan ini, dan kerja lain untuk menggambarkan perbezaan pemandangan ini melalui rangkaian parameter dinamik.

Memandangkan kelemahan tiga jenis kaedah pertama, kami memilih untuk menjalankan kerja seterusnya berdasarkan latihan bersama.

5 Soalan 5: Cabaran yang dihadapi oleh pemodelan pelbagai senario dalam perniagaan sebenar

Dalam proses pelaksanaan perniagaan sebenar kami, kami juga menghadapi beberapa cabaran yang lebih khusus untuk pemodelan bersama pelbagai senario melalui model bersatu, yang terutamanya ditunjukkan dalam aspek berikut.

Cabaran 1: Kami menggunakan pemodelan bersama dengan harapan dapat menggunakan sepenuhnya maklumat daripada semua senario Untuk menyelesaikan masalah jarang data dalam satu adegan, intipatinya adalah untuk memindahkan maklumat berkesan adegan lain ke adegan yang ditentukan Walaupun beberapa kaedah yang dinyatakan sebelum ini menggunakan operasi matriks parameter atau rangkaian parameter dinamik untuk mencirikan persamaan dan perbezaan. adegan, Walau bagaimanapun, kaedah transformasi ini agak tersirat, dan adalah mustahil untuk menerangkan dengan cara yang boleh ditafsir sama ada adegan lain telah memindahkan maklumat ke adegan yang ditentukan, dan berapa banyak maklumat yang telah dipindahkan. Oleh itu, bagaimana untuk mencapai migrasi maklumat adegan yang halus dan berkesan adalah cabaran pertama yang kami hadapi. Ringkasnya, cara membuat model sama ada untuk memindahkan maklumat dan berapa banyak maklumat yang perlu dipindahkan.

Cabaran 2: Apabila kami melatih model, ia terutamanya berdasarkan tingkah laku interaksi pengguna, seperti klik produk atau Isyarat maklum balas positif seperti penyiapan video digunakan untuk membina sampel positif, iaitu, latihan dilakukan pada data sampel berlabel Ini akan menyebabkan masalah jarang data yang serius dalam beberapa senario dengan sedikit tingkah laku. Jika kita boleh menggunakan beberapa tugas tanpa seliaan untuk memanjangkan data latihan daripada ruang sampel berlabel kepada ruang sampel tidak berlabel, ia akan membantu mengurangkan masalah kekurangan data.

Cabaran 3: Kita semua tahu bahawa keseluruhan pautan pengesyoran dibahagikan kepada beberapa peringkat teras seperti penarikan balik dan menyusun. Dalam penyelidikan awal, kami mendapati bahawa pemodelan bersama untuk masalah berbilang senario tertumpu terutamanya pada peringkat pemeringkatan, termasuk beberapa model yang disenaraikan di atas, yang pada asasnya merupakan model pemeringkatan. Sebagai peringkat pertama bagi keseluruhan pautan pengesyoran, ingat kembali menghadapi saiz calon yang sangat berbeza, kaedah pengambilan dan pengisihan. Oleh itu, cara melaksanakan pemodelan bersama berbilang senario dalam fasa panggil semula juga merupakan cabaran yang kami hadapi.

2. Adaptasi Adegan dan Model Berbilang Adegan Tanpa Kawalan (SASS)

Berikut memperkenalkan perkara yang kami lakukan Penyelesaian model untuk pelaksanaan perniagaan sebenar Model ini dirujuk sebagai SASS. Penyelesaian ini tertumpu terutamanya pada tiga kata kunci teras Yang pertama ialah pemindahan penyesuaian adegan (Scenario-Adaptive), yang kedua adalah tanpa pengawasan (Self-Supervised), dan yang ketiga ialah penerokaan pelaksanaan untuk tugasan ingat semula.

Rangka kerja model keseluruhan mengandungi dua peringkat, satu ialah tugas pra-latihan, dan satu lagi Satu adalah tugas penalaan halus. Peringkat pertama ialah membina tugas pra-latihan tanpa pengawasan pada set sampel yang tidak berlabel dan memodelkan hubungan antara adegan melalui pembelajaran kontrastif. Di samping itu, kerana keseluruhan model dilaksanakan dalam peringkat ingat semula, bahagian pengguna dan bahagian item perlu dimodelkan secara bebas, jadi kami mempunyai reka bentuk struktur simetri pada bahagian pengguna dan bahagian item.

Peringkat kedua ialah tugas penalaan halus, yang akan menggunakan semula struktur model berdasarkan peringkat pertama, termasuk memuatkan parameter struktur benam dan rangkaian yang telah dilatih pada peringkat pertama. Di samping itu, peringkat kedua adalah untuk melatih tugas mengingat semula pada ruang sampel berlabel, dan kemudian mengeluarkan vektor perwakilan bahagian pengguna dan bahagian item. Seterusnya, kami akan memperkenalkan kedua-dua peringkat ini secara terperinci.

1 Fasa 1: Tugasan pra-latihan

Pertama daripada semua, Pada peringkat pertama tugasan pra-latihan, kami membina tugas pembelajaran kontrastif tanpa pengawasan antara adegan. Seperti yang ditunjukkan di sudut kanan atas rajah, semua orang harus biasa dengan paradigma latihan klasik pembelajaran kontrastif Objek yang sama x memperoleh dua set ciri berbeza melalui dua kaedah peningkatan data yang berbeza, dan kemudian menggunakan rangkaian pengekstrakan ciri dan pemetaan. rangkaian akhirnya memperoleh dua ekspresi vektor berbeza bagi objek yang sama, dan kemudian jarak perwakilan antara dua vektor boleh dipendekkan dengan membandingkan kerugian metrik yang dipelajari untuk mencapai tugas pra-latihan tanpa pengawasan.

Diinspirasikan oleh idea pembelajaran kontrastif, kami menggabungkan ekspresi penjajaran antara adegan dalam pemodelan berbilang babak dengan tugas pra-latihan pembelajaran kontrastif. Seperti yang dinyatakan sebelum ini, pengguna yang sama boleh mengakses berbilang adegan yang berbeza dan mempunyai gelagat interaktif yang berbeza dalam adegan yang berbeza, meninggalkan beberapa maklumat statistik yang berkaitan dengan adegan itu. Oleh itu, kita boleh menganggap perbezaan dalam tingkah laku pengguna ini dalam senario yang berbeza sebagai cara semula jadi untuk peningkatan data Kepentingan pengguna yang sama mempunyai kesinambungan, tetapi mungkin terdapat perbezaan tertentu dalam ekspresinya antara senario yang berbeza. Kemudian kami membina tugas pembelajaran kontrastif tanpa pengawasan atas dasar ini.

Melihat model tertentu, seperti yang ditunjukkan di sebelah kiri rajah, kami akan membina sistem ciri bersatu untuk senario yang berbeza, tetapi nilai khusus ciri sepadan dengan senario Contohnya, kami meletakkan tingkah laku pengguna Urutan dibahagikan kepada adegan, dan pengguna mempunyai ciri statistik yang sepadan seperti minat dan keutamaan dalam adegan masing-masing. Melalui kaedah pemisahan ini, pengguna yang sama mempunyai beberapa set nilai ciri berbeza yang berkaitan dengan senario. Sebagai contoh, dalam rajah, ciri-ciri pengguna yang sama dalam adegan a dan adegan b, dan kemudian melalui rangkaian perwakilan bersatu (rangkaian perwakilan ini akan diperkenalkan kemudian), kita boleh mendapatkan vektor perwakilan masing-masing pengguna yang sama dalam berbeza adegan, dan akhirnya belajar kerugian melalui perbandingan untuk memendekkan jarak antara keduanya.

Apa yang baru saya bincangkan ialah kaedah latihan bahagian pengguna Dalam tugasan mengingat semula, bahagian pengguna dan bahagian item biasanya dimodelkan secara bebas. Oleh itu, bahagian item juga menggunakan struktur dan tugasan simetri untuk latihan, dan bahagian pengguna dan bahagian item berkongsi lapisan benam yang sama. Khususnya, untuk item yang sama, kami membahagikan nilai ciri pada bahagian item kepada adegan Selepas melalui rangkaian perwakilan pada bahagian item, kami memperoleh ekspresi vektor setiap adegan, dan kemudian menggunakan pembelajaran kontrastif yang sama. rugi untuk latihan.

Apabila membina sampel, kami mempunyai layanan istimewa: pengguna boleh melawati lebih daripada 2 adegan Oleh itu, apabila membina tugas latihan pembelajaran kontras, kami akan menggabungkan adegan yang dikunjungi oleh pengguna secara berpasangan membina beberapa sampel latihan. Juga pada bahagian item, berbilang sampel dibina melalui dua kombinasi ini.

Untuk tugas pembelajaran kontrastif khusus, kami terus menggunakan borang kehilangan InfoNCE untuk latihan.

Kami mencapai pra-latihan data tidak berlabel antara berbilang babak dengan memodelkan adegan dan tugas pembelajaran perbandingan antara babak Seterusnya, kami akan memperkenalkan keseluruhan reka bentuk yang lebih penting butiran rangkaian perwakilan dalam rangka kerja model.

Rangkaian perwakilan pemandangan dalam model ialah pemindahan berbilang lapisan, penyesuaian pemandangan rangkaian. Pertama sekali, daripada struktur model keseluruhan, parameter dikongsi dalam lapisan pembenaman model. Rangkaian perwakilan ini boleh dibahagikan kepada beberapa komponen secara keseluruhan Yang pertama ialah rangkaian yang dikongsi oleh keseluruhan pemandangan, iaitu bahagian biru di sebelah kiri model dalam gambar Rangkaian kongsi global di sini ialah sampel dari semua adegan akan melaluinya. Latihan di sini boleh dianggap sebagai struktur perwakilan untuk melatih campuran semua sampel adegan di bahagian pengguna atau bahagian item.

Bahagian kedua ialah struktur rangkaian unik setiap adegan, iaitu bahagian kelabu yang sepadan dengan setiap adegan dalam gambar. Sampel yang sepadan dengan setiap adegan dilatih melalui rangkaian yang sepadan Memandangkan parameter lapisan rangkaian bagi setiap adegan dipisahkan, latihan dan perwakilan ini boleh menerangkan dengan baik perbezaan pengedaran antara setiap adegan. Di samping itu, di sudut kiri bawah rajah, kami juga memperkenalkan rangkaian bias tambahan. Input rangkaian bias ini termasuk id adegan dan beberapa ciri khusus adegan, serta beberapa ciri kontekstual. Ini boleh mencirikan lagi perbezaan dan maklumat berat sebelah antara konteks adegan berdasarkan sistem yang dikongsi.

Dalam proses latihan khusus, selepas setiap sampel melalui lapisan pembenaman ciri bersatu dan disambungkan, ia akan memasuki rangkaian perkongsian pemandangan penuh dan sampel ini rangkaian yang unik kepada adegan yang sepadan melaksanakan latihan rangkaian perambatan ke hadapan dan belakang.

Pada masa yang sama, dalam keseluruhan struktur rangkaian, output setiap lapisan rangkaian perkongsian adegan penuh akan melalui unit gating penyesuaian pemandangan untuk menyepadukan maklumat gabungan seluruh adegan Berhijrah ke satu adegan untuk mencapai penghijrahan maklumat adegan yang diperhalusi. Untuk butiran, sila rujuk struktur di sudut kanan atas model dalam rajah Struktur migrasi terutamanya termasuk get adaptif dan get kemas kini. Nilai output get adaptif digunakan untuk mengawal berapa banyak maklumat dalam keseluruhan adegan boleh dipindahkan ke satu adegan, manakala output get kemas kini adalah untuk mengawal maklumat yang dipindahkan daripada rangkaian pemandangan penuh dan maklumat asal daripada adegan tunggal Nilai berat gabungan berwajaran. Input kedua-dua rangkaian get ini termasuk maklumat rangkaian adegan penuh, maklumat rangkaian adegan tunggal dan maklumat berat sebelah adegan itu sendiri. Melalui struktur migrasi yang diperhalusi dan adaptif ini, arah migrasi dan jumlah maklumat migrasi tempat kejadian dimodelkan dan dicirikan. Kami menyusun struktur penghijrahan dalam berbilang lapisan, dan akhirnya setiap sampel boleh mendapatkan perwakilan vektor bagi pemandangan yang sepadan. Akhir sekali, output masing-masing bagi setiap adegan digabungkan dengan output bias pada adegan yang sepadan untuk mendapatkan ekspresi vektor terakhirnya pada adegan yang sepadan.

2 Fasa 2: Penalaan halus

Peringkat kedua ialah tugas penalaan halus. Memandangkan kami ingin melaksanakan model ke dalam peringkat ingat semula pautan yang disyorkan, matlamat tugas penalaan halus dan tugas penarikan semula diselaraskan. Dari segi pemilihan sampel, kami menggunakan item yang diklik oleh pengguna sebagai sampel positif, membina sampel negatif melalui persampelan rawak, dan kemudian mengira kerugian berpasangan dengan membina tiga kali ganda untuk latihan.

Selain itu, dalam fasa penalaan halus kami akan menggunakan semula struktur dan parameter model, iaitu, kami akan menggunakan semula struktur model dalam denda -fasa penalaan dan fasa pra-latihan Struktur rangkaian perwakilan yang sama digunakan, dan lapisan pembenaman dan parameter rangkaian peringkat pra-latihan dimuatkan, yang bersamaan dengan mengekalkan maklumat latihan tanpa pengawasan antara adegan peringkat pertama.

Dalam tugas pemadanan metrik pada bahagian pengguna dan bahagian item dalam fasa penalaan halus, kami turut memperkenalkan tugas tambahan baharu untuk membantu latihan. Seperti yang dinyatakan sebelum ini, setiap sampel boleh memperoleh dua ekspresi vektor selepas dicirikan melalui rangkaian perwakilan Satu ialah output vektor unik bagi setiap rangkaian adegan tunggal output yang menggambarkan ekspresi global ciri pengguna atau ciri item. Oleh itu, tugas latihan dalam keseluruhan fasa penalaan halus mengandungi dua kerugian Satu ialah kehilangan yang dilatih antara pembenaman pengguna dan output pembenaman item oleh rangkaian satu pemandangan yang lain ialah output pembenaman pengguna dan item yang sepadan dengan penuh -Rangkaian tempat kejadian juga boleh diperolehi melalui kaedah pengiraan sedemikian, dan jumlah wajaran dua kerugian terakhir digunakan sebagai kerugian akhir untuk latihan. Pengenalan tugas tambahan kehilangan adegan penuh adalah bersamaan dengan menerangkan ungkapan pengguna dan item yang sama dalam keseluruhan domain Walaupun ungkapannya mungkin tidak sesuai untuk ekspresi ciri bebas bagi setiap adegan, jika ia ditambah pada a tugas global untuk latihan Akhirnya, ia memberi manfaat kepada penumpuan kesan keseluruhan, dan analisis eksperimen seterusnya juga boleh menunjukkan perkara ini.

Seterusnya, kami akan memperkenalkan cara menggunakan model panggil semula. Selepas latihan model selesai, kami akan menggunakan model dalam peringkat penalaan halus dan pergi ke dalam talian. Semasa anggaran dalam talian, maklumat setiap adegan akan dihantar melalui rangkaian adegan yang sepadan pada model untuk mendapatkan vektor perwakilan dalam adegan itu.

Selain itu, dalam tugas tambahan, output rangkaian adegan penuh hanya digunakan dalam peringkat latihan, kerana ia adalah sampel campuran, mungkin terdapat menjadi sedikit bunyi, dan kemudian dalam anggaran Bila , setiap adegan masih menggunakan output vektor ciri mengikut pemandangan masing-masing. Untuk tugasan mengingat semula, pada bahagian item kami akan menjana vektor ini untuk semua calon, kemudian membina indeks yang sepadan, dan kemudian menjana vektor semasa anggaran dalam talian melalui penggunaan model. Kemudian keputusan topk diperoleh melalui pengambilan vektor, dan akhirnya keputusan dikembalikan ke peringkat pengisihan untuk melakukan beberapa operasi seterusnya pada keseluruhan pautan yang disyorkan.

3. Analisis eksperimen dan aplikasi praktikal

Berikut akan memperkenalkan beberapa analisis dan pelaksanaan eksperimen menggunakan model ini. Sudah melaksanakan aplikasi.

Kami sedang bekerja dengan dua set data sumber terbuka dan set data industri kami sendiri perniagaan. Kesan kaedah lain dibandingkan.

Kaedah perbandingan terbahagi terutamanya kepada tiga kategori Kategori pertama ialah model adegan tunggal tradisional, kerana kami menumpukan pada penarikan balik. task , jadi bandingkan beberapa kaedah ingat semula yang popular dalam industri, seperti YoutubeDNN, MIND, BST, DSSM, dsb. Model satu adegan ini dilatih dengan sampel bebas daripada setiap adegan. Jenis kedua ialah menggunakan sampel yang dicampur daripada berbilang adegan untuk latihan Model ini masih menggunakan model adegan tunggal yang biasa digunakan dalam industri. Kategori ketiga ialah beberapa kaedah pemodelan bersama pelbagai adegan yang sedia ada dalam industri dan dicadangkan oleh kami Beberapa kaedah ini digunakan dalam peringkat pengisihan, dan untuk pelaksanaan dalam peringkat penarikan semula, untuk perbandingan yang lebih baik , kami mengubah suai sedikit kaedah ini - iaitu, mengambil output lapisan terakhir rangkaian model kedudukan sebagai vektor perwakilan untuk menyesuaikan diri dengan tugas memanggil semula.

Dua lajur terakhir dalam jadual di atas ialah model yang kami cadangkan, di mana SASS-Base ialah struktur model tanpa pra-latihan, manakala SASS menambah pra- peringkat latihan. Memandangkan set data kedua yang kami sahkan mempunyai ciri yang tiada dan tidak dapat menyokong tugas pra-latihan, kami menumpukan pada membandingkan kesan SASS-Base dan kaedah lain pada set data ini.

Daripada perbandingan pelbagai jenis kaedah, kami telah memperoleh beberapa kesimpulan yang berharga. Perkara pertama ialah model adegan tunggal yang dilatih dengan sampel campuran kurang berkesan dalam kebanyakan kes berbanding ​ berbanding model adegan tunggal yang dilatih dengan sampel berasingannya sendiri. Ini selaras dengan kesimpulan demonstrasi dan tinjauan kami sebelum ini, iaitu, kaedah mencampurkan sampel ini mungkin memperkenalkan lebih banyak bunyi dan memecahkan pengedaran data asal setiap adegan. Walau bagaimanapun, untuk beberapa adegan kecil dengan data yang sangat jarang, sampel campuran boleh mencapai hasil yang lebih baik. Kerana untuk senario ini, sukar untuk mempelajari maklumat yang berkesan apabila berlatih dengan data yang jarang Menggunakan kaedah sampel campuran ini, walaupun data mungkin berat sebelah, ia boleh membawa beberapa faedah melalui peningkatan saiz sampel dan kesan penambahbaikan.

Kesimpulan kedua ialah model yang dilatih melalui pemodelan bersama pelbagai senario secara amnya lebih baik daripada dua jenis kaedah pemodelan senario tunggal yang pertama Model yang kami cadangkan tidak menambah tugasan pra-latihan, iaitu, SASS- Dari segi struktur model Base, ia pada asasnya lebih baik daripada atau boleh mencapai hasil yang serupa dengan kaedah pemodelan bersama pelbagai senario lain dalam setiap adegan. Selepas menindih tugas pra-latihan, kesan keseluruhan telah dipertingkatkan lagi. ​

​ Selepas itu, kami menjalankan satu siri eksperimen ablasi, yang terutamanya merangkumi bahagian berikut.

Yang pertama ialah struktur get adaptif yang menerangkan pemindahan maklumat daripada adegan global kepada satu adegan. Kami membandingkan struktur rangkaian get model dengan kaedah migrasi get lain yang sedia ada, termasuk (1) menggunakan pemetaan pendaraban matriks untuk mencapai migrasi maklumat (2) menggunakan dua ciri yang serupa dengan Simnet Kaedah migrasi ini adalah untuk melakukan penambahan, pendaraban dan penyambungan; dan kemudian melakukan gabungan melalui MLP; (3) Struktur rangkaian yang serupa dengan MOE, yang dipindahkan melalui gerbang Sigmoid. Akhirnya, berdasarkan keputusan eksperimen sebenar, kaedah penyesuaian kami boleh mencapai keputusan yang baik.

Mata kedua ialah membandingkan sama ada untuk menambah tugasan pra-latihan dan kesan jenis tugasan pra-latihan yang berbeza pada keputusan percubaan. Kaedah pra-latihan yang berbeza ialah tugas latihan meramalkan video seterusnya atau item seterusnya melalui urutan tingkah laku pengguna. Selepas membandingkan keputusan, dapat dibuktikan bahawa tugas pra-latihan ditambah, dan kesan model boleh diperbaiki melalui pembelajaran kontrastif antara adegan.

Perkara ketiga ialah menunjukkan rangkaian tambahan dan tugas tambahan dalam reka bentuk struktur model. Salah satu daripadanya ialah kami memperkenalkan rangkaian yang dikongsi secara global dalam peringkat penalaan halus dan menggunakan hasil keluaran rangkaian ini untuk melaksanakan latihan penalaan halus tambahan yang lain ialah dalam reka bentuk struktur rangkaian kami, kami menyepadukan maklumat yang berkaitan dengan pemandangan untuk keluaran setiap babak eksperimen Ablasi ciri-ciri bias. Keputusan eksperimen juga membuktikan bahawa penambahan kedua-dua struktur ini mempunyai peningkatan tertentu dalam kesan model keseluruhan.

Selain itu, memandangkan rangkaian perwakilan kami ialah struktur pemindahan maklumat berbilang lapisan, kami juga membandingkan peningkatan dalam kesan model kami dengan meningkatkan bilangan lapisan rangkaian. Ia boleh dilihat bahawa trend keseluruhan ialah apabila bilangan lapisan rangkaian meningkat, kesan model mula-mula bertambah baik dan kemudian berkurangan. Peningkatan seterusnya dalam bilangan lapisan rangkaian menyebabkan kemerosotan kesannya Kami menganalisis bahawa ia mungkin disebabkan oleh keseluruhan jumlah parameter meningkat dengan peningkatan dalam bilangan lapisan rangkaian, dan akan terdapat beberapa fenomena yang terlalu sesuai. Di samping itu, melakukan pemindahan maklumat dalam jumlah yang besar ini selepas memperoleh perwakilan peringkat atas mungkin menjadikan perwakilan satu adegan lebih terdedah kepada pengaruh maklumat adegan penuh. Oleh itu, menambah bilangan lapisan struktur rangkaian berbilang lapisan ini boleh meningkatkan kesan pada tahap tertentu, tetapi bilangan lapisan rangkaian tidak semestinya lebih baik.

Dalam set percubaan seterusnya, kami membandingkan vektor perwakilan bahagian item yang berbeza untuk tugasan mengingat semula, kerana setiap adegan akan menjana vektornya sendiri apabila dipanggil semula. Dalam beberapa pemodelan berbilang senario, bahagian pengguna akan mempunyai ekspresi yang berbeza, tetapi bahagian item tidak diterangkan secara terperinci Dalam tugas mengingat semula kami, bahagian pengguna dan bahagian item sepadan dengan setiap adegan Setiap adegan mempunyai ekspresi vektor bebasnya sendiri. jadi kami juga membandingkan ungkapan item yang sepadan dengan setiap adegan dan pembenaman pada bahagian item yang sama yang dikongsi oleh adegan. Melalui perbandingan, didapati ekspresi vektor bebas bagi setiap adegan juga boleh dibezakan pada bahagian item.

Akhir sekali, kami menjalankan percubaan A/B dalam talian dengan model ini dalam senario pengesyoran kandungan sebenar. Ia telah mencapai keputusan yang baik pada beberapa penunjuk eksperimen, terutamanya dalam beberapa adegan yang agak kecil atau dengan data yang jarang, kadar peningkatan adalah lebih tinggi.

Pada masa ini, penyelesaian model yang kami cadangkan telah dipromosikan dalam senario pengesyoran kandungan Taobao, termasuk video pendek, pengesyoran imej dan teks, dsb., dan model ini telah menjadi salah satu kaedah penarikan semula utama dalam pelbagai senario. ​

4. Ringkasan

Akhirnya, mari kita ringkaskan. Secara keseluruhannya, masalah yang ingin kami selesaikan ialah masalah pemodelan pelbagai senario dalam medan pengesyoran, yang juga merupakan masalah biasa dalam sistem pengesyoran. Untuk pemodelan berbilang senario jenis ini, matlamat teras kami adalah untuk memaksimumkan penggunaan maklumat antara pelbagai senario dengan membina rangka kerja bersatu. Kaedah pemodelan bersama ini menyelesaikan masalah kekurangan data dan menambah baik penunjuk perniagaan bagi setiap senario. Dan melalui set seni bina kaedah yang sama, kos lelaran dan penggunaan model dikurangkan ​.

Tetapi dalam aplikasi perniagaan sebenar kami, pemodelan berbilang senario menghadapi tiga cabaran teras. Yang pertama ialah bagaimana untuk mencapai penghalusan dan penghijrahan maklumat adegan yang berkesan di samping itu, bagaimana untuk menyelesaikan masalah keterlaluan data dalam pemodelan berbilang adegan dan bagaimana untuk memperkenalkan beberapa data yang tidak berlabel dan kemudian perkara ketiga ialah fasa ingat semula; -pemodelan bersama adegan.

Dalam amalan kami, kami mereka bentuk seni bina rangkaian pemindahan maklumat adegan adaptif ini dan membina tugasan pembelajaran kontras yang tidak diselia antara adegan, termasuk reka bentuk struktur model, kaedah latihan dan penempatan semula dan menyesuaikan tugas fasa ingat untuk menyelesaikan perkara di atas cabaran. Akhir sekali, model tanpa seliaan penyesuaian adegan ini dilaksanakan dengan baik dalam semua adegan dan digunakan sebagai kaedah ingat semula utama. ​

5. Sesi Soal Jawab

S1: Apakah penunjuk yang digunakan untuk menilai penambahbaikan model dalam setiap senario?

J1: Ini adalah masalah dalam penilaian model Ia perlu sepadan dengan matlamat pemodelan setiap senario, dan kemudian melihat penambahbaikan penunjuk mengikut senario. Jika ia adalah tugas dalam fasa ingat semula, ia adalah untuk memilih penunjuk penilaian berkaitan ingatan semula untuk setiap adegan yang sepadan, seperti Kadar Hit atau NDCG. Jika ia dalam peringkat pengisihan, kita harus memberi tumpuan terutamanya pada beberapa penunjuk berkaitan pengisihan seperti AUC dan GAUC.

S2: Adakah ciri kedua-dua senario SASS sama?

A2: Pertama sekali, kerana kami sedang menyelesaikan masalah berbilang adegan secara keseluruhan. Seperti yang ditunjukkan oleh definisi, antara setiap adegan, sampel sebahagian besarnya diselaraskan, jadi apabila kita benar-benar membuat model, kita cuba menjajarkan dan meratakan semua ciri. Di samping itu, untuk situasi di mana setiap adegan masih mempunyai beberapa ciri unik, kami mereka bentuk rangkaian bias adegan Untuk ciri yang tidak boleh diselaraskan sepenuhnya, kami akan meletakkannya dalam struktur rangkaian yang berasingan ini.

S3: Pernahkah anda mempertimbangkan untuk menjadikan kod sumber terbuka?

A3: Set kod ini sedang digunakan dalam senario perniagaan sebenar syarikat dan sumber terbuka perlu mematuhi keperluan pematuhan pendedahan maklumat syarikat. Kami akan berkomunikasi pada masa hadapan dan mungkin menyediakan versi demo untuk sumber terbuka.

S4: Adakah model ini turut digunakan dalam fasa panggil semula?

A4: Model semasa kami sendiri dilaksanakan dalam peringkat penarikan balik, jadi keseluruhan model juga digunakan dalam peringkat penarikan balik. Sudah tentu, apa yang kami sediakan adalah perbandingan Skim umum boleh digunakan sebagai model pengisihan dengan beberapa pengubahsuaian.

S5: Apakah jenis pensampelan negatif yang digunakan dalam model?

A5: Pensampelan negatif dilakukan terutamanya dalam peringkat penalaan halus. Kami menggunakan kaedah pensampelan negatif yang lebih biasa dalam tugas mengingat semula, di mana klik pengguna digunakan sebagai sampel positif dan sampel negatif diambil secara rawak berdasarkan kebarangkalian pendedahan Item dalam setiap adegan. Kemudian dalam berbilang babak, kerana tugas latihan keseluruhan kami masih akan dilatih secara berasingan dalam setiap babak. Oleh itu, semasa persampelan negatif, sampel negatif yang sepadan dengan sampel positif juga akan diambil secara rawak dalam ruang pendedahan yang sepadan dengan tempat kejadian Dengan cara ini, sepasang sampel positif dan negatif dibina.

S6: Bolehkah halaman adegan video pendek produk dan halaman topik aliran maklumat Taobao menggunakan set model ini? Bolehkah ia digabungkan dengan senario pengesyoran produk? Adakah matlamat perlu disatukan? Contohnya, video kadangkala mempunyai matlamat yang panjang.

A6: Masalah ini agak besar. Izinkan saya memecahkannya ialah model semasa kami dilaksanakan dalam senario pengesyoran kandungan di Taobao, iaitu kandungan keseluruhan adalah berdasarkan kandungan Sebagai pembawa utama, ia termasuk gambar, teks dan video. Sekeping ini boleh disesuaikan sepenuhnya kerana sistem ciri keseluruhannya pada asasnya sama dan boleh digunakan semula sepenuhnya. Dan perkara lain sebenarnya adalah apa yang perlu kita lakukan pada peringkat seterusnya, iaitu, produk dan kandungan boleh disebut, dan sistem pengedaran data dan ciri mereka sendiri sebenarnya berbeza. Ini boleh difahami sebagai lebih seperti masalah merentas domain . Ia adalah gabungan antara domain produk dan domain kandungan. Fasa kerja kami yang seterusnya juga berharap untuk memperkenalkan idea merentas domain tersebut ke dalam berbilang senario dan memindahkan beberapa maklumat tingkah laku daripada domain komoditi ke domain kandungan Ini adalah perkara pertama. Perkara kedua pula, mengenai penyatuan matlamat, kita kini telah mencapai penyatuan matlamat. Sebagai contoh, apabila ia berkaitan dengan klik pada halaman utama, kami menggunakan isyarat klik pengguna sebagai sampel positif Namun, dalam aliran naik dan turun yang tidak berkesudahan ini, sebenarnya tiada klik pengguna Kemudian kami menggunakan permainan panjang pengguna, penyelesaian dan isyarat tempoh lain sebagai sampel positif Maklum balas positif bermakna keseluruhan label diratakan kepada dimensi binari tersebut.

S7: Bolehkah anda memperkenalkan tugas pembelajaran perbandingan antara adegan tanpa pengawasan secara terperinci?

J7: Secara umumnya, kami masih mengikuti idea pembelajaran perbandingan ini, sebenarnya, perkara utama ialah membahagikan ciri antara babak dan kemudian membina tugas pra-latihan. Anda boleh Sila rujuk penjelasan PPT saya sebelum ini atau pengenalan dalam kertas kerja kami (Model Penyesuaian Sendiri dan Penyeliaan Sendiri untuk Pengesyoran Peribadi Berbilang Senario).

S8: Adakah bahagian pengguna dan bahagian item model pra-latihan menggunakan sampel klik?

A8: Tugas pra-latihan dilakukan pada ruang tanpa label, seperti dua senario a dan b yang dilawati oleh pengguna, dan Pengguna mempunyai beberapa statik ciri atribut, dan jujukan tingkah laku pengguna yang dipelihara mengikut sejarah yang sepadan dengan setiap adegan, yang kemudiannya membentuk sistem ciri untuk pengguna yang sama dalam dua adegan a dan b. Matlamat pemodelan pra-latihan adalah untuk memodelkan pengguna yang diakses ini dan memendekkan jarak antara dua vektor perwakilan antara adegan a dan adegan b melalui ukuran ciri sedemikian. Oleh itu, ia sebenarnya adalah tugas tanpa pengawasan, yang dilatih pada ruang sampel tanpa klik.

S9: Bagaimana untuk menyepadukan berbilang sasaran dalam setiap adegan?

A9: Ini sebenarnya satu lagi masalah kami sedang menyelesaikan masalah berbilang adegan Kami berharap semua adegan berkongsi matlamat yang sama sasaran dua kategori yang kami tukar sebenarnya menggambarkan sama ada pengguna berminat dengan kandungan atau video. Bagi kaedah multi-scene dan multi-target yang disebutkan sebentar tadi, ia sebenarnya agak berbeza dengan multi-scene, tetapi saya difahamkan bahawa kaedah model multi-target sebegini boleh dibina di atas model multi-scene ini. Kerana pada masa ini terdapat banyak kerja pada tugas perwakilan bersama berbilang adegan dan berbilang sasaran Sebagai contoh, dalam seni bina semasa kami, selepas melalui rangkaian perwakilan, setiap sampel akan mempunyai ekspresi vektor bebas yang sepadan dengan setiap adegan kami menggunakan ungkapan vektor ini sebagai input, dan kemudian membina rangkaian ciri berkaitan sasaran yang unik untuk setiap sasaran atas dasar ini, kami sebenarnya boleh melakukan tugas bersama berbilang sasaran dan berbilang senario. Anda boleh menganggap kaedah latihan berbilang senario semasa kami sebagai rangka kerja asas, dan kemudian memodelkan tugas berbilang objektif lain berdasarkannya. Saya rasa ini masuk akal.

S10: Bagaimanakah kehilangan pembelajaran kontrastif dalam peringkat pra-latihan direka bentuk?

A10: Kehilangan ini sebenarnya serupa dengan skema pembelajaran kontrastif tradisional Kami juga memilih kehilangan InfoNCE, iaitu, dalam sampel latihan dengan saiz batch n , treat dua vektor yang dijana oleh pengguna atau item yang sama dalam adegan sepadan sebagai sampel positif, dan vektor 2n-2 menjana sepadan dengan sampel lain sebagai sampel negatifnya, sekali gus membina kerugian untuk latihan.

S11: Bagaimana untuk membina berbilang paparan untuk item dalam peringkat pra-latihan?

J11: Apa yang kami hanya fokuskan ialah bahagian pengguna, jadi bahagian item sebenarnya mempunyai struktur yang sama. Untuk bahagian item, terdapat juga rangkaian kongsi global untuk item itu sendiri dan ungkapan parameter rangkaian untuk setiap item dalam setiap adegan dalam setiap adegan. Oleh itu, melalui kaedah model yang sama, ia adalah struktur simetri sepenuhnya pada bahagian pengguna. Setiap item akan berhijrah melalui parameter yang dikongsi secara global dan struktur rangkaian setiap adegan, dan akhirnya akan mempunyai output bebas yang berkaitan dengan adegan itu.

S12: Apakah ketepatan masa model itu? Berapa kerap model dikemas kini? Adakah ia latihan aliran?

J12: Ini soalan yang bagus. Model semasa kami sebenarnya dilatih di luar talian dan dikemas kini setiap hari. Kemudian kami juga membuat beberapa percubaan penggantian, berharap dapat meningkatkan ketepatan masanya dan menjalankan latihan penstriman melalui pembelajaran dalam talian. Sudah tentu, masih terdapat beberapa masalah yang dihadapi pada masa ini, terutamanya dicerminkan dalam kaedah latihan berbilang senario Malah, ia perlu memperkenalkan data daripada pelbagai sumber pada masa yang sama Jadi dalam latihan penstriman ini, bagaimana data daripada pelbagai sumber secara serentak Akses dan cara memastikan latihan yang stabil sebenarnya merupakan cabaran yang agak besar, jadi model semasa kami masih dikemas kini pada peringkat harian luar talian. Kami mungkin membuat beberapa percubaan pada masa hadapan, seperti menganggap latihan bersama berbilang senario luar talian semasa sebagai model asas, dan kemudian memperhalusi data penstriman melalui pemulihan model pada satu senario dan melakukan kemas kini berulang dengan cara ini.

S13: Bagaimana untuk membina sampel pra-latihan?

J13: Ini sebenarnya telah diperkenalkan sebentar tadi. Titik teras keseluruhan ialah pengguna yang sama membahagikan ungkapan beberapa ciri dalam senario yang berbeza Contohnya, dua senario a dan b mempunyai beberapa ciri statik, dan pada masa yang sama, mereka akan meninggalkan gelagat pengguna bebas dalam senario yang sepadan , serta beberapa maklumat statistik pengguna sedemikian dalam adegan yang sepadan, seperti keutamaan kategori, keutamaan akaun dan beberapa ciri statistik seperti pendedahan klik. Ini bersamaan dengan membahagikan struktur ciri data kepada senario yang berbeza, supaya pengguna yang sama boleh mempunyai ciri yang berbeza dalam senario yang berbeza. Ini ialah struktur pada ciri, dan pada sampel, ia hanya disebut Jika pengguna melawat berbilang adegan, maka adegan digabungkan secara berpasangan untuk membina pasangan sampel sedemikian. Kemudian pada bahagian item, item boleh diletakkan pada berbilang adegan, jadi gabungan berpasangan antara berbilang adegan juga boleh membina sampel item.

S14: Adakah terdapat sebarang penilaian penunjuk untuk pembelajaran perbandingan pra-latihan?

A14: Fasa pra-latihan kami ialah tugas tanpa seliaan . Oleh itu, apabila kami menilai pembelajaran kontrastif pra-latihan, kami terutamanya menganalisis kesan melalui pengelompokan visual vektor yang dihasilkan dalam peringkat pra-latihan.

S15: Model berbilang senario mempunyai pulangan positif dalam beberapa senario, tetapi pulangan negatif dalam beberapa senario Bagaimana untuk melaraskan dan mengoptimumkan senario pulangan negatif?

J15: Ini sebenarnya adalah gambaran persamaan dan perbezaan adegan Tujuan asal penyelesaian pelbagai adegan kami adalah untuk berharap selepas diperkukuh oleh model bersatu , Kemudian optimumkan dalam setiap senario. Sudah tentu, dalam realiti, terutamanya dalam lelaran berikutnya, adalah tidak mungkin untuk mencapai kejayaan 100% dengan seni bina model yang sama dalam semua senario, dan beberapa faedah mungkin tidak jelas. Jadi pada masa ini, kita sebenarnya perlu membuat beberapa reka bentuk penalaan halus pada struktur atas berdasarkan ciri-ciri setiap adegan dalam seni bina berbilang senario semasa kita, iaitu, berbilang senario boleh digunakan dalam perkongsian dan maklumat benam yang mendasari bahagian migrasi untuk melakukannya. Sudah tentu, setiap senario mempunyai ciri rangkaiannya sendiri Sebagai contoh, beberapa maklumat pencetus yang kuat dalam lompatan kedua akan mempunyai beberapa struktur ciri bebas, yang memerlukan beberapa penyesuaian pada lapisan atas.

S16: Adakah model pra-latihan dikongsi dalam pelbagai senario?

A16: Pembenaman asas dan rangkaian yang dikongsi secara global dikongsi antara setiap adegan, dan kemudian setiap parameter rangkaian yang sepadan dengan setiap adegan berada dalam setiap adegan yang unik.

S17: Dalam peringkat penyampaian panggil balik, perwakilan item untuk senario berbeza sepatutnya berbeza Apabila mendapatkan semula indeks pangkalan data dalam talian, sekiranya kita membahagikan pangkalan data atau membina pangkalan data secara bersama ?

J17: Pada masa ini kami menggunakan kaedah pembinaan pangkalan data berpecah, iaitu calon yang sepadan dengan setiap adegan akan menjana indeks bebas dalam setiap babak.

S18: Pada magnitud berapa saiz sampel dianggap sebagai pemandangan kecil yang jarang?

J18: Tiada jawapan standard untuk ini mungkin perlu dilihat berdasarkan senario perniagaan sebenar.

S19: Adakah mana-mana strategi manual (pengurus produk strategik) digunakan untuk penarikan balik tertentu?

J19: Oleh kerana fasa ingat semula ialah panggilan semula berbilang hala, iaitu, terdapat pelbagai jenis kaedah ingat semula, seperti penarikan balik vektor, dsb., dan kemudian juga Terdapat beberapa kaedah ingat semula manual yang disediakan oleh beberapa penunjuk operasi, jadi peringkat cadangan semasa sebenarnya adalah gabungan pelbagai jenis kaedah ingat semula, dan kemudian pemarkahan bersatu diberikan kepada bahagian penyisihan. Khusus untuk model yang kita bincangkan hari ini, tumpuan masih diberikan pada pengoptimuman model ini.

S20: Bolehkah latihan model adegan tunggal hanya mewarisi parameter pra-latihan semasa pemula? Kemudian selepas model adegan tunggal dilatih, adakah parameter model pra-latihan masih digunakan?

A20: Pelan semasa kami adalah untuk memuatkan parameter model dalam peringkat permulaan selepas latihan model. Bagi pembenaman dan sama ada parameter perlu dikemas kini selepas pra-latihan, kami telah melakukan dua eksperimen yang pertama adalah untuk membetulkan model pra-latihan selepas memuatkannya, dan yang kedua adalah untuk terus mengambil bahagian dalam latihan model tersebut semasa. peringkat penalaan halus. Kemudian apa yang kami gunakan pada masa ini adalah untuk melatih semula parameter model pra-latihan asal semasa peringkat penalaan halus.

S21: Bagaimanakah susunan berbilang adegan dalam GRU bagi adegan berbilang lapisan ditentukan?

J21: Susunan antara babak adalah rawak, kerana model kami sebenarnya memindahkan maklumat adegan global sedemikian kepada satu adegan, jadi antara babak , susunan latihannya sebenarnya rawak.

S22: Apakah perbezaan antara dua ciri paparan dalam peringkat pra-latihan? Adakah perbezaan hanya dalam tetapan?

J22: Ya, dari segi perbezaan pemandangan, kami biasanya menggunakan ciri-ciri pengguna yang sama atau item yang sama dalam adegan yang berbeza untuk menggambarkan ciri-cirinya dalam adegan, iaitu , menganggap perbezaan antara adegan sebagai cara peningkatan data. Bukan sahaja adegan sahaja, tetapi juga beberapa perwakilan ciri tingkah laku pengguna dan item di tempat kejadian.

S23: Adakah anggaran dalam talian perlu mendapatkan ungkapan pra-latihan dalam langkah-langkah? Dan kemudian lakukan penarikan balik?

J23: Pra-latihan adalah untuk membantu latihan tugasan ingat terakhir kami. Oleh itu, apabila membuat anggaran, kami hanya akan menggunakan tugasan penalaan halus peringkat kedua untuk penempatan. Anda boleh memahami model struktur menara berkembar seperti DSSM yang lebih klasik. Oleh itu, struktur model dalam peringkat penalaan halus akhirnya digunakan untuk pergi ke dalam talian, dan kemudian ekspresi sisi pengguna dan ungkapan sisi item dikeluarkan apabila input perwakilan dianggarkan.

S24: Bolehkah kehilangan pembelajaran perbandingan dan kehilangan penalaan halus dilatih bersama?

J24: Satu lagi cara untuk mengemukakan soalan ini ialah sama ada pendekatan dua peringkat yang kita gunakan sekarang boleh diubah menjadi latihan hujung ke hujung, iaitu dalam tugas latihan Ia bukan sahaja melaksanakan latihan tanpa pengawasan antara adegan, tetapi juga menjalankan latihan bersama pengguna dan penarikan semula item atas dasar ini. Pendekatan ini dirasakan boleh dilaksanakan, tetapi sebab kami tidak melakukan ini adalah kerana ia tidak menyelesaikan masalah menggunakan data sampel tidak berlabel. Maksudnya, sampel yang digunakan dalam tugas dua peringkat kami sebenarnya berbeza Dalam peringkat pra-latihan, julat data tidak berlabel yang lebih besar digunakan, dan kemudian dalam peringkat penalaan halus, data berlabel digunakan. Jika latihan bersama digunakan, latihan hanya boleh dilakukan pada data berlabel sedemikian, dan ruang sampel sebenarnya akan dikurangkan Ini akan agak berbeza daripada niat reka bentuk asal kami.

S25: Dalam model peringkat ML-SAT, adakah fungsi get update dan adapt-gate itu sendiri digunakan dalam setiap lapisan MLP atau hanya di bahagian atas- gabungan tahap berkesan?

A25: Ini akan melakukan penghijrahan pada setiap lapisan, iaitu, pada struktur berbilang lapisan, struktur satu lapisan akan memindahkan maklumat, dan kemudian Struktur ini ialah bertindan. Mengikut keputusan percubaan sebentar tadi, jika anda memilih lapisan 3 selepas berbilang perbandingan, kesannya agak bertambah baik. Oleh itu, dalam pelaksanaan perniagaan sebenar kami, bilangan lapisan yang sepadan dengan model ini juga ditetapkan kepada 3.

S26: Berapa hari data digunakan untuk pralatihan Adakah ia hanya dipralatih sekali?

J26: Tugasan fasa pra-latihan dan penalaan halus kami dilatih secara berperingkat setiap hari, dan kemudian fasa pra-latihan akan diperkenalkan dalam penalaan halus fasa. Kedua-dua belah adalah bersamaan dengan Latihan tambahan dilakukan secara selari, dan parameter dimuatkan di tengah.

S27: Adakah pra-latihan dan penalaan halus menggunakan data dari tetingkap masa yang sama?

J27: Baru sahaja menyebut bahawa kaedah latihan keseluruhan kami ialah latihan tambahan, jadi tetingkap masa mereka pada asasnya sejajar.

Atas ialah kandungan terperinci Amalan pemodelan model berbilang senario yang mudah suai dan tidak diselia dalam pengesyoran diperibadikan Taobao. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!