Teknologi GNN digunakan pada sistem pengesyoran dan aplikasi praktikalnya

1. Evolusi kuasa pengkomputeran asas sistem pengesyoran GNN

Dalam tempoh 20 tahun yang lalu, bentuk pengkomputeran telah terus berkembang. Sebelum 2010, pengkomputeran awan amat popular, manakala bentuk pengkomputeran lain agak lemah. Dengan perkembangan pesat kuasa pengkomputeran perkakasan dan pengenalan cip sisi hujung, pengkomputeran tepi telah menjadi sangat penting. Dua bentuk pengkomputeran utama semasa telah membentuk pembangunan AI dalam dua arah terkutub Di satu pihak, di bawah seni bina pengkomputeran awan, kita boleh menggunakan keupayaan kelompok berskala ultra besar untuk melatih model AI berskala besar, seperti Model Asas. atau beberapa model generatif. Sebaliknya, dengan pembangunan pengkomputeran tepi, kami juga boleh menggunakan model AI ke bahagian terminal untuk menyediakan perkhidmatan yang lebih ringan, seperti melaksanakan pelbagai tugas pengecaman di bahagian terminal. Pada masa yang sama, dengan perkembangan metaverse, pengiraan banyak model akan diletakkan di bahagian akhir. Oleh itu, isu teras yang ingin diselaraskan oleh kedua-dua bentuk pengkomputeran ini ialah keseimbangan antara pengkomputeran dan penghantaran, diikuti oleh pembangunan terpolarisasi kecerdasan buatan.

2. Pemperibadian sistem pengesyoran GNN sebelah pelanggan

Apakah peluang yang dibawa oleh kedua-dua borang pengkomputeran ini kepada sistem pengesyoran GNN?

Perspektif Duanyun boleh dibandingkan dengan perspektif gambar global dan subgraf setempat. Dalam sistem pengesyoran GNN, subgraf global ialah subgraf global yang dikumpulkan secara berterusan daripada banyak subgraf peringkat nod. Kelebihannya ialah data lengkap dan ia boleh memberikan hubungan yang agak komprehensif antara nod. Kecondongan induktif jenis ini mungkin lebih universal Ia meringkaskan peraturan pelbagai nod dan mengekstrak bias induktif, jadi ia mempunyai keupayaan generalisasi yang kuat. Subgraf yang disetempatkan tidak semestinya lengkap, tetapi kelebihannya ialah ia boleh menerangkan dengan tepat evolusi tingkah laku individu pada subgraf dan menyediakan penubuhan perhubungan nod yang diperibadikan. Oleh itu, hubungan antara terminal dan awan adalah sedikit seperti subgraf global dan subgraf setempat. Pengkomputeran awan boleh menyediakan kuasa pengkomputeran terpusat yang berkuasa untuk menyediakan perkhidmatan, manakala terminal boleh menyediakan beberapa perkhidmatan diperibadikan data

Kami boleh menggabungkan kelebihan graf global dan subgraf setempat untuk meningkatkan prestasi model dengan lebih baik tahun ini meneroka ini. Ia mencadangkan model Ada-GNN (Menyesuaikan kepada Corak Tempatan untuk menambah baik Rangkaian Neural Graf), yang mempunyai pemodelan graf keseluruhan untuk graf global, dan juga membina beberapa model tempatan menggunakan subgraf untuk melakukan beberapa penyesuaian. Intipati penyesuaian sedemikian adalah untuk membolehkan model yang menggabungkan model global dan model tempatan untuk melihat peraturan graf tempatan dengan cara yang lebih halus dan meningkatkan prestasi pembelajaran yang diperibadikan.

Sekarang kita menggunakan contoh khusus untuk menerangkan sebab kita perlu memberi perhatian kepada subgraf. Dalam sistem pengesyoran e-dagang, terdapat sekumpulan peminat digital yang boleh menerangkan hubungan antara produk digital, seperti telefon bimbit, Pad, kamera dan produk peranti peranti mudah alih. Sebaik sahaja dia mengklik pada salah satu kamera, kecenderungan induktif telah didorong. Peta bias induktif yang disebabkan oleh peta sumbangan kumpulan mungkin menggalakkan kita mengesyorkan telefon mudah alih jenis ini, tetapi jika kita kembali kepada perspektif individu, jika dia seorang peminat fotografi dan memberi perhatian khusus kepada produk fotografi, ini kadangkala akan mengakibatkan Paradoks ditunjukkan di bawah. Adakah bias induktif yang disebabkan oleh peta sumbangan kumpulan terlalu kuat untuk kumpulan tertentu, terutamanya kumpulan ekor ini yang sering kita panggil kesan Matthew?

Secara umumnya, borang pengkomputeran terpolarisasi sedia ada boleh membentuk semula pemodelan sistem pengesyoran GNN kami. Sistem pengesyoran tradisional memanggil semula produk atau item daripada kumpulan calon, melihat perhubungan antara mereka melalui pemodelan GNN, dan kemudian memberi kedudukan dan mengesyorkan pengguna. Walau bagaimanapun, disebabkan sokongan pengkomputeran tepi, kami boleh menggunakan model pemperibadian pada bahagian hujung untuk melihat pemperibadian yang lebih terperinci dengan mempelajari subgraf. Sudah tentu, seni bina sistem pengesyoran baharu ini untuk kolaborasi peranti-awan mempunyai andaian, iaitu kuasa pengkomputeran dan penggunaan kuasa peranti itu boleh dilaksanakan. Tetapi keadaan sebenar ialah overhed kuasa pengkomputeran model kecil tidak besar Jika anda memampatkannya kepada satu atau dua megabait dan meletakkan overhed pengkomputeran pada telefon pintar sedia ada, ia sebenarnya tidak akan menggunakan lebih banyak kuasa pengkomputeran daripada APP permainan. dan tenaga elektrik yang besar. Oleh itu, dengan perkembangan lanjut pengkomputeran tepi dan peningkatan prestasi peranti akhir, ia memberikan kemungkinan yang lebih besar untuk lebih banyak pemodelan GNN di bahagian hujung

Jika kita ingin meletakkan model GNN di hujung , maka kuasa pengkomputeran sebelah hujung dan kapasiti storan mesti dipertimbangkan. Kami juga menyebut pemampatan model sebelum ini Jika anda mahu model GNN menjadi lebih berkesan pada bahagian peranti, jika anda meletakkan model GNN yang agak besar padanya, anda mesti melakukan pemampatan model. Kaedah tradisional pemampatan model, pemangkasan dan pengkuantitian, boleh digunakan pada model GNN sedia ada, tetapi kaedah tersebut akan menyebabkan kehilangan prestasi dalam sistem pengesyoran. Dalam senario ini, kita tidak boleh mengorbankan prestasi untuk membina model sisi peranti, jadi walaupun pemangkasan dan pengkuantitian berguna, ia mempunyai kesan yang terhad.

Satu lagi kaedah pemampatan model yang berguna ialah penyulingan. Walaupun ia mungkin hanya dikurangkan beberapa kali, kosnya adalah serupa. Kajian terbaru yang diterbitkan dalam KDD adalah mengenai penyulingan GNN. Dalam GNN, penyulingan pemodelan data grafik menghadapi cabaran bahawa ukuran jarak mudah ditakrifkan dalam ruang logit, tetapi dalam ruang ciri terpendam, terutamanya ukuran jarak lapisan demi lapisan antara GNN guru dan GNN pelajar. Dalam hal ini, penyelidikan mengenai KDD ini menyediakan penyelesaian untuk mencapai reka bentuk yang boleh dipelajari dengan mempelajari metrik melalui penjanaan lawan

Dalam sistem pengesyoran GNN, sebagai tambahan kepada teknologi pemampatan model yang dinyatakan sebelum ini, penempatan Sub-pembukaan adalah khusus dan teknik yang sangat berguna. Ia berkait rapat dengan seni bina model sistem pengesyoran GNN, kerana lapisan bawah GNN ialah Pembenaman Item produk, dan selepas beberapa lapisan transformasi bukan linear MLP, strategi pengagregatan GNN akan digunakan

Setelah model dilatih, ada kelebihan semula jadi. Lapisan asas semuanya dikongsi dan hanya lapisan GNN boleh disesuaikan. Untuk pemperibadian di sini, kita boleh membahagikan model kepada dua bahagian dan meletakkan bahagian awam model dalam awan Oleh kerana kuasa pengkomputeran adalah mencukupi, bahagian yang diperibadikan boleh digunakan pada terminal. Dengan cara ini, kita hanya perlu menyimpan GNN kernel perantaraan dalam terminal. Dalam sistem pengesyoran sebenar, pendekatan ini boleh menjimatkan overhed storan keseluruhan model. Kami telah berlatih dalam senario Alibaba Model selepas penyebaran boleh mencapai tahap KB Kemudian melalui pengkuantitian bit yang lebih mudah bagi model, model itu boleh dibuat sangat kecil, dan hampir tiada overhed yang sangat besar apabila diletakkan pada terminal. Sudah tentu, ini adalah kaedah berpecah berdasarkan pengalaman. Salah satu karya terbaru Huawei yang diterbitkan di KDD ialah pemisahan model automatik, yang dapat merasakan prestasi peralatan terminal dan membelah model ini secara automatik. Sudah tentu, jika digunakan pada GNN, beberapa pembentukan semula mungkin diperlukan

Apabila menggunakan model dalam beberapa senario pemindahan pengedaran yang serius, model pra-latihan kami sudah agak lama sebelum digunakan ke bahagian hujung . Ini kerana kekerapan data graf sebenar mengalir kembali ke awan untuk latihan adalah agak perlahan, dan kadangkala ia mungkin mengambil masa seminggu. Kesesakan utama di sini ialah kekangan sumber

, walaupun ia mungkin tidak ditemui dalam penyelidikan seperti ini kesesakan akan menghadapi masalah model sisi akhir yang lapuk dalam amalan. Apabila domain berubah, data berubah, model tidak lagi terpakai dan prestasi akan menurun. Pada masa ini, pemperibadian dalam talian bagi model GNN diperlukan, tetapi pemperibadian pada akhirnya akan menghadapi cabaran kuasa pengkomputeran bahagian hujung dan overhed storan.

Satu lagi cabaran ialah keterlaluan data Kerana data akhir hanya mempunyai nod individu, keterlanjuran datanya juga merupakan cabaran besar. Pendekatan yang agak cekap dalam penyelidikan terkini ialah Pemindahan Cekap Parameter, yang melibatkan penggunaan beberapa tampalan model antara lapisan Ia boleh dibandingkan dengan rangkaian sisa, tetapi tampalan dipelajari semasa pembelajaran. Melalui mekanisme bendera, ia boleh dihidupkan apabila digunakan dan dimatikan apabila tidak digunakan, ia boleh direndahkan kepada model asas asal, yang selamat dan cekap.

Ini adalah pendekatan yang lebih praktikal dan cekap, diterbitkan pada KDD2021, yang dapat merealisasikan personaliti dalam talian model GNN berubah. Perkara yang paling penting ialah kami mendapati daripada amalan sedemikian bahawa dengan mengesan maklumat subgraf model tempatan ini, prestasi keseluruhan sememangnya boleh dipertingkatkan secara berterusan. Ia juga mengurangkan kesan Matthew.

Dalam sistem pengesyoran, pengguna ekor masih menghadapi masalah kesan Matthew pada data graf. Walau bagaimanapun, jika kami menggunakan pendekatan pemodelan divide-and-conquer dan memperibadikan subgraf, kami boleh meningkatkan pengalaman pengesyoran untuk pengguna yang mempunyai tingkah laku yang jarang. Khusus untuk orang ramai, peningkatan prestasi akan menjadi lebih ketara

3. Sistem pengesyoran GNNs kolaboratif awan peranti Pelaksanaan

Dalam sistem pengesyoran GNN, terdapat model GNN untuk perkhidmatan bahagian awan dan model kecil GNN untuk pihak pelanggan. Terdapat tiga bentuk pelaksanaan perkhidmatan sistem pengesyoran GNN Yang pertama ialah pengesyoran sesi, yang merupakan pengesyoran sesi kelompok biasa dalam sistem pengesyoran untuk menjimatkan kos, iaitu pengesyoran kelompok dibuat pada satu masa dan memerlukan pengguna menyemak imbas banyak produk pengesyoran akan dicetuskan semula. Yang kedua ialah mengesyorkan hanya satu demi satu dalam kes yang melampau. Jenis ketiga ialah model diperibadikan hujung ke hujung yang kami nyatakan. Setiap satu daripada tiga kaedah sistem pengesyoran ini mempunyai kelebihan tersendiri Apabila minat pengguna berubah secara perlahan, kami hanya memerlukan bahagian awan untuk melihatnya dengan tepat, jadi sudah cukup untuk model sisi awan melakukan pengesyoran sesi. Apabila minat pengguna berubah dengan lebih banyak dan lebih pelbagai, pengesyoran diperibadikan subgraf sebelah hujung secara relatifnya boleh meningkatkan prestasi pengesyoran.

Dalam situasi di mana tingkah laku pengguna tiba-tiba menjadi sangat jarang, pengesyoran lebih bergantung pada penaakulan akal. Untuk menyelaraskan tiga gelagat pengesyoran ini, penyelaras meta - Pengawal Meta boleh diwujudkan untuk menyelaraskan sistem pengesyoran GNN Satu cabaran dalam membina sistem pengesyoran kolaboratif peranti-awan kewujudan bersama tiga hala ialah pembinaan set data, kerana kami tidak tidak tahu cara mengurus model ini dan cara membuat keputusan. Oleh itu, ini hanyalah mekanisme penaakulan kontrafaktual Walaupun kami tidak mempunyai set data sedemikian, kami mempunyai set data saluran tunggal dan kami membina beberapa model proksi melalui penilaian untuk menilai kesan penyebabnya. Sekiranya kesan penyebabnya agak besar, maka faedah membuat keputusan sedemikian akan menjadi agak besar, dan label pseudo, iaitu set data kontrafaktual, boleh dibina. Langkah-langkah khusus adalah seperti berikut:

Terdapat tiga model D0, D1 dan D2 dalam satu saluran, dan model kausal ejen dipelajari dengan , menganggarkan kesan kausalnya untuk membina label keputusan, dan membina set data kaunterfaktual untuk melatih penyelaras meta. Akhir sekali, kita boleh membuktikan bahawa penyelaras meta ini mempunyai peningkatan prestasi yang stabil berbanding dengan setiap model saluran tunggal. Ia mempunyai kelebihan yang ketara berbanding heuristik rawak. Kami boleh membina sistem pengesyoran untuk kerjasama awan peranti dengan cara ini.

4. Isu keselamatan sistem pengesyoran GNN sebelah hujung

Akhir sekali, mari kita bincangkan isu keselamatan sistem pengesyoran GNN sebelah hujung. Sebaik sahaja sistem pengesyoran GNN kolaboratif peranti awan dibuka untuk digunakan, ia pasti akan menghadapi masalah dalam persekitaran terbuka. Oleh kerana model itu perlu diperibadikan untuk pembelajaran, akan terdapat beberapa risiko serangan, seperti serangan melarikan diri, serangan keracunan, serangan pintu belakang, dll., yang akhirnya boleh menyebabkan sistem pengesyoran menghadapi risiko keselamatan yang besar#🎜 🎜##🎜🎜 #

Kuasa pengkomputeran asas memacu arah sistem pengesyoran GNN kolaboratif awan akhir semasa, tetapi masih dalam peringkat awal pembangunan dan mempunyai beberapa masalah yang berpotensi, seperti isu keselamatan Pada masa yang sama, masih terdapat banyak ruang untuk penambahbaikan dalam bidang pemodelan model yang diperibadikan.

5. Sesi Soal Jawab

S1: Apabila membina model graf pada penghujung, adakah trafik subgraf akan diedarkan terlalu banyak?

A1: Sub-gambar tidak diedarkan, ia sebenarnya diagregatkan. Perkara pertama ialah sub-gambar diedarkan dengan cara yang disertakan. Sebagai contoh, apabila kami ingin mengesyorkan produk, ia secara semula jadi akan membawa maklumat atribut produk. Di sini, terbitan yang disertakan mempunyai tahap overhed yang sama dengan atribut Sebenarnya, overhed tidak terlalu tinggi. Kerana ia tidak menyampaikan keseluruhan gambaran besar, tetapi hanya beberapa subgraf jiran Paling banyak, subgraf jiran tertib kedua masih sangat kecil. Perkara kedua ialah beberapa subgraf pada penghujung dibina secara automatik berdasarkan beberapa kejadian bersama dan klik berdasarkan maklum balas daripada gelagat pengguna, jadi ia merupakan satu bentuk pengagregatan dua hujung dan kos keseluruhannya tidak terlalu besar.

Atas ialah kandungan terperinci Teknologi GNN digunakan pada sistem pengesyoran dan aplikasi praktikalnya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!