Jadual Kandungan
Pengenalan
Rumah Peranti teknologi AI Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman 'Memahami Pembelajaran Perwakilan Seliaan Sendiri' menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.

Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman 'Memahami Pembelajaran Perwakilan Seliaan Sendiri' menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.

Apr 15, 2023 am 08:13 AM
Model pembelajaran yang mendalam

Pra-latihan telah muncul sebagai paradigma alternatif dan berkesan untuk mengatasi kelemahan ini, di mana model mula-mula dilatih menggunakan data yang mudah didapati dan kemudian digunakan untuk menyelesaikan tugas hiliran yang diminati, dengan data yang kurang berlabel berbanding pembelajaran yang diselia. .

Pra-latihan menggunakan data tidak berlabel, iaitu pembelajaran penyeliaan kendiri, amat revolusioner dan telah berjaya dalam pelbagai bidang: teks, penglihatan, pertuturan, dsb.

Ini menimbulkan persoalan yang menarik dan mencabar: Mengapakah pra-latihan pada data tidak berlabel harus membantu tugas hiliran yang kelihatan tidak berkaitan?

Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman Memahami Pembelajaran Perwakilan Seliaan Sendiri menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.

Alamat kertas: https://dataspace.princeton.edu/ handle/88435/dsp01t435gh21h

Kertas kerja ini membentangkan beberapa kerja yang mencadangkan dan membina rangka kerja teori untuk menyiasat mengapa pembelajaran penyeliaan kendiri bermanfaat untuk tugas hiliran.

Rangka kerja ini sesuai untuk pembelajaran kontrastif, pemodelan bahasa autoregresif dan kaedah berasaskan ramalan kendiri. Idea teras rangka kerja ini ialah pra-latihan membantu mempelajari representasi data berdimensi rendah, yang seterusnya membantu menyelesaikan tugas hiliran yang diminati dengan pengelas linear, yang memerlukan kurang data berlabel.

Topik biasa ialah memformalkan sifat ideal pengedaran data tidak berlabel untuk membina tugas pembelajaran yang diselia sendiri. Dengan pemformalan yang sesuai, dapat ditunjukkan bahawa lebih kurang meminimumkan objektif pra-latihan yang betul boleh mengekstrak isyarat hiliran yang dikodkan secara tersirat dalam pengedaran data tidak berlabel.

Akhir sekali, ditunjukkan bahawa isyarat boleh dinyahkod daripada perwakilan yang dipelajari menggunakan pengelas linear, sekali gus menyediakan pemformalkan untuk pemindahan "kemahiran dan pengetahuan" merentas tugas.

Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman Memahami Pembelajaran Perwakilan Seliaan Sendiri menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.

Pengenalan

Dalam usaha mereka bentuk ejen dan penyelesaian terdorong data kepada masalah Dalam proses itu, bidang pembelajaran mesin dan kecerdasan buatan telah mencapai kemajuan yang luar biasa dalam dekad yang lalu. Dengan kejayaan awal dalam penanda aras pembelajaran diselia yang mencabar seperti ImageNet [Deng et al., 2009], inovasi dalam pembelajaran mendalam kemudiannya membawa kepada model dengan prestasi luar biasa pada banyak penanda aras sedemikian dalam domain yang berbeza. Melatih model khusus tugasan sedemikian sememangnya mengagumkan dan mempunyai nilai praktikal yang besar. Walau bagaimanapun, ia mempunyai had penting dalam memerlukan set data berlabel atau beranotasi yang besar, yang selalunya mahal. Tambahan pula, dari perspektif kecerdasan, seseorang berharap untuk mempunyai model yang lebih umum yang, seperti manusia [Ahn dan Brewer, 1993], boleh belajar daripada pengalaman terdahulu, meringkaskannya ke dalam kemahiran atau konsep, dan menggunakan kemahiran atau Konsep ini untuk menyelesaikan tugasan baru dengan sedikit atau tiada demonstrasi. Lagipun, bayi belajar banyak melalui pemerhatian dan interaksi tanpa pengawasan yang jelas. Batasan ini memberi inspirasi kepada paradigma alternatif untuk pralatihan.

Tumpuan artikel ini adalah pada pra-latihan menggunakan jumlah data tidak berlabel yang tersedia dalam jumlah yang banyak. Idea untuk menggunakan data tidak berlabel telah lama menjadi tumpuan dalam pembelajaran mesin, terutamanya melalui pembelajaran tanpa seliaan dan separa penyeliaan. Penyesuaian moden menggunakan pembelajaran mendalam sering dipanggil pembelajaran penyeliaan kendiri (SSL) dan telah mula mengubah landskap pembelajaran mesin dan kecerdasan buatan melalui idea seperti pembelajaran kontrastif dan pemodelan bahasa. Idea pembelajaran penyeliaan sendiri adalah untuk membina tugasan tertentu menggunakan hanya data tidak berlabel, dan melatih model untuk melaksanakan tugas yang dibina dengan baik. Tugasan sedemikian biasanya memerlukan model untuk mengekod sifat struktur data dengan meramalkan bahagian (atau sifat) input yang tidak diperhatikan atau tersembunyi daripada bahagian yang diperhatikan atau disimpan [LeCun dan Misra, 2021]. Pembelajaran penyeliaan sendiri telah menunjukkan keluasan dan utiliti pada banyak tugas hiliran yang diminati, selalunya dengan kecekapan sampel yang lebih baik daripada menyelesaikan tugas dari awal, membawa kita satu langkah lebih dekat kepada matlamat ejen tujuan umum. Malah, baru-baru ini, model bahasa besar seperti GPT-3 [Brown et al., 2020] telah menunjukkan "tingkah laku timbul" yang menarik yang berlaku pada skala, mencetuskan lebih minat terhadap idea pralatihan yang diselia sendiri.

Walaupun pembelajaran penyeliaan kendiri telah berjaya secara empirikal dan terus menunjukkan janji yang hebat, di luar gerak hati yang kasar, pemahaman teori yang baik tentang cara ia berfungsi masih kurang. Kejayaan yang mengagumkan ini menimbulkan persoalan yang menarik kerana tidak jelas secara priori mengapa model yang dilatih pada satu tugas harus membantu tugasan lain yang kelihatan tidak berkaitan, iaitu mengapa latihan mengenai tugas a harus membantu Tugas b. Walaupun pemahaman teori lengkap tentang SSL (dan pembelajaran mendalam secara umum) adalah mencabar dan sukar difahami, memahami fenomena ini pada mana-mana tahap abstraksi boleh membantu membangunkan algoritma yang lebih berprinsip. Motivasi penyelidikan artikel ini ialah:

Mengapa latihan tentang tugasan pembelajaran yang diselia sendiri (menggunakan sejumlah besar data tidak berlabel) membantu menyelesaikan tugas hiliran yang kekurangan data Bagaimana untuk memindahkan "pengetahuan dan kemahiran" Memformalkan? ?

Walaupun terdapat sejumlah besar literatur tentang pembelajaran diselia, generalisasi daripada tugas SSL → tugas hiliran pada asasnya berbeza daripada generalisasi daripada set latihan → set ujian dalam pembelajaran diselia. Untuk pembelajaran diselia untuk tugas hiliran pengelasan, contohnya, model yang dilatih pada set latihan pasangan label input yang disampel daripada pengedaran yang tidak diketahui boleh digunakan secara langsung untuk penilaian pada set ujian ghaib yang disampel daripada pengedaran yang sama. Pengedaran asas ini mewujudkan sambungan dari set latihan ke set ujian. Walau bagaimanapun, sambungan konsep dari tugas SSL→tugas hiliran kurang jelas kerana data tidak berlabel yang digunakan dalam tugas SSL tidak mempunyai isyarat jelas tentang label hiliran. Ini bermakna model yang dipralatih pada tugasan SSL (cth., meramalkan sebahagian daripada input daripada yang lain) tidak boleh digunakan secara langsung pada tugasan hiliran (cth., meramalkan label kelas daripada input). Oleh itu, pemindahan "pengetahuan dan kemahiran" memerlukan langkah latihan tambahan menggunakan beberapa data berlabel, idealnya kurang daripada apa yang diperlukan untuk pembelajaran diselia dari awal. Sebarang pemahaman teori tentang tugas SSL → generalisasi tugas hiliran perlu menjawab soalan-soalan ini: "Apakah peranan intrinsik data tidak berlabel? dan "Bagaimana untuk menggunakan model pra-latihan untuk tugas hiliran?" Kertas ini menyasarkan tugas hiliran klasifikasi, dengan Buat andaian pengedaran pada data tidak berlabel dan gunakan idea pembelajaran perwakilan untuk mengkaji isu ini:

(a) (Andaian Pengedaran) Pengagihan data tidak berlabel secara tersirat mengandungi berkaitan Maklumat tentang tugas klasifikasi hiliran yang diminati.

(b) (Pembelajaran Perwakilan) Model yang dilatih pada tugas SSL yang sesuai boleh mengekod isyarat melalui perwakilan yang dipelajari yang kemudiannya tugas pengelasan hiliran boleh diselesaikan menggunakan pengelas linear.

Titik (a) menunjukkan bahawa beberapa sifat struktur tidak berlabel secara tersirat memberi kita petunjuk tentang tugas hiliran seterusnya, dan pembelajaran penyeliaan kendiri boleh membantu belajar daripada data untuk mengusik isyarat ini . Perkara (b) mencadangkan cara yang mudah dan berkesan secara empirikal untuk menggunakan model terlatih, memanfaatkan perwakilan yang dipelajari model. Kertas kerja ini mengenal pasti dan mengira secara matematik sifat pengagihan data tidak berlabel, menunjukkan bahawa perwakilan yang baik boleh dipelajari untuk kaedah SSL yang berbeza seperti pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri. Dalam bahagian seterusnya, kami menyelidiki idea pembelajaran perwakilan dan menerangkan secara rasmi mengapa pembelajaran penyeliaan kendiri membantu tugasan hiliran.

Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman Memahami Pembelajaran Perwakilan Seliaan Sendiri menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.

Atas ialah kandungan terperinci Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman 'Memahami Pembelajaran Perwakilan Seliaan Sendiri' menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Di luar ORB-SLAM3! SL-SLAM: Adegan bertekstur lemah ringan, kegelisahan teruk dan lemah semuanya dikendalikan Di luar ORB-SLAM3! SL-SLAM: Adegan bertekstur lemah ringan, kegelisahan teruk dan lemah semuanya dikendalikan May 30, 2024 am 09:35 AM

Ditulis sebelum ini, hari ini kita membincangkan bagaimana teknologi pembelajaran mendalam boleh meningkatkan prestasi SLAM berasaskan penglihatan (penyetempatan dan pemetaan serentak) dalam persekitaran yang kompleks. Dengan menggabungkan kaedah pengekstrakan ciri dalam dan pemadanan kedalaman, di sini kami memperkenalkan sistem SLAM visual hibrid serba boleh yang direka untuk meningkatkan penyesuaian dalam senario yang mencabar seperti keadaan cahaya malap, pencahayaan dinamik, kawasan bertekstur lemah dan seks yang teruk. Sistem kami menyokong berbilang mod, termasuk konfigurasi monokular, stereo, monokular-inersia dan stereo-inersia lanjutan. Selain itu, ia juga menganalisis cara menggabungkan SLAM visual dengan kaedah pembelajaran mendalam untuk memberi inspirasi kepada penyelidikan lain. Melalui percubaan yang meluas pada set data awam dan data sampel sendiri, kami menunjukkan keunggulan SL-SLAM dari segi ketepatan kedudukan dan keteguhan penjejakan.

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye Apr 26, 2024 am 11:37 AM

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

See all articles