


Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman 'Memahami Pembelajaran Perwakilan Seliaan Sendiri' menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.
Pra-latihan telah muncul sebagai paradigma alternatif dan berkesan untuk mengatasi kelemahan ini, di mana model mula-mula dilatih menggunakan data yang mudah didapati dan kemudian digunakan untuk menyelesaikan tugas hiliran yang diminati, dengan data yang kurang berlabel berbanding pembelajaran yang diselia. .
Pra-latihan menggunakan data tidak berlabel, iaitu pembelajaran penyeliaan kendiri, amat revolusioner dan telah berjaya dalam pelbagai bidang: teks, penglihatan, pertuturan, dsb.
Ini menimbulkan persoalan yang menarik dan mencabar: Mengapakah pra-latihan pada data tidak berlabel harus membantu tugas hiliran yang kelihatan tidak berkaitan?
Alamat kertas: https://dataspace.princeton.edu/ handle/88435/dsp01t435gh21h
Kertas kerja ini membentangkan beberapa kerja yang mencadangkan dan membina rangka kerja teori untuk menyiasat mengapa pembelajaran penyeliaan kendiri bermanfaat untuk tugas hiliran.
Rangka kerja ini sesuai untuk pembelajaran kontrastif, pemodelan bahasa autoregresif dan kaedah berasaskan ramalan kendiri. Idea teras rangka kerja ini ialah pra-latihan membantu mempelajari representasi data berdimensi rendah, yang seterusnya membantu menyelesaikan tugas hiliran yang diminati dengan pengelas linear, yang memerlukan kurang data berlabel.
Topik biasa ialah memformalkan sifat ideal pengedaran data tidak berlabel untuk membina tugas pembelajaran yang diselia sendiri. Dengan pemformalan yang sesuai, dapat ditunjukkan bahawa lebih kurang meminimumkan objektif pra-latihan yang betul boleh mengekstrak isyarat hiliran yang dikodkan secara tersirat dalam pengedaran data tidak berlabel.
Akhir sekali, ditunjukkan bahawa isyarat boleh dinyahkod daripada perwakilan yang dipelajari menggunakan pengelas linear, sekali gus menyediakan pemformalkan untuk pemindahan "kemahiran dan pengetahuan" merentas tugas.
Pengenalan
Dalam usaha mereka bentuk ejen dan penyelesaian terdorong data kepada masalah Dalam proses itu, bidang pembelajaran mesin dan kecerdasan buatan telah mencapai kemajuan yang luar biasa dalam dekad yang lalu. Dengan kejayaan awal dalam penanda aras pembelajaran diselia yang mencabar seperti ImageNet [Deng et al., 2009], inovasi dalam pembelajaran mendalam kemudiannya membawa kepada model dengan prestasi luar biasa pada banyak penanda aras sedemikian dalam domain yang berbeza. Melatih model khusus tugasan sedemikian sememangnya mengagumkan dan mempunyai nilai praktikal yang besar. Walau bagaimanapun, ia mempunyai had penting dalam memerlukan set data berlabel atau beranotasi yang besar, yang selalunya mahal. Tambahan pula, dari perspektif kecerdasan, seseorang berharap untuk mempunyai model yang lebih umum yang, seperti manusia [Ahn dan Brewer, 1993], boleh belajar daripada pengalaman terdahulu, meringkaskannya ke dalam kemahiran atau konsep, dan menggunakan kemahiran atau Konsep ini untuk menyelesaikan tugasan baru dengan sedikit atau tiada demonstrasi. Lagipun, bayi belajar banyak melalui pemerhatian dan interaksi tanpa pengawasan yang jelas. Batasan ini memberi inspirasi kepada paradigma alternatif untuk pralatihan.
Tumpuan artikel ini adalah pada pra-latihan menggunakan jumlah data tidak berlabel yang tersedia dalam jumlah yang banyak. Idea untuk menggunakan data tidak berlabel telah lama menjadi tumpuan dalam pembelajaran mesin, terutamanya melalui pembelajaran tanpa seliaan dan separa penyeliaan. Penyesuaian moden menggunakan pembelajaran mendalam sering dipanggil pembelajaran penyeliaan kendiri (SSL) dan telah mula mengubah landskap pembelajaran mesin dan kecerdasan buatan melalui idea seperti pembelajaran kontrastif dan pemodelan bahasa. Idea pembelajaran penyeliaan sendiri adalah untuk membina tugasan tertentu menggunakan hanya data tidak berlabel, dan melatih model untuk melaksanakan tugas yang dibina dengan baik. Tugasan sedemikian biasanya memerlukan model untuk mengekod sifat struktur data dengan meramalkan bahagian (atau sifat) input yang tidak diperhatikan atau tersembunyi daripada bahagian yang diperhatikan atau disimpan [LeCun dan Misra, 2021]. Pembelajaran penyeliaan sendiri telah menunjukkan keluasan dan utiliti pada banyak tugas hiliran yang diminati, selalunya dengan kecekapan sampel yang lebih baik daripada menyelesaikan tugas dari awal, membawa kita satu langkah lebih dekat kepada matlamat ejen tujuan umum. Malah, baru-baru ini, model bahasa besar seperti GPT-3 [Brown et al., 2020] telah menunjukkan "tingkah laku timbul" yang menarik yang berlaku pada skala, mencetuskan lebih minat terhadap idea pralatihan yang diselia sendiri.
Walaupun pembelajaran penyeliaan kendiri telah berjaya secara empirikal dan terus menunjukkan janji yang hebat, di luar gerak hati yang kasar, pemahaman teori yang baik tentang cara ia berfungsi masih kurang. Kejayaan yang mengagumkan ini menimbulkan persoalan yang menarik kerana tidak jelas secara priori mengapa model yang dilatih pada satu tugas harus membantu tugasan lain yang kelihatan tidak berkaitan, iaitu mengapa latihan mengenai tugas a harus membantu Tugas b. Walaupun pemahaman teori lengkap tentang SSL (dan pembelajaran mendalam secara umum) adalah mencabar dan sukar difahami, memahami fenomena ini pada mana-mana tahap abstraksi boleh membantu membangunkan algoritma yang lebih berprinsip. Motivasi penyelidikan artikel ini ialah:
Mengapa latihan tentang tugasan pembelajaran yang diselia sendiri (menggunakan sejumlah besar data tidak berlabel) membantu menyelesaikan tugas hiliran yang kekurangan data Bagaimana untuk memindahkan "pengetahuan dan kemahiran" Memformalkan? ?
Walaupun terdapat sejumlah besar literatur tentang pembelajaran diselia, generalisasi daripada tugas SSL → tugas hiliran pada asasnya berbeza daripada generalisasi daripada set latihan → set ujian dalam pembelajaran diselia. Untuk pembelajaran diselia untuk tugas hiliran pengelasan, contohnya, model yang dilatih pada set latihan pasangan label input yang disampel daripada pengedaran yang tidak diketahui boleh digunakan secara langsung untuk penilaian pada set ujian ghaib yang disampel daripada pengedaran yang sama. Pengedaran asas ini mewujudkan sambungan dari set latihan ke set ujian. Walau bagaimanapun, sambungan konsep dari tugas SSL→tugas hiliran kurang jelas kerana data tidak berlabel yang digunakan dalam tugas SSL tidak mempunyai isyarat jelas tentang label hiliran. Ini bermakna model yang dipralatih pada tugasan SSL (cth., meramalkan sebahagian daripada input daripada yang lain) tidak boleh digunakan secara langsung pada tugasan hiliran (cth., meramalkan label kelas daripada input). Oleh itu, pemindahan "pengetahuan dan kemahiran" memerlukan langkah latihan tambahan menggunakan beberapa data berlabel, idealnya kurang daripada apa yang diperlukan untuk pembelajaran diselia dari awal. Sebarang pemahaman teori tentang tugas SSL → generalisasi tugas hiliran perlu menjawab soalan-soalan ini: "Apakah peranan intrinsik data tidak berlabel? dan "Bagaimana untuk menggunakan model pra-latihan untuk tugas hiliran?" Kertas ini menyasarkan tugas hiliran klasifikasi, dengan Buat andaian pengedaran pada data tidak berlabel dan gunakan idea pembelajaran perwakilan untuk mengkaji isu ini:
(a) (Andaian Pengedaran) Pengagihan data tidak berlabel secara tersirat mengandungi berkaitan Maklumat tentang tugas klasifikasi hiliran yang diminati.
(b) (Pembelajaran Perwakilan) Model yang dilatih pada tugas SSL yang sesuai boleh mengekod isyarat melalui perwakilan yang dipelajari yang kemudiannya tugas pengelasan hiliran boleh diselesaikan menggunakan pengelas linear.
Titik (a) menunjukkan bahawa beberapa sifat struktur tidak berlabel secara tersirat memberi kita petunjuk tentang tugas hiliran seterusnya, dan pembelajaran penyeliaan kendiri boleh membantu belajar daripada data untuk mengusik isyarat ini . Perkara (b) mencadangkan cara yang mudah dan berkesan secara empirikal untuk menggunakan model terlatih, memanfaatkan perwakilan yang dipelajari model. Kertas kerja ini mengenal pasti dan mengira secara matematik sifat pengagihan data tidak berlabel, menunjukkan bahawa perwakilan yang baik boleh dipelajari untuk kaedah SSL yang berbeza seperti pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri. Dalam bahagian seterusnya, kami menyelidiki idea pembelajaran perwakilan dan menerangkan secara rasmi mengapa pembelajaran penyeliaan kendiri membantu tugasan hiliran.
Atas ialah kandungan terperinci Mengapa pemantauan diri berkesan? Tesis kedoktoran Princeton setebal 243 halaman 'Memahami Pembelajaran Perwakilan Seliaan Sendiri' menerangkan secara menyeluruh tiga jenis kaedah: pembelajaran kontrastif, pemodelan bahasa dan ramalan kendiri.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Ditulis sebelum ini, hari ini kita membincangkan bagaimana teknologi pembelajaran mendalam boleh meningkatkan prestasi SLAM berasaskan penglihatan (penyetempatan dan pemetaan serentak) dalam persekitaran yang kompleks. Dengan menggabungkan kaedah pengekstrakan ciri dalam dan pemadanan kedalaman, di sini kami memperkenalkan sistem SLAM visual hibrid serba boleh yang direka untuk meningkatkan penyesuaian dalam senario yang mencabar seperti keadaan cahaya malap, pencahayaan dinamik, kawasan bertekstur lemah dan seks yang teruk. Sistem kami menyokong berbilang mod, termasuk konfigurasi monokular, stereo, monokular-inersia dan stereo-inersia lanjutan. Selain itu, ia juga menganalisis cara menggabungkan SLAM visual dengan kaedah pembelajaran mendalam untuk memberi inspirasi kepada penyelidikan lain. Melalui percubaan yang meluas pada set data awam dan data sampel sendiri, kami menunjukkan keunggulan SL-SLAM dari segi ketepatan kedudukan dan keteguhan penjejakan.

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi
