Adakah anda perlu bertanya tentang model bahasa semasa berkencan dengan teman lelaki anda? Sifat: Cadangkan idea dan ringkaskan nota GPT-3 telah menjadi 'pekerja penyelidik saintifik' kontemporari.

Biarkan monyet menekan kekunci secara rawak pada mesin taip Selagi anda memberikannya cukup lama, ia boleh menaip karya lengkap Shakespeare.

Bagaimana jika monyet yang memahami tatabahasa dan semantik? Jawapannya ialah penyelidikan saintifik pun boleh dilakukan untuk anda!

Momentum pembangunan model bahasa sangat pesat Beberapa tahun lalu, ia hanya boleh melengkapkan perkataan seterusnya secara automatik untuk menjadi input pada kaedah input Hari ini, ia sudah dapat membantu penyelidik menganalisis dan menulis kertas saintifik dan menjana kod.

Latihan model bahasa besar (LLM) secara amnya memerlukan sejumlah besar data teks untuk sokongan.

Pada tahun 2020, OpenAI mengeluarkan model GPT-3 dengan 175 bilion parameter Ia boleh menulis puisi, menyelesaikan masalah matematik dan hampir semua model generatif yang boleh dilakukan oleh GPT-3 mencapai yang muktamad Malah pada hari ini, GPT-3 masih menjadi garis dasar untuk banyak model bahasa untuk dibandingkan dan diatasi.

Selepas keluaran GPT-3, ia dengan cepat mencetuskan perbincangan hangat di Twitter dan media sosial lain Sebilangan besar penyelidik terkejut dengan kaedah "tulisan seperti manusia" yang pelik ini.

Selepas GPT-3 mengeluarkan perkhidmatan dalam taliannya, pengguna boleh memasukkan teks sesuka hati dan membiarkan model mengembalikan yang berikut Caj minimum setiap 750 perkataan yang diproses hanya $0.0004, yang sangat berpatutan .

Baru-baru ini, satu artikel telah diterbitkan dalam ruangan Alam tentang sains dan teknologi, saya tidak sangka selain membantu anda menulis esei, model bahasa ini juga boleh membantu anda "lakukan penyelidikan saintifik"!

Biar mesin membantu anda berfikir

Hafsteinn Einarsson, seorang saintis komputer di Universiti Iceland di Reykjavik, berkata: Saya hampir menggunakannya setiap hari GPT-3, seperti menyemak abstrak kertas.

Ketika Einarsson sedang menyediakan salinan pada mesyuarat pada bulan Jun, walaupun GPT-3 membuat banyak cadangan pengubahsuaian yang tidak berguna, terdapat juga beberapa cadangan yang berguna, seperti "Buat soalan kajian dalam abstrak" "Permulaan manuskrip lebih jelas", dan anda tidak akan menyedari masalah seperti ini apabila anda membaca manuskrip itu sendiri, melainkan anda meminta orang lain membacanya untuk anda. Dan mengapa orang lain ini tidak boleh "GPT-3"?

Model bahasa malah boleh membantu anda memperbaik reka bentuk percubaan anda!

Dalam projek lain, Einarsson mahu menggunakan permainan Pictionary untuk mengumpul data bahasa dalam kalangan peserta.

Selepas memberi penerangan tentang permainan, GPT-3 memberikan beberapa cadangan untuk pengubahsuaian permainan. Secara teori, penyelidik juga boleh meminta percubaan baru pada protokol eksperimen.

Sesetengah penyelidik juga menggunakan model bahasa untuk menjana tajuk kertas atau menjadikan teks lebih mudah dibaca.

Kaedah yang digunakan oleh Mina Lee, pelajar kedoktoran yang merupakan profesor sains komputer di Universiti Stanford, ialah memasukkan "Gunakan kata kunci ini untuk menjana tajuk kertas" ke dalam GPT-3 sebagai gesaan, dan model akan Kami akan membantu anda menghasilkan beberapa tajuk.

Jika beberapa bab perlu ditulis semula, dia juga akan menggunakan Wordtune, pembantu penulisan kecerdasan buatan yang dikeluarkan oleh makmal AI21 di Tel Aviv, Israel Dia hanya perlu mengklik "Tulis Semula". untuk menukar Hanya tulis semula petikan dalam berbilang versi dan kemudian pilih dengan teliti.

Lee juga akan meminta GPT-3 untuk memberikan nasihat tentang beberapa perkara dalam kehidupan Contohnya, apabila bertanya "bagaimana untuk memperkenalkan teman lelakinya kepada ibu bapanya", GPT-3 mencadangkan pergi pantai.

Domenic Rosati, seorang saintis komputer di Scite, sebuah syarikat permulaan teknologi yang terletak di Brooklyn, New York, menggunakan model bahasa Generate untuk menyusun semula ideanya.

Pautan: https://cohere.ai/generate

Jana oleh NLP di Kanada Dibangunkan oleh syarikat Cohere, aliran kerja model itu sangat serupa dengan GPT-3.

Anda hanya perlu memasukkan nota, atau hanya bercakap tentang beberapa idea, dan akhirnya menambah "ringkaskan" atau "menjadikannya konsep abstrak", dan model akan menyusunnya secara automatik untuk idea anda.

Kenapa tulis kod sendiri?

Penyelidik OpenAI melatih GPT-3 pada sejumlah besar teks, termasuk buku, berita, entri Wikipedia dan kod perisian.

Kemudian, pasukan menyedari bahawa GPT-3 boleh melengkapkan kod seperti teks biasa.

Para penyelidik mencipta versi algoritma yang diperhalusi yang dipanggil Codex, dilatih pada lebih daripada 150G teks daripada platform perkongsian kod GitHub GitHub kini telah menyepadukan Codex ke dalam perkhidmatan Copilot , pengguna boleh dibantu dalam menulis kod.

Luca Soldaini, seorang saintis komputer di AI2 di Allen Institute for Artificial Intelligence di Seattle, Washington, berkata sekurang-kurangnya separuh daripada orang di pejabat mereka menggunakan Copilot

Soldaini berkata Copilot paling sesuai untuk senario pengaturcaraan berulang. Sebagai contoh, salah satu projeknya melibatkan menulis kod templat untuk memproses PDF, dan Copilot menyelesaikannya secara langsung.

Walau bagaimanapun, Copilot sering melakukan kesilapan semasa melengkapkan kandungan, jadi sebaiknya gunakannya dalam bahasa yang anda biasa gunakan.

Pencarian sastera

Mungkin senario aplikasi model bahasa yang paling matang ialah mencari dan meringkaskan dokumen.

Enjin carian Semantic Scholar yang dibangunkan oleh AI2 menggunakan model bahasa TLDR untuk memberikan penerangan seperti Twitter bagi setiap kertas kerja.

Enjin carian merangkumi kira-kira 200 juta kertas, kebanyakannya daripada bioperubatan dan sains komputer.

Pembangunan TLDR adalah berdasarkan model BART yang dikeluarkan sebelum ini oleh Meta, dan kemudian penyelidik AI2 memperhalusi model tersebut berdasarkan ringkasan tulisan manusia.

Menurut piawaian hari ini, TLDR bukanlah model bahasa yang besar, kerana ia hanya mengandungi kira-kira 400 juta parameter, manakala versi terbesar GPT-3 mengandungi 175 bilion.

TLDR juga digunakan dalam Semantic Reader, aplikasi kertas saintifik lanjutan yang dibangunkan oleh AI2.

Apabila pengguna menggunakan petikan dalam teks dalam Pembaca Semantik, kotak maklumat yang mengandungi ringkasan TLDR akan muncul.

Dan Weld, ketua saintis Semantic Scholar, berkata idea kami ialah menggunakan model bahasa untuk meningkatkan pengalaman membaca.

Apabila model bahasa menghasilkan ringkasan teks, model itu mungkin menghasilkan beberapa fakta yang tidak wujud dalam artikel Penyelidik memanggil masalah ini sebagai "ilusi", tetapi sebenarnya bahasa Model itu hanya mengada-adakan atau berbohong.

TLDR menunjukkan prestasi yang baik dalam ujian ketulenan. Pengarang kertas menilai ketepatan TLDR sebagai 2.5 mata (daripada 3 mata).

Weld berkata TLDR adalah lebih realistik kerana ringkasan hanya kira-kira 20 patah perkataan sahaja, dan mungkin kerana algoritma tidak memasukkan perkataan ke dalam ringkasan yang tidak muncul dalam teks.

Dari segi alat carian, Ought, sebuah organisasi bukan untung pembelajaran mesin di San Francisco, California, melancarkan Elicit pada tahun 2021. Jika pengguna bertanya "Apakah kesan kesedaran terhadap membuat keputusan ?" ia akan Keluarkan jadual yang mengandungi sepuluh kertas.

Pengguna boleh meminta perisian untuk mengisi lajur dengan perkara seperti abstrak dan metadata, serta maklumat tentang peserta kajian , kaedah dan maklumat keputusan, yang kemudiannya diekstrak atau dijana daripada kertas menggunakan alatan termasuk GPT-3.

Hala tuju penyelidikan Joel Chan ialah interaksi manusia-komputer di University of Maryland, College Park Setiap kali dia memulakan projek baharu, dia menggunakan Elicit untuk mencari kertas kerja yang berkaitan.

Gustav Nilsonne, ahli sains saraf di Institut Karolinska di Stockholm, juga menggunakan Elicit untuk mencari kertas dengan data yang boleh ditambahkan pada meta-analisis yang tidak ditemui dalam carian lain fail.

Model berkembang

Prototaip AI2 memberikan LLM rasa futuristik.

Kadangkala penyelidik mempunyai soalan selepas membaca abstrak kertas saintifik tetapi tidak sempat membaca teks penuh.

Sebuah pasukan di AI2 juga telah membangunkan alat yang boleh menjawab soalan-soalan ini dalam bidang NLP.

Model pertama memerlukan penyelidik membaca abstrak kertas NLP dan kemudian bertanya soalan yang berkaitan (seperti "Apakah lima atribut perbualan yang dianalisis?")

Pasukan penyelidik kemudian meminta penyelidik lain menjawab soalan-soalan ini selepas membaca keseluruhan kertas kerja.

AI2 melatih versi lain model bahasa Longformer, memasukkannya sebagai kertas lengkap, dan kemudian menggunakan The yang dikumpul. set data menjana jawapan kepada soalan berbeza tentang kertas lain.

Model ACCoRD boleh menjana definisi dan analogi untuk 150 konsep saintifik yang berkaitan dengan NLP.

MS2 ialah set data yang mengandungi 470,000 dokumen perubatan dan 20,000 ringkasan berbilang dokumen Selepas memperhalusi BART dengan MS2, penyelidik dapat mengemukakan soalan dan satu set dokumen dan menjana A. ringkasan meta-analisis ringkas.

Pada 2019, AI2 memperhalusi BERT, model bahasa yang dicipta oleh Google pada 2018 dan mencipta SciBERT dengan 110 juta parameter berdasarkan kertas Semantic Scholar

Scite menggunakan kecerdasan buatan untuk mencipta enjin carian saintifik, memperhalusi lagi SciBERT supaya apabila enjin cariannya menyenaraikan kertas yang memetik kertas sasaran, ia mengkategorikan kertas tersebut sebagai menyokong, membezakan atau cara lain untuk merujuk kepada kertas.

Rosati berkata nuansa ini membantu orang ramai mengenal pasti batasan atau jurang dalam kesusasteraan saintifik.

Model SPECTER AI2 juga berdasarkan SciBERT, yang memudahkan kertas menjadi perwakilan matematik yang padat.

Penganjur persidangan menggunakan SPECTER untuk memadankan kertas yang diserahkan kepada pengulas rakan sebaya, dan Semantic Scholar menggunakannya untuk mengesyorkan kertas kerja berdasarkan perpustakaan pengguna, kata Weld.

Tom Hope, seorang saintis komputer di Hebrew University dan AI2, berkata mereka mempunyai projek penyelidikan memperhalusi model bahasa untuk mengenal pasti gabungan ubat yang berkesan, pautan antara gen dan penyakit serta cabaran saintifik dalam penyelidikan dan hala tuju COVID-19.

Tetapi bolehkah model bahasa memberikan cerapan yang lebih mendalam, malah keupayaan penemuan?

Pada bulan Mei, Hope dan Weld mengarang bersama ulasan dengan Ketua Pegawai Sains Microsoft Eric Horvitz yang menggariskan cabaran untuk mencapai matlamat ini, termasuk model pengajaran untuk "(infer ) adalah hasil daripada menyusun semula dua konsep."

Hope berkata ini pada dasarnya adalah perkara yang sama seperti OpenAI's DALL · Model penjanaan imej E 2 "menjana gambar kucing terbang ke angkasa", tetapi bagaimana kita boleh bergerak ke arah menggabungkan abstraksi Bagaimana pula dengan konsep saintifik yang sangat kompleks?

Ini soalan terbuka.

Hari ini, model bahasa yang besar telah memberi kesan yang nyata pada penyelidikan dan jika orang ramai belum mula menggunakan model bahasa yang besar ini untuk membantu kerja mereka, mereka akan terlepas peluang ini.

Rujukan:

https://www.nature.com/articles/d41586-022-03479-w

Atas ialah kandungan terperinci Adakah anda perlu bertanya tentang model bahasa semasa berkencan dengan teman lelaki anda? Sifat: Cadangkan idea dan ringkaskan nota GPT-3 telah menjadi 'pekerja penyelidik saintifik' kontemporari.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!