Fudan mengeluarkan ChatGPT versi Cina: MOSS mula menguji dan mencapai carian hangat, pelayan terlalu sesak

ChatGPT ialah AI yang paling maju dan aplikasi paling popular - sejak dikeluarkan pada penghujung November tahun lalu, pengguna aktif bulanannya telah melebihi 100 juta dalam masa dua bulan, dengan mudah menduduki tempat pertama dalam pertumbuhan pengguna dalam sejarah daripada Internet global.

Ia juga merupakan teknologi dengan ambang yang tinggi. Oleh kerana sumber pengkomputeran yang besar dan kos pelabelan yang tinggi diperlukan untuk proses latihan ChatGPT, pada masa ini tiada produk serupa yang dibuka kepada orang ramai di China. Syarikat Internet utama seperti Baidu, Alibaba, dan JD.com semuanya telah mengeluarkan berita bahawa mereka sedang membina "ChatGPT domestik" dan akan mengeluarkannya dalam masa terdekat.

Sebelum produk pengeluar utama disediakan, komuniti akademik mempunyai berita terlebih dahulu. Pada petang 20 Februari, Makmal Pemprosesan Bahasa Semulajadi Universiti Fudan mengeluarkan MOSS, model bahasa dengan keupayaan ChatGPT, dan menjemput orang ramai untuk ujian dalaman.

• Pautan pengalaman MOSS: https://moss.fastnlp.top/
• Laman utama projek MOSS: https://txsun1997.github.io/blogs/moss.html

Nama MOSS berasal daripada filem "The Wandering Earth" Sepopular filem itu, berita yang dikeluarkan oleh MOSS dengan cepat mencapai senarai carian hangat di Zhihu dan platform lain.

Walau bagaimanapun, tidak seperti fiksyen sains, AI dunia sebenar belum lagi mendapat restu komputer kuantum, dan ia adalah tidak 24 tahun lagi untuk dibuka kepada orang ramai Selama berjam-jam, disebabkan tekanan akses segera yang berlebihan, pelayan MOSS terlalu sesak malam tadi, yang menunjukkan betapa tingginya jangkaan semua orang untuk menjana model bahasa.

Menurut penyelidik dari Universiti Fudan, ia sedang dalam ujian dalaman dan sedang dioptimumkan secara berulang untuk interaksi pengguna dan tidak sesuai untuk ujian awam.

Kami tahu bahawa pemprosesan bahasa semula jadi adalah salah satu cabaran terbesar dalam bidang AI, dan walaupun kejayaan telah pun berlaku, bulan ini Carian Bing baharu yang dilancarkan dalam talian, serta produk pesaing BARD yang dikeluarkan oleh Google, mempunyai masalah dari semasa ke semasa semasa ujian Apakah tahap MOSS Universiti Fudan?

Bercakap dengan MOSS, bagaimana tahap anda?

Fungsi asas MOSS adalah serupa dengan ChatGPT Ia boleh menyelesaikan pelbagai tugas pemprosesan bahasa semula jadi mengikut arahan yang dimasukkan oleh pengguna, termasuk penjanaan teks, ringkasan teks, terjemahan, penjanaan kod, berbual, dll. Semasa tempoh pratonton, penggunaan MOSS adalah percuma.

MOSS adalah sama seperti ChatGPT Proses pembinaan merangkumi latihan asas model bahasa semula jadi dan latihan keupayaan dialog untuk memahami manusia niat.

Menurut laman utama projek, perbezaan utama antara MOSS dan ChatGPT ialah:

• MOSS mempunyai parameter yang jauh lebih sedikit daripada ChatGPT.
• MOSS belajar dengan bercakap dengan manusia dan model AI lain, manakala ChatGPT dilatih melalui Pembelajaran Pengukuhan dengan Maklum Balas Manusia (RLHF).
• MOSS akan menjadi sumber terbuka untuk memudahkan penyelidikan masa depan, tetapi ChatGPT mungkin tidak.

Mari lihat beberapa contoh bagaimana MOSS perbualan. Berikut ialah beberapa rekod interaksi yang dijana oleh MOSS:

Dalam contoh ini, pengguna mula-mula meminta MOSS mengesyorkan lima filem fiksyen sains, kemudian meminta MOSS menjana jadual untuk memaparkan filem ini dan pengarahnya, dan akhirnya meminta MOSS memasukkan lajur baharu dalam jadual untuk memaparkan filem ini pada tahun tayangan. Melengkapkan tugasan ini memerlukan model bahasa mempunyai keupayaan interaksi berbilang pusingan yang kuat dan keupayaan pemahaman arahan jelas menunjukkan prestasi yang baik dalam kedua-dua aspek ini.

Serupa dengan ChatGPT, MOSS kadangkala mengeluarkan contoh ralat fakta.

Selain berbilang pusingan dialog, kod penjanaan MOSS juga mudah. Dalam contoh berikut, MOSS bukan sahaja boleh menyediakan pengguna dengan kod Python untuk melaksanakan pengisihan pantas, tetapi juga memberikan penjelasan dan contoh penggunaan untuk kod ini atas permintaan pengguna Ia boleh dikatakan bahawa ia adalah pengaturcara yang mengajar langkah demi langkah.

Selain membenarkan MOSS membantu menulis kod, anda juga boleh bertanya soalan MOSS tentang butiran kod untuk menjadikannya lebih tepat . Bantuan yang baik dalam memahami kod. Dalam contoh di bawah, pengguna bertanya kepada MOSS tentang bahasa pengaturcaraan dan fungsi sekeping kod, dan selanjutnya bertanya tentang peranan salah satu fungsi MOSS memberikan balasan yang memuaskan.

Selain itu, MOSS juga memiliki nilai kemanusiaan apabila diminta menjawab soalan yang tidak munasabah, MOSS akan enggan menjawab dan memberi nasihat yang betul.

Difahamkan bahawa MOSS menggunakan model yang dibangunkan sendiri dengan berpuluh bilion parameter untuk latihan. Semasa fasa latihan keupayaan dialog, OpenAI mengumpul sekurang-kurangnya ratusan ribu arahan manusia - membenarkan anotasi profesional daripada pelbagai industri menulis arahan dan kemudian memasukkannya ke dalam pangkalan model untuk membantu ChatGPT memahami pelbagai arahan secara beransur-ansur. Pasukan Fudan menggunakan laluan teknikal yang berbeza Dengan membenarkan MOSS berinteraksi dengan manusia dan model AI lain, ia meningkatkan kecekapan pembelajaran dan kecekapan R&D dengan ketara, dan menyelesaikan latihan keupayaan dialog dengan cekap dalam masa yang singkat.

Pasukan R&D menyatakan bahawa walaupun MOSS telah melaksanakan beberapa fungsi ChatGPT, masih terdapat banyak batasan kerana kekurangan data berkualiti tinggi, sumber pengkomputeran dan kapasiti model, MOSS adalah masih jauh ketinggalan di ChatGPT.

• Disebabkan korpus berbilang bahasa yang terhad dalam data latihan, MOSS berprestasi lemah dalam memahami dan menjana teks dalam bahasa selain bahasa Inggeris. Pasukan itu kini sedang membangunkan versi yang dipertingkatkan untuk meningkatkan kemahiran bahasa Cina mereka.
• Disebabkan kapasiti model yang agak kecil, MOSS tidak mengandungi pengetahuan dunia yang mencukupi. Oleh itu, beberapa respons yang dijana oleh MOSS mungkin mengandungi maklumat yang mengelirukan atau palsu.
• Kadangkala MOSS beraksi secara bulatan atau malah gagal mengikut arahan. Dalam kes ini, pengguna mungkin perlu menjana semula atau mengubah suai gesaan beberapa kali untuk mendapatkan respons yang memuaskan. Pasukan ini secara aktif meningkatkan keupayaannya untuk mengikuti arahan dan produktivitinya.
• Kadangkala MOSS boleh menghasilkan tindak balas yang tidak beretika atau berbahaya disebabkan oleh gesaan. Pengguna boleh membantu mengurangkan tingkah laku ini dengan mengklik "Tidak suka" dan pasukan akan mengemas kini model dalam keluaran seterusnya.

Pasukan penyelidik menyatakan bahawa prestasi MOSS versi semasa masih tidak stabil dan turut dipengaruhi oleh isu set data: "Tahap jawapan bahasa Inggeris MOSS lebih tinggi daripada bahasa Cina kerana modelnya Pangkalan itu telah mempelajari lebih daripada 300 bilion perkataan Inggeris, manakala hanya kira-kira 30 bilion perkataan Cina telah dipelajari."

Selepas dikeluarkan, pasukan itu akan terus menyediakan MOSS dengan antara muka yang boleh diakses berdasarkan maklumat yang berharga Maklum balas pengguna (dengan kebenaran) menambah baik model secara berterusan.

Pada masa akan datang, para penyelidik juga merancang untuk menggabungkan hasil penyelidikan Fudan dalam kecerdasan buatan dan subjek antara disiplin yang berkaitan untuk memberikan keupayaan multi-modal MOSS seperti lukisan, suara dan gubahan, dan mengukuhkan ia untuk membantu saintis Keupayaan untuk menjalankan penyelidikan saintifik yang cekap, dsb.

Saya harap MOSS boleh membuat permulaan yang baik untuk pembangunan model dialog domestik yang besar.

Pengenalan Pasukan

Terdapat dua pengarang utama MOSS: Profesor Qiu Xipeng dari Universiti Fudan dan pelajar kedoktorannya Sun Tianxiang. Di samping itu, beberapa ahli menyumbang kepada projek itu.

Qiu Xipeng, profesor di Pusat Pengajian Sains dan Teknologi Komputer, Universiti Fudan, penyelia kedoktoran. Seorang Sarjana Muda Cemerlang Negara, beliau menerima ijazah Sarjana Muda Sains dan Kedoktoran dari Universiti Fudan. Terlibat terutamanya dalam penyelidikan dalam pemprosesan bahasa semula jadi, pembelajaran mendalam dan hala tuju lain, menerbitkan lebih daripada 70 kertas kerja Kategori CCF A/B, dan memenangi Anugerah Kertas Cemerlang ACL 2017 (Kategori CCF A), Anugerah Kertas Terbaik CCL 2019, "Sains di China : Sains Teknikal" Dalam Anugerah Kertas Berimpak Tinggi 2021, 5 kertas kerja telah dipilih sebagai kertas kerja paling berpengaruh IJCAI/ACL/EMNLP yang diterbitkan oleh PaperDigest (bilangan petikan memasuki 20 teratas persidangan semasa). Menerbitkan monograf sumber terbuka "Rangkaian Neural dan Pembelajaran Dalam", dengan 15,000 pengikut Github dan skor Douban 9.4. Beliau mengetuai pembangunan rangka kerja sumber terbuka FudanNLP dan FastNLP, yang telah digunakan oleh ratusan unit di dalam dan luar negara. Pada 2015, beliau dipilih ke dalam Projek Promosi Bakat Belia Sains dan Teknologi China yang pertama Pada 2018, beliau memenangi hadiah pertama Anugerah Inovasi Belia bagi Anugerah Sains dan Teknologi Pemprosesan Maklumat Cina Qian Weichang Anugerah Kecemerlangan dalam Pertandingan Pengajaran Guru Muda Universiti Shanghai ke-4 Pada tahun 2021, beliau memenangi hadiah pertama Anugerah Pencapaian Pengajaran Persatuan Komputer Shanghai (orang pertama yang menamatkannya), dsb. Para pelajar telah dilatih untuk memenangi pelbagai biasiswa akademik peringkat pertama, Microsoft Scholars, Baidu Scholarships, dsb.

Sun Tianxiang ialah pelajar kedoktoran di Sekolah Sains Komputer di Universiti Fudan. Penyelianya ialah Profesor Qiu Xipeng dan Profesor Huang Xuanjing. Lulus dari Universiti Sains dan Teknologi Elektronik Xi'an pada 2019. Minat penyelidikan tertumpu pada pembelajaran mesin dan aplikasinya dalam pemprosesan bahasa semula jadi, terutamanya penalaan halus yang cekap dan inferens model bahasa pra-latihan, pembelajaran berbilang tugas, pembelajaran perwakilan pengetahuan, dsb. Menerbitkan berbilang kertas sebagai pengarang pertama dalam persidangan seperti ICML, ACL, NAACL, AAAI, COLING, dll.

Atas ialah kandungan terperinci Fudan mengeluarkan ChatGPT versi Cina: MOSS mula menguji dan mencapai carian hangat, pelayan terlalu sesak. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!