OpenAI mengeluarkan GPT-4 Apakah trend teknologi yang patut diberi perhatian?

Artikel ini ialah Zhang Junlin, ketua penyelidikan dan pembangunan teknologi baharu di Sina Weibo dan pengarah Persatuan Maklumat China China, dalam jawapannya kepada soalan Zhihu "OpenAI mengeluarkan GPT-4, apakah pengoptimuman teknikal atau kejayaan ?" Ia meringkaskan laporan teknikal GPT4 Tiga arah yang dinyatakan di sini juga menyebut dua arah teknikal lain.

Dalam detik bersejarah ini, jawab soalan dan tinggalkan jejak anda sendiri sebagai saksi sejarah.

Laporan teknikal GPT4 dengan jelas menunjukkan tiga arah baharu:

Pertama, penutupan penyelidikan paling canggih dalam LLM Atau kecil bulatan. Laporan teknikal itu menyatakan bahawa disebabkan pertimbangan persaingan dan keselamatan, butiran teknikal seperti saiz model tidak diumumkan. Daripada sumber terbuka GPT 2.0, kepada GPT 3.0 hanya terdapat kertas, kepada ChatGPT tiada kertas, dan sehingga GPT 4.0 laporan teknikal lebih seperti laporan penilaian prestasi. Trend yang jelas ialah OpenAI telah mengukuhkan namanya sebagai CloseAI, dan OpenAI tidak lagi akan mengeluarkan kertas mengenai penyelidikan LLM yang canggih.

Dalam situasi ini, syarikat lain yang mempunyai teknologi yang agak maju mempunyai dua pilihan. Salah satunya adalah untuk melakukan LLM sumber terbuka yang lebih ekstrem Sebagai contoh, Meta nampaknya telah memilih jalan ini. Ini secara amnya merupakan pilihan yang munasabah untuk syarikat yang mempunyai kelemahan kompetitif, tetapi teknologi yang berkaitan selalunya bukan teknologi yang paling canggih pilihan lain ialah Mengikuti OpenAI, kami juga memilih untuk menutup teknologi. Google sebelum ini dianggap sebagai eselon kedua LLM. Tetapi di bawah pukulan gabungan "Microsoft + OpenAI", keadaan kini agak memalukan. GPT 4.0 telah disiapkan pada bulan Ogos tahun lepas Dianggarkan bahawa GPT 5.0 kini dalam proses diperhalusi Dengan tetingkap masa yang begitu lama, Google akan berakhir dalam keadaan semasa CoT, yang semuanya dilakukan sendiri Saya tidak tahu apa yang difikirkan oleh pegawai kanan apabila mereka keluar dan berakhir seperti ini. Jika Google boleh membuat susulan dengan cepat kemudian, ia tidak sepatutnya menjadi masalah besar untuk kekal di peringkat kedua Ia berkemungkinan jauh mendahului tempat ketiga dalam teknologi. Disebabkan pertimbangan kompetitif, saya rasa Google kemungkinan besar akan mengikuti laluan penutupan teknologi OpenAI Teknologi LLM yang paling canggih akan digunakan terlebih dahulu untuk memperhalusi elixirnya sendiri, dan bukannya menulis kertas dan mengeluarkannya untuk memberi manfaat kepada orang ramai, terutamanya OpenAI. Ini berkemungkinan membawa kepada penutupan penyelidikan paling canggih dalam LLM.

Mulai sekarang, selepas tempoh masa di China (sepatutnya lebih cepat untuk mencapai diskaun 40 hingga 30% ChatGPT, dan dianggarkan ia akan mengambil masa yang lebih lama kepada sama), ia pasti akan dipaksa untuk Masuk ke dalam situasi inovasi bebas. Jika dilihat daripada pelbagai situasi domestik dalam tempoh tiga bulan lalu, bagaimanakah masa hadapan? Kemungkinan besar tidak optimistik. Sudah tentu tahap ini sukar, tetapi saya hanya boleh mendoakan mereka yang mempunyai kemampuan dan keazaman untuk melakukan yang terbaik.

Kedua, "Ramalan Keupayaan" model LLM yang disebut dalam laporan teknikal GPT 4 adalah hala tuju penyelidikan baharu yang sangat berharga (malah, terdapat beberapa bahan lain sebelum ini, saya masih ingat membacanya, tetapi saya tidak ingat yang mana satu secara khusus). Gunakan model kecil untuk meramalkan keupayaan tertentu model besar di bawah kombinasi parameter tertentu Jika ramalan itu cukup tepat, ia boleh memendekkan kitaran penapisan elixir dan mengurangkan kos percubaan dan kesilapan nilai praktikal, ini pasti Ia bernilai teliti mengkaji kaedah teknikal tertentu.

Ketiga, GPT 4 sumber terbuka rangka kerja penilaian LLM, yang juga merupakan hala tuju yang sangat penting untuk perkembangan pesat teknologi LLM nanti. Khusus untuk orang Cina, adalah amat penting untuk membina data dan rangka kerja penilaian LLM Cina yang praktikal dengan cepat dapat menemui kelemahan semasa dan arah penambahbaikan LLM, yang amat penting pada asasnya kosong pada masa ini. Keperluan sumber ini sebenarnya tidak begitu tinggi dan sesuai untuk banyak organisasi, tetapi ia sememangnya kerja keras.

Selain daripada tiga arah yang dinyatakan dengan jelas dalam laporan teknikal GPT 4, kerana terdapat banyak berita mengenai LLM baru-baru ini, saya akan menulis dua arah teknikal yang lain.

Pertama sekali, Universiti Stanford baru-baru ini membinanya berdasarkan LLaMA sumber terbuka 7B Meta, ditambah dengan teknologi ​​Self Instruct​​​ teknologi ​​Alpaca​​ juga mewakili arah teknikal. Jika diringkaskan, arah ini boleh dipanggil arah "penghasilan semula kos rendah ChatGPT". Apa yang dipanggil Arahan Sendiri ialah menggunakan cara teknikal tertentu tanpa menandai Arahan secara manual, Sebaliknya, Arahan diekstrak daripada antara muka OpenAI, yang lebih dikenali sebagai "menyuling" ia sebaliknya , ChatGPT bertindak sebagai guru dan menandakan keputusan Arahan anda. Ini membawa kos penandaan Arahan terus ke penanda aras beberapa ratus dolar, dan kos masa adalah lebih pendek. Di samping itu, skala Model 7B tidak besar, jadi ia boleh dianggap sebagai laluan teknikal untuk "menghasilkan semula ChatGPT pada kos rendah".

Saya menganggarkan ramai orang di China telah pun menggunakan laluan teknikal ini. Tidak syak lagi bahawa ini adalah jalan pintas, tetapi terdapat kelebihan dan kekurangan untuk mengambil jalan pintas, jadi saya tidak akan menerangkan secara terperinci. Dalam proses mengejar ChatGPT, saya secara peribadi berpendapat ia boleh dilaksanakan dan menyokong untuk mengurangkan kos terlebih dahulu dan menghasilkan semula ChatGPT kepada 70 hingga 80%. Sudah tentu, usaha untuk menjadikan model lebih kecil tanpa mengorbankan kesannya adalah sangat berharga jika ia dapat dilakukan secara sederhana.

Selain itu, kecerdasan yang terkandung sudah pasti akan menjadi hala tuju penyelidikan utama LLM pada peringkat seterusnya. Wakil dalam hal ini ialah ​​PaLM-E​​ dikeluarkan oleh Google sebentar tadi. Dengan GPT 4 semasa, kita boleh berfikir bahawa manusia telah mencipta otak super, tetapi masih menguncinya dalam kelompok GPU. Dan otak super ini memerlukan badan GPT 4 perlu berhubung, berkomunikasi dan berinteraksi dengan dunia fizikal, dan mendapatkan maklum balas sebenar dalam dunia fizikal untuk belajar untuk terus hidup di dunia sebenar, dan menggunakan maklum balas dunia sebenar, seperti pembelajaran pengukuhan. Datang dan pelajari keupayaan untuk bergerak ke seluruh dunia. Ini pastinya akan menjadi hala tuju penyelidikan LLM yang paling hangat dalam masa terdekat.

LLM Multimodal memberikan GPT 4 mata dan telinganya, manakala kecerdasan yang terkandung memberikan GPT 4 badan, kaki dan tangannya. GPT 4 mempunyai beberapa kaitan dengan anda dan saya, dan bergantung pada keupayaan pembelajaran yang berkuasa GPT 4 itu sendiri, perkara ini dijangka muncul di sekeliling kita tidak lama lagi.

Jika anda memikirkannya dengan teliti, sebenarnya terdapat banyak arah lain yang menjanjikan. Pertimbangan peribadi saya ialah 5 hingga 10 tahun akan datang akan menjadi dekad keemasan pembangunan terpantas AGI. Jika kita berdiri pada titik masa 30 tahun akan datang, apabila kita mengimbas kembali 10 tahun ini, sebahagian daripada kita pasti akan memikirkan ayat berikut: "Faham, tetapi sudah terlambat, mereka membuat matahari sedih dalam perjalanan. , mahupun lembut masuk ke malam yang baik itu "

Atas ialah kandungan terperinci OpenAI mengeluarkan GPT-4 Apakah trend teknologi yang patut diberi perhatian?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!