Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya 'Prompt Project'! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Penyelidikan terkini Microsoft sekali lagi membuktikan kuasa Prompt Engineering -

Tidak perlu penalaan halus tambahan atau perancangan pakar, GPT-4 boleh menjadi "pakar" dengan hanya gesaan.

Menggunakan strategi segera terbaru mereka Medprompt, dalam bidang profesional perubatan, GPT-4 mencapai keputusan terbaik dalam sembilan set ujian MultiMed QA.

Pada set data MedQA (soalan Peperiksaan Pelesenan Perubatan Amerika Syarikat), Medprompt membuat ketepatan GPT-4 melebihi 90% buat kali pertama, melepasi BioGPT dan Med-PaLM dan kaedah penalaan halus yang lain.

Para penyelidik juga menyatakan bahawa kaedah Medprompt adalah universal dan bukan sahaja terpakai untuk perubatan, tetapi juga boleh diperluaskan kepada kejuruteraan elektrik, pembelajaran mesin, undang-undang dan jurusan lain.

Sebaik kajian ini dikongsikan di X (sebelum ini Twitter), ia menarik perhatian ramai netizen.

Profesor Wharton School Ethan Mollick, pengarang Artificial Intuition Carlos E. Perez, dsb. telah memajukan dan berkongsinya.

Carlos E. Perez secara langsung berkata bahawa "strategi dorongan yang sangat baik boleh mengambil banyak penalaan halus":

Sesetengah netizen berkata bahawa mereka telah mempunyai firasat ini untuk masa yang lama, dan ia benar-benar keren untuk dilihat hasilnya sekarang!

Sesetengah netizen menganggap ini benar-benar "radikal"

GPT-4 ialah teknologi yang boleh mengubah industri, dan kami jauh daripada menyentuh had gesaan, kami juga tidak mencapai had penalaan halus . . -dijana rantaian pemikiran yang dijana sendiri

Ensemble shuffling pilihan

Seterusnya, kami akan memperkenalkan mereka satu persatu

Pemilihan beberapa pukulan dinamik
• Pembelajaran yang kurang pantas adalah cara yang berkesan untuk menjadikan model untuk mempelajari konteks. Ringkasnya, masukkan beberapa contoh, biarkan model cepat menyesuaikan diri dengan domain tertentu dan belajar mengikut format tugasan.
• Contoh beberapa contoh yang digunakan untuk gesaan tugas tertentu biasanya
• ditetapkan
, jadi terdapat keperluan yang tinggi untuk keterwakilan dan keluasan contoh.

Kaedah sebelumnya adalah membenarkan pakar domain

membuat contoh secara manual

, tetapi walaupun begitu, tidak ada jaminan bahawa beberapa contoh tetap yang dipilih susun oleh pakar adalah mewakili setiap tugas.

Penyelidik Microsoft mencadangkan kaedah contoh beberapa pukulan dinamik, jadi

Ideanya ialah set latihan tugasan boleh digunakan sebagai sumber contoh beberapa pukulan, dan jika set latihan cukup besar, set latihan yang berbeza boleh digunakan. dipilih untuk input tugas yang berbeza Beberapa contoh contoh.

Dari segi operasi khusus, para penyelidik mula-mula menggunakan model text-embedding-ada-002 untuk menjana perwakilan vektor bagi setiap sampel latihan dan sampel ujian. Kemudian, bagi setiap sampel ujian, dengan membandingkan kesamaan vektor, k sampel yang paling serupa dipilih daripada sampel latihan

Berbanding dengan kaedah penalaan halus, pemilihan beberapa pukulan dinamik menggunakan data latihan, tetapi tidak tidak memerlukan Parameter Model menjalani kemas kini yang meluas.

Rantai pemikiran janaan sendiri

Kaedah rantaian pemikiran (CoT) ialah kaedah yang membolehkan model berfikir langkah demi langkah dan menjana satu siri langkah penaakulan perantaraan

Kaedah sebelumnya bergantung kepada pakar untuk menulis beberapa contoh secara manual dengan digesa rantai pemikiran

Di sini, penyelidik mendapati bahawa GPT-4 hanya boleh diminta untuk menjana rantaian pemikiran untuk contoh latihan menggunakan gesaan berikut:

Tetapi para penyelidik juga menegaskan bahawa rantaian pemikiran yang dijana secara automatik ini mungkin mengandungi penaakulan yang salah langkah, jadi teg pengesahan ditetapkan sebagai penapis, yang boleh mengurangkan ralat dengan berkesan.

Berbanding dengan contoh rantai pemikiran yang dibuat oleh pakar dalam model Med-PaLM 2, prinsip asas rantaian pemikiran yang dijana oleh GPT-4 adalah lebih panjang, dan logik penaakulan langkah demi langkah adalah lebih terperinci. . .

Untuk Untuk menyelesaikan masalah ini, penyelidik memutuskan untuk menyusun semula susunan pilihan asal untuk mengurangkan kesan. Contohnya, susunan pilihan asal ialah ABCD, yang boleh ditukar kepada BCDA, CDAB, dsb. Kemudian biarkan GPT-4 melakukan berbilang pusingan ramalan, menggunakan susunan pilihan yang berbeza dalam setiap pusingan. Ini "memaksa" GPT-4 untuk mempertimbangkan kandungan pilihan.

Akhir sekali, undi pada keputusan berbilang pusingan ramalan dan pilih pilihan yang paling konsisten dan betul.

Gabungan strategi segera di atas ialah Medprompt. Mari kita lihat keputusan ujian.

Optimum dalam pelbagai ujian

Dalam ujian, penyelidik menggunakan penanda aras penilaian MultiMed QA.

GPT-4, yang menggunakan strategi dorongan Medprompt, mencapai markah tertinggi dalam kesemua sembilan set data penanda aras MultiMedQA, mengatasi prestasi Flan-PaLM 540B dan Med-PaLM 2.

Selain itu, penyelidik juga membincangkan prestasi strategi Medprompt pada data "Eyes-Off". Data yang dipanggil "Eyes-Off" merujuk kepada data yang tidak pernah dilihat oleh model semasa latihan atau proses pengoptimuman Ia digunakan untuk menguji sama ada model itu terlalu sesuai dengan data latihan

Hasil GPT-4 digabungkan dengan. strategi Medprompt telah digunakan dalam pelbagai perubatan Ia menunjukkan prestasi yang baik pada set data penanda aras, dengan ketepatan purata 91.3%.

Para penyelidik menjalankan eksperimen ablasi pada dataset MedQA untuk meneroka sumbangan relatif ketiga-tiga komponen kepada prestasi keseluruhan

Antaranya, langkah rantaian pemikiran penjanaan automatik memainkan peranan terbesar dalam meningkatkan prestasi

Skor rantaian pemikiran yang dijana secara automatik oleh GPT-4 adalah lebih tinggi daripada skor yang dipilih susun oleh pakar dalam Med-PaLM 2, dan tiada campur tangan manual diperlukan

Akhirnya, penyelidik juga meneroka keupayaan generalisasi merentas domain Medprompt, menggunakan Enam set data berbeza dalam penanda aras MMLU disertakan, meliputi masalah dalam kejuruteraan elektrik, pembelajaran mesin, falsafah, perakaunan profesional, undang-undang profesional dan psikologi profesional.

Dua set data tambahan yang mengandungi soalan NCLEX (National Nursing Licensure Examination) juga telah ditambah.

Keputusan menunjukkan bahawa kesan Medprompt pada set data ini adalah serupa dengan penambahbaikan pada set data perubatan MultiMedQA, dengan ketepatan purata meningkat sebanyak 7.3%.

Sila klik pautan berikut untuk melihat kertas kerja: https://arxiv.org/pdf/2311.16452.pdf

Atas ialah kandungan terperinci Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya 'Prompt Project'! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!