Uji model personaliti/kemurungan/kognitif dengan model besar! Mengukur ciri psikologi melalui pembangunan plot permainan

Psikometrik memainkan peranan penting dalam kesihatan mental, pemahaman diri dan pembangunan peribadi.

Kaedah psikometrik tradisional terutamanya bergantung kepada peserta mengisi soal selidik laporan diri, yang diukur dengan mengingati tingkah laku dan emosi dalam kehidupan seharian.

Walaupun kaedah pengukuran sebegini cekap dan mudah, ia mungkin menimbulkan rintangan di kalangan peserta dan mengurangkan kesanggupan mereka untuk diuji.

Dengan pembangunan model bahasa yang besar(LLM), banyak kajian mendapati bahawa LLM boleh mempamerkan ciri personaliti yang stabil, meniru emosi manusia yang halus dan corak kognitif, dan juga boleh membantu pelbagai eksperimen simulasi sains sosial untuk banyak bidang penyelidikan psikologi seperti psikologi pendidikan, psikologi sosial, psikologi budaya, psikologi klinikal dan kaunseling psikologi.

Baru-baru ini, pasukan penyelidik dari Universiti Tsinghua mencadangkan paradigma psikometrik inovatif berdasarkan sistem berbilang ejen berdasarkan model bahasa yang besar.

Berbeza daripada soal selidik laporan diri tradisional, kajian ini menyesuaikan dan menjana permainan naratif interaktif untuk setiap peserta, dan pengguna boleh menyesuaikan jenis dan tema permainan.

Semasa plot permainan berkembang, peserta perlu membuat pilihan yang berbeza berdasarkan pelbagai plot dari perspektif orang pertama, sekali gus menjejaskan kemajuan plot. Dengan mengkaji pilihan peserta pada saat-saat penting dalam permainan, ciri psikologi mereka boleh dinilai.

△Perbandingan paradigma psikometrik soal selidik lapor diri (kiri) dan paradigma psikometrik permainan naratif interaktif (kanan)

Sumbangan kajian ini terutamanya dicerminkan dalam tiga aspek:

• Paradigma pengukuran psikologi mengubah soal selidik tradisional kepada pengukuran interaktif berasaskan permainan atas dasar memastikan kebolehpercayaan dan kesahihan pengukuran psikologi, ia meningkatkan rasa rendaman peserta dan meningkatkan pengalaman diuji.
• Untuk mencapai pengukuran gamifikasi, kajian ini mencadangkan rangka kerja interaksi berbilang ejen berdasarkan model bahasa yang besar, bernama PsychoGAT (Ejen Permainan Psikologi), yang memastikan generalisasi senario ujian psikologi , dengan ukuran . keteguhan di bawah tetapan permainan yang berbeza.
• Melalui penilaian simulasi automatik dan penilaian orang sebenar, pada tugasan seperti ujian personaliti MBTI, pengukuran kemurungan PHQ-9, ujian perangkap pemikiran kognitif, dsb., kajian ini menunjukkan hasil yang ketara dalam penunjuk statistik psikometrik dan petunjuk pengalaman pengguna.

Seterusnya, mari kita lihat butiran kajian.

Apakah rupa PsychoGAT? . garis besar reka bentuk permainan.

Kemudian, pentadbir permainan (Pengawal Permainan)

ejen menghasilkan plot permainan tertentu Semasa proses ini, pengulas

(Pengkritik)

ejen menjalankan beberapa pusingan semakan dan pengoptimuman kandungan yang dihasilkan oleh pentadbir selesai Plot permainan akhir akan ditunjukkan kepada peserta Selepas peserta membuat pilihan yang sepadan, pentadbir akan mempromosikan pembangunan plot berdasarkan pilihan ini, mengikuti kitaran proses interaktif ini.

Penerangan terperinci tentang fungsi setiap ejen:

Game Designer

(Game Designer): Gunakan teknologi CoT untuk menjana garis besar permainan naratif orang pertama, dan pastikan senario yang terkandung dalam jalan cerita ini boleh membolehkan penyertaan Orang itu menunjukkan sifat psikologi yang sedang diukur.

Pada masa yang sama, soal selidik laporan diri psikologi standard disesuaikan mengikut jalan cerita permainan semasa, menjadikan integrasi kedua-duanya lebih semula jadi dan lancar. .

Pada masa yang sama, pentadbir permainan mengembalikan pilihan peserta kepada persekitaran permainan, dan mengawal arah aliran plot permainan berdasarkan pilihan peserta. Untuk mencapai kesinambungan plot permainan, ejen pentadbir menggunakan mekanisme "kemas kini memori".
• • Komentator (Pengkritik): Bertujuan untuk menyemak dan mengoptimumkan kandungan yang dihasilkan oleh pentadbir permainan.

  Terutamanya menyasarkan tiga isu berikut:

  1) Optimumkan konsistensi: Apabila plot permainan berlangsung, masalah teks panjang akan menjadi lebih serius, menjadikan mekanisme "kemas kini memori" tidak dapat menjamin konsistensi plot sepenuhnya.

  2) Pastikan tidak berat sebelah: Pilihan peserta akan mempengaruhi perkembangan plot permainan, tetapi sebelum peserta membuat pilihan, pentadbir tidak harus menetapkan arah plot, walaupun peserta mencerminkan pilihan sebelumnya kecenderungan yang jelas.

  3) Pembetulan item yang hilang: Jalankan semakan terperinci plot permainan yang dihasilkan oleh pentadbir untuk menyemak sama ada ia mempunyai rendaman permainan asas.

  Eksperimen dan keputusan

  

  △Perbandingan tiga paradigma pengukuran psikologi biasa: soal selidik tradisional, temu bual ahli psikologi dan penilaian gamified yang dicadangkan dalam kajian ini.

  Apa yang dinyatakan di sini adalah semua pengukuran automatik berdasarkan AI Khususnya, temu bual ahli psikologi merujuk kepada paradigma temu bual semasa yang digabungkan dengan model bahasa besar dan di mana model bahasa besar memainkan peranan ahli psikologi.

  Dalam fasa eksperimen, penyelidik memilih tiga tugasan pengukuran psikologi yang biasa: extraversion dalam ujian personaliti MBTI, pengesanan kemurungan PHQ-9 dan pengesanan herotan kognitif pada peringkat awal terapi CBT.

  Pertama, penyelidik membandingkannya dengan soal selidik psikologi tradisional yang matang untuk menguji kebolehpercayaan dan kesahihan psikometrik kajian. Tambahan pula, ia dibandingkan dengan tiga kaedah pengukuran automatik lain untuk mengkaji pengalaman pengguna kaedah pengukuran yang berbeza.

  Para penyelidik mula-mula menggunakan GPT-4 untuk mensimulasikan subjek dan merekodkan proses pengukuran dan hasil pengukuran menggunakan kaedah pengukuran yang berbeza. Rekod pengukuran ini digunakan untuk mengira petunjuk kebolehpercayaan dan kesahan psikometrik berikutnya, serta penunjuk pengalaman pengguna.

  Terdapat dua penunjuk penilaian: penunjuk kebolehpercayaan dan kesahihan serta penunjuk pengalaman pengguna.

  • Indeks kebolehpercayaan dan kesahan: Dalam psikometrik, untuk menilai sama ada alat pengukuran itu saintifik, ia biasanya disahkan daripada dua dimensi: kebolehpercayaan(kebolehpercayaan) dan kesahan(kesahan).

  Dalam kajian ini, dua kuantiti statistik telah dipilih untuk mengukur ketekalan dalaman sebagai penunjuk kebolehpercayaan: Cronbach's Alpha dan Guttman's Lambda 6 digunakan sebagai penunjuk kesahan untuk mengukur kesahan konvergen masing-masing ) ( kesahan diskriminasi; kesahan diskriminasi) . . respons yang sesuai dan tidak berat sebelah terhadap pilihan pengguna;

  3) Minat
  (Minat, INT)
  • : Sama ada proses pengukuran menarik 4) Rendaman (Rendaman, IM)
  : Sama ada proses pengukuran membenamkan peserta;
  5) Kepuasan

  (Kepuasan, ST) : Kepuasan proses pengukuran keseluruhan.
  Berikut adalah keputusan percubaan. Pertama sekali, penyelidik menguji sama ada PsychoGAT yang dicadangkan dalam kajian ini boleh digunakan sebagai alat pengukuran psikologi yang berkelayakan Hasilnya ditunjukkan dalam jadual di bawah.
  
  
  △Keputusan ujian kebolehpercayaan dan kesahan PsychoGAT (+lulus, ++baik, +++cemerlang)Selanjutnya, penyelidik membandingkan pengalaman pengguna paradigma psikometrik yang berbeza, dan permainan yang dicadangkan dalam kajian Penilaian adalah jauh lebih baik daripada kaedah lain dari segi interaktiviti, keseronokan dan perendaman:

  △Keputusan pengalaman pengguna PsychoGAT, dan keputusan sepadan kaedah perbandingan lain

  Untuk memastikan kesahihan penilaian manual, selidiki kakitangan mengira keputusan penilaian manual dan mendapati bahawa ketekalan penilaian penunjuk PsychoGAT adalah lebih baik daripada kaedah lain:

  △Indeks pengalaman pengguna PsychoGAT adalah disebabkan ketekalan kaedah perbandingan dalam penilaian manual
  Untuk menambah baik lagi PsychoGAT Untuk analisis, penyelidik mula-mula menguji kebolehpercayaan dan kesahihan pengukuran gamifikasi dalam senario permainan yang berbeza, yang sangat mantap:

  

  △Keteguhan PsychoGAT dalam mengukur kebolehpercayaan dan kesahihan dalam senario permainan yang berbeza

  Kemudian, peranan setiap ejen dalam PsychoGAT diterokai:

  

  ejen yang berbeza dalam

  Untuk mempersembahkan kandungan PsychoGAT yang dijana permainan secara visual, para penyelidik menggunakan awan perkataan untuk menggambarkan ujian extraversion dan ujian kemurungan:

  △Visualisasi penjanaan adegan permainan bagi pengukuran extraversion dan ukuran kemurungan PsychoGAT.
  Kandungan ujian ekstraversi tertumpu terutamanya pada situasi sosial, manakala ujian kemurungan memfokuskan pada pemikiran dan emosi peribadi.

  Untuk butiran penyelidikan lanjut, sila rujuk kertas asal.

  Pautan kertas:

https://www.php.cn/link/4bcd537b6c034e297f0030cf08887426🎜🎜🎜

Atas ialah kandungan terperinci Uji model personaliti/kemurungan/kognitif dengan model besar! Mengukur ciri psikologi melalui pembangunan plot permainan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!