성격/우울증/인지 모델을 대형 모델로 테스트해보세요! 게임 플롯 개발을 통한 심리적 특성 측정-일체 포함-php.cn

심리측정학은 정신 건강, 자기 이해 및 개인 발전에 중요한 역할을 합니다.

전통적인 심리 측정 방법은 참가자들이 일상 생활의 행동과 감정을 회상하여 측정하는 자기 보고 설문지를 작성하는 데 주로 의존합니다.

이러한 측정 방법은 효율적이고 편리하지만 참가자의 저항을 유발하고 측정 의지를 감소시킬 수 있습니다.

대형 언어 모델(LLM)의 개발로 LLM이 안정적인 성격 특성을 나타내고 미묘한 인간 감정과 인지 패턴을 모방할 수 있으며 다양한 사회 과학 시뮬레이션 실험에도 도움이 될 수 있다는 많은 연구 결과가 나왔습니다. 교육심리학, 사회심리학, 문화심리학, 임상심리학, 심리상담 등 다양한 심리학 연구 분야에 종사하고 있습니다.

최근 칭화대학교 연구팀은 대규모 언어 모델을 기반으로 한 다중 에이전트 시스템을 기반으로 혁신적인 심리측정 패러다임을 제안했습니다.

성격/우울증/인지 모델을 대형 모델로 테스트해보세요! 게임 플롯 개발을 통한 심리적 특성 측정

기존의 자기 보고식 설문지와는 달리, 이 연구는 각 참가자에 대해 대화형 내러티브 게임을 맞춤화하고 생성하며, 사용자는 게임 유형과 주제를 맞춤화

할 수 있습니다.

게임 플롯이 전개됨에 따라 참가자는 1인칭 시점의 다양한 플롯을 기반으로 다양한 선택을 해야 하며, 이는 플롯 진행에 영향을 미칩니다. 게임의 중요한 순간에 참가자의 선택을 연구함으로써 그들의 심리적 특성을 평가할 수 있습니다.

Δ자기 보고식 설문지의 심리 측정 패러다임(왼쪽)과 인터랙티브 내러티브 게임의 심리 측정 패러다임 비교(오른쪽)

본 연구의 기여는 주로 세 가지 측면에서 반영됩니다.

새로운 제안 심리 측정 패러다임은 심리 측정의 신뢰성과 타당성을 보장함으로써 전통적인 설문지를 게임 기반의 대화형 측정으로 전환하여 참가자의 몰입감을 높이고 테스트 경험을 향상시킵니다.
게이미피케이션 측정을 달성하기 위해 본 연구에서는 심리 테스트 시나리오의 일반화를 보장하는 PsychoGAT (Psychological Game Agents)
MBTI 성격 테스트, PHQ-9 우울증 측정, 인지적 사고 함정 테스트 등의 과제에 대해 자동화된 시뮬레이션 평가와 실제 평가를 통해 심리 통계 지표와 사용자 경험 우월성 지표에서 유의미한 결과를 보여주었습니다.

다음으로 연구 내용을 살펴보겠습니다.

PsychoGAT는 어떤 모습인가요?

Δ PsychoGAT 프레임워크의 개략도

에이전트 상호 작용 프로세스:

전통적인 심리 테스트 설문지를 제공받아 참가자는 게임 유형과 테마를 맞춤화한 다음 게임 디자이너 (게임 디자이너)

에이전트가 전반적인 내용을 제공합니다. 게임 디자인 개요.

그런 다음 게임 관리자 (게임 컨트롤러) 에이전트는 특정 게임 플롯을 생성합니다. 이 과정에서 해설자 (비평가)

에이전트는 관리자가 생성한 콘텐츠를 여러 차례 검토하고 최적화합니다. 완료됨 최종 게임 플롯이 참가자에게 표시됩니다. 참가자가 해당 선택을 한 후 관리자는 이 대화형 프로세스 주기에 따라 이 선택을 기반으로 플롯 개발을 촉진합니다.

각 에이전트의 기능에 대한 자세한 설명:

Game Designer(게임 디자이너)

동시에 표준 심리 자가 보고 설문지를 현재 게임 스토리라인에 맞게 조정하여 두 가지의 통합을 더욱 자연스럽고 원활하게 만듭니다.

Game Controller(Game Controller)

동시에 게임 관리자는 참가자의 선택을 게임 환경에 되돌리고 참가자의 선택에 따라 게임의 플롯 방향을 제어합니다. 게임 플롯의 연속성을 달성하기 위해 관리자 에이전트는 "메모리 업데이트" 메커니즘을 채택합니다. 🎜

Commentator(비평가): 게임 관리자가 생성한 콘텐츠를 검토하고 최적화하는 것을 목표로 합니다.

주로 다음 세 가지 문제를 대상으로 합니다.

1) 일관성 최적화: 게임 플롯이 진행됨에 따라 긴 텍스트 문제가 더욱 심각해지며 "메모리 업데이트" 메커니즘이 플롯 일관성을 완전히 보장할 수 없게 됩니다.

2) 공정성 확보: 참가자의 선택은 게임 플롯의 전개에 영향을 주지만, 참가자가 이전 선택을 명백한 경향으로 반영했더라도 관리자는 참가자가 선택하기 전에 플롯 방향을 미리 설정해서는 안 됩니다. .

3) 누락된 아이템 수정 : 관리자가 생성한 게임 플롯을 상세하게 검토하여 기본적인 게임 몰입감을 갖추고 있는지 확인합니다.

실험 및 결과

Δ세 가지 일반적인 심리 측정 패러다임 비교: 전통적인 설문지, 심리학자 인터뷰, 본 연구에서 제안하는 게임화된 평가.

여기서 언급하는 것은 모두 AI를 기반으로 한 자동화된 측정입니다. 특히 심리학자 인터뷰는 대형 언어 모델과 결합되어 심리학자의 역할을 하는 현재의 인터뷰 패러다임을 말합니다.

실험 단계에서 연구자들은 MBTI 성격 테스트의 외향성, PHQ-9 우울증 탐지, CBT 치료 초기 단계의 인지 왜곡 탐지라는 세 가지 일반적인 심리 측정 작업을 선택했습니다.

먼저, 연구자들은 연구의 심리학적 신뢰성과 타당성을 테스트하기 위해 성숙한 전통 심리학 설문지와 비교했습니다. 또한, 다양한 측정 방법에 대한 사용자 경험을 조사하기 위해 다른 세 가지 자동 측정 방법과 비교됩니다.

연구원들은 먼저 GPT-4를 사용하여 피사체를 시뮬레이션하고 다양한 측정 방법을 사용하여 측정 과정과 측정 결과를 기록했습니다. 이러한 측정 기록은 후속 심리 측정 신뢰성 및 타당성 지표는 물론 사용자 경험 지표를 계산하는 데 사용되었습니다.

평가 지표에는 신뢰성 및 타당성 지표와 사용자 경험 지표의 두 가지가 있습니다.

신뢰도 및 타당성 지수: 심리측정학에서는 측정 도구가 과학적인지 평가하기 위해 일반적으로 신뢰성(신뢰성)과 타당성(타당성)이라는 두 가지 차원에서 검증합니다.

본 연구에서는 신뢰도 지표로 내부 일관성을 측정하기 위해 두 가지 통계량을 선택했습니다. Cronbach의 Alpha와 Guttman의 Lambda 6은 각각 수렴 타당도를 측정하기 위한 타당도 지표로 사용되었습니다) 및 판별 타당도( 판별 타당성) .

사용자 경험 지표, 수동으로 평가된 지표는 다음과 같습니다.

1) 일관성(일관성, CH): 콘텐츠 논리가 일관성이 있는지 여부
2) 상호작용성(상호작용성, IA): 존재 여부 사용자의 선택에 대한 적절하고 편견 없는 응답
3) 관심 (Interest, INT) : 측정 과정이 흥미로운지 여부
4) 몰입 (Immersion, IM) : 측정 과정이 참가자를 몰입시키는지 여부 대체;
5) Satisfaction (Satisfaction, ST) : 전반적인 측정 과정에 대한 만족입니다.

다음은 실험 결과입니다.

먼저, 연구진은 본 연구에서 제안한 PsychoGAT가 적합한 심리 측정 도구로 사용될 수 있는지 테스트했습니다. 그 결과는 아래 표와 같습니다.