AI가 인간 두뇌의 기억 모델을 모방해 게임 점수가 29.9%나 치솟았다.

우리는 '행동하기 전에 두 번 생각하라'고, 축적된 경험을 최대한 활용하라는 가르침을 자주 받습니다. 이제 이 문장도 AI에 영감을 주었습니다.

전통적인 의사 결정 AI 모델은 망각 효과의 존재로 인해 효과적으로 경험을 축적할 수 없지만, 중국 주도의 연구에서는 AI가 기억하는 방식을 바꾸었습니다.

새로운 기억 방식은 인간의 두뇌를 모방하여 AI의 경험 축적 효율성을 효과적으로 향상시켜 AI게임 성능을 29.9% 높입니다.

연구팀은 미라퀘벡 AI 연구소와 마이크로소프트 몬트리올 연구소 출신 각각 6명으로 구성됐으며, 그 중 4명은 중국인이다.

그들은 결과 이름을 Decision Transformer with Memory(DT-Mem)로 명명했습니다.

기존 의사결정 모델에 비해 DT-Mem은 적용 범위가 더 넓으며 모델 운영 효율성도 더 높습니다.

적용 효과 외에도 DT-Mem의 교육 시간도 최소 200시간에서 50시간으로 단축되었습니다.

동시에 팀은 DT-Mem이 훈련되지 않은 새로운 시나리오에 적응할 수 있도록 미세 조정 방법도 제안했습니다.

미세 조정된 모델은 이전에 학습하지 않은 게임에서도 좋은 성능을 발휘할 수 있습니다.

작업 메커니즘은 인간에게서 영감을 받았습니다

전통적인 의사 결정 모델은 암시 메모리를 사용하는 LLM을 기반으로 설계되었으며 성능은 데이터와 계산에 따라 달라집니다.

암묵적 기억은 의도적으로 기억되기보다는 무의식적으로 생성되기 때문에 의식적으로 회상할 수 없습니다.

더 쉽게 말하면 관련 내용이 분명히 거기에 저장되어 있지만 모델은 그 존재를 알지 못합니다.

암묵기억의 이러한 특성은 기존 모델에 망각 현상이 있어 작업 효율이 낮다는 것을 결정짓습니다.

망각 현상은 문제를 해결하는 새로운 방법을 학습한 후 이전 문제와 새 문제가 동일한 유형이더라도 모델이 이전 내용을 잊어버릴 수 있다는 것입니다.

인간의 뇌는 분산 기억 저장 방식을 채택하고 있으며, 기억 내용은 뇌의 여러 영역에 분산되어 저장됩니다.

이 방법은 여러 기술을 효과적으로 관리하고 구성하여 망각 현상을 완화하는 데 도움이 됩니다.

이에서 영감을 받아 연구팀은 다양한 다운스트림 작업에 대한 정보를 저장, 혼합 및 검색하는 내부 작업 메모리 모듈을 제안했습니다.

구체적으로 DT-Mem은 Transformer, 메모리 모듈, MLP(Multi-Layer Perception) 모듈로 구성됩니다.

DT-Mem의 Transformer는 GPT-2의 아키텍처를 모방하지만 어텐션 메커니즘 다음의 피드포워드 레이어를 삭제합니다.

동시에 GPT-2의 MLP 모듈은 DT-Mem의 일부로 독립된 구성 요소로 분할됩니다.

그 중, 연구팀은 중간 정보를 저장하고 처리하는 작업 메모리 모듈을 도입했습니다.

이 구조는 메모리를 사용하여 다양한 알고리즘을 추론하는 신경 튜링 기계에서 영감을 받았습니다.

메모리 모듈은 Transformer가 출력한 정보를 분석하여 저장 위치와 기존 정보와 통합하는 방법을 결정합니다.

또한 이 모듈에서는 이 정보가 향후 의사 결정 프로세스에서 어떻게 사용될지 고려합니다.

이러한 작업은 대략 5단계로 완료됩니다. 메모리 모듈은 먼저 무작위 행렬로 초기화됩니다.

그런 다음 입력된 정보를 정렬하는 단계입니다. 정보를 Transformer에 전달하는 것이 아니라 튜플 형태로 동일한 공간에 저장하는 것입니다.

그런 다음 저장 위치를 ​​결정해야 합니다. 인간은 대개 관련된 정보를 같은 위치에 저장하는데, DT-Mem도 이 원칙에 기초하고 있습니다.

마지막 두 단계인 메모리 업데이트와 검색은 메모리 모듈의 핵심이자 전체 DT-Mem에서 가장 중요한 링크입니다.

메모리 업데이트, 즉 작업 요구 사항에 따라 정보가 적시에 업데이트될 수 있도록 기존 정보를 편집하고 교체하는 것입니다.

이 단계에서 DT-Mem은 삭제 및 쓰기 벡터를 계산하여 이를 기존 데이터와 혼합하는 방법을 결정합니다.

기억 검색은 기존 정보에 액세스하고 복구하며, 결정을 내려야 할 때 관련 있고 유용한 정보를 적시에 검색하는 것입니다.

실제 사용에 앞서 DT-Mem은 사전 훈련 과정을 거쳐야 합니다.

DT-Mem의 미세 조정을 위해 팀에서는 새로운 방식도 제안했습니다.

작업에 따라 레이블이 지정된 데이터를 사용하기 때문에 이러한 미세 조정은 DT-Mem이 새로운 작업에 적응하는 데 도움이 될 수 있습니다.

이 프로세스는 LoRA(저위 적응)를 기반으로 기존 매트릭스에 하위 요소를 추가합니다.

훈련 시간이 최대 32배 단축되었습니다.

연구팀은 DT-Mem의 의사 결정 능력을 테스트하기 위해 여러 게임을 플레이해 보았습니다.

총 5개의 게임이 있으며 모두 Atari에서 제공됩니다.

동시에 참고로 기존 모델인 M[ulti-game]DT의 성능도 테스트했습니다.

그 결과 4경기에서 DT-Mem의 최고 성적이 MDT보다 나았습니다.

구체적으로 DT-Mem은 MDT에 비해 DQN 정규화 점수를 29.9% 향상시킵니다.

하지만 DT-Mem의 매개변수 양은 20M에 불과해 MDT(200M 매개변수)의 10%에 불과합니다.

이런 퍼포먼스는 전혀 과언이 아닙니다.

뛰어난 성능 외에도 DT-Mem의 훈련 효율성도 MDT를 능가합니다.

MDT의 13M 매개변수 버전은 훈련하는 데 200시간이 걸리는 반면, 20M DT-Mem은 50시간만 걸립니다.

200M 버전에 비해 훈련 시간은 32배 단축되지만 성능은 더욱 향상됩니다.

팀이 제안한 미세 조정 방법의 테스트 결과에서도 이러한 미세 조정이 DT-Mem의 알려지지 않은 시나리오에 대한 적응 능력을 향상시키는 것으로 나타났습니다.

아래 표에서 테스트에 사용된 게임은 MDT가 알고 있는 게임이므로 이번 라운드에서는 MDT의 성능을 측정 기준으로 사용하지 않습니다.

팀에서는 게임 외에도 Meta-World ML45 벤치마크를 사용하여 DT-Mem을 테스트했습니다.

이번에 참고한 것은 H[yper]DT와 P[romot]DT입니다.

결과에 따르면 미세 조정을 하지 않은 모델 중 DT-Mem의 성능이 HDT보다 8%포인트 더 높은 것으로 나타났습니다.

여기에서 테스트한 HDT에는 69K 매개변수만 있지만 2.3M 매개변수가 있는 사전 학습된 모델에 의존하므로 실제 매개변수 수가 DT-Mem(147K)의 10배 이상이라는 점에 유의해야 합니다.

문서 주소: https://arxiv.org/abs/2305.16338

위 내용은 AI가 인간 두뇌의 기억 모델을 모방해 게임 점수가 29.9%나 치솟았다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!