학제 간 이해와 다중 규모 모델링이 가능한 MIT LAMM, 미세 조정된 대형 언어 모델 MechGPT 출시

Editor | Radish Skin

지난 몇 세기 동안 연구자들은 다양한 지식 분야를 연결하는 방법을 모색해 왔습니다. 인공지능의 출현으로 우리는 이제 여러 분야(예: 역학 및 생물학) 또는 다른 분야(예: 고장 역학 및 예술) 간의 관계를 탐색할 수 있는 기회를 갖게 되었습니다.

이 목표를 달성하기 위해 MIT(매사추세츠 공과대학) 연구원 LAMM(원자 및 분자 역학 연구소)에서는 미세 조정된 LLM(대형 언어 모델)을 사용하여 다중 규모 재료 파손에 대한 관련 지식 하위 집합을 얻었습니다.

이 접근 방식의 단계는 먼저 범용 A를 사용하는 것입니다. LLM은 원본 소스에서 질문-답변 쌍을 추출한 다음 LLM을 미세 조정합니다. 이 미세 조정된 MechGPT LLM 기본 모델을 사용하여 일련의 계산 실험을 수행하여 지식 검색, 다양한 언어 작업, 가설 생성 및 다양한 도메인 간의 지식 연결 기능을 탐색했습니다.

모델에는 훈련 지식을 회상하는 능력이 있지만 하지만 연구자들은 LLM이 온톨로지 지식 그래프를 통해 구조적 통찰력을 추출하는 데 더 의미가 있다는 것을 발견했습니다. 이러한 해석 가능한 그래프 구조는 해석적 통찰력, 새로운 연구 질문에 대한 프레임워크, 검색 강화 생성에도 사용할 수 있는 지식의 시각적 표현을 제공합니다.

이 연구의 제목은 "MechGPT, 규모, 분야 및 양식에 걸쳐 지식을 연결하는 역학 및 재료 모델링을 위한 언어 기반 전략"이며 2023년 10월 19일 "Applied Mechanics Reviews"에 게재되었습니다.

물리적, 생물학적, 형이상학적 개념을 모델링하는 것은 여러 분야의 연구자들의 초점이었습니다. 초기 과학자와 엔지니어는 종종 과학에서 철학, 물리학에서 수학, 예술(예: 갈릴레오 갈릴레이, 레오나르도 다 빈치, 요한 볼프강 폰 괴테)에 이르는 분야에 깊이 뿌리박혀 있었지만 과학이 발전하면서 전문화가 이루어졌습니다. 오늘은 지배적이다. 그 이유 중 하나는 여러 분야에 걸쳐 많은 양의 지식이 축적되어 있기 때문에 인간은 연구와 실천에 많은 에너지를 소비해야 하기 때문입니다.

요즘 LLM(대형 언어 모델)의 등장은 과학 연구의 패러다임에 도전하고 있습니다. 인공지능/머신러닝을 기반으로 한 새로운 모델링 전략을 제시할 뿐만 아니라 도메인 전반에 걸쳐 지식, 아이디어, 개념을 연결할 수 있는 기회를 제공합니다. 이러한 모델은 적층 재료의 분석 및 설계와 역학의 기타 여러 응용 분야를 위한 기존의 다중 규모 모델링을 보완할 수 있습니다.

그림: 회로도 작업 흐름. (출처: 논문)

여기서 LAMM 연구원들은 최근 제안된 기계 및 재료 연구 및 개발에서 LLM의 사용을 기반으로 Llama-2 기반 OpenOrca-Platypus2-13B 기반의 범용 LLM을 개발했으며 미세 조정된 MechGPT 모델에 중점을 두었습니다. 재료 고장 모델링, 다중 규모 모델링 및 관련 분야에 대해 다룹니다.

OpenOrca-Platypus2-13B 모델을 선택한 이유는 추론, 논리, 수학/과학 및 기타 학문과 같은 핵심 작업을 잘 수행하고, 적당한 모델 크기에서 풍부하고 다학제적인 지식과 지식을 제공할 수 있기 때문입니다. . 일반적인 개념과 효율적인 컴퓨팅 기능

LLM은 과학 분야에서 강력한 응용 프로그램을 보유하고 있습니다. 기계 및 재료 과학 분야에서 대량의 데이터와 복잡한 시스템을 분석할 수 있는 것 외에도 LLM은 기계적 응력, 온도 및 화학적 상호 작용과 같은 다양한 조건에서 재료의 동작을 시뮬레이션하고 예측하는 데 사용됩니다. 이전 연구에서 볼 수 있듯이, 분자 역학 시뮬레이션의 대규모 데이터 세트에 대해 LLM을 교육함으로써 연구원은 새로운 상황에서 재료 거동을 예측할 수 있는 모델을 개발할 수 있으므로 발견 프로세스를 가속화하고 실험 테스트의 필요성을 줄일 수 있습니다.

이러한 모델은 서적, 출판물 등 과학 텍스트를 분석하는 데에도 매우 효과적이므로 연구자는 대량의 데이터에서 핵심 정보와 통찰력을 빠르게 추출할 수 있습니다. 이는 과학자들이 추세, 패턴, 다양한 개념과 아이디어 간의 관계를 식별하고 추가 연구를 위한 새로운 가설과 아이디어를 생성하는 데 도움이 될 수 있습니다.

MechGPT를 구축하는 데 사용되는 자동 회귀 디코더 변환기 아키텍처의 개요인 아래 그림을 살펴보세요. (출처: 종이)

여기서 팀은 후자의 개발에 중점을 두고 특히 재료 고장을 목표로 하는 Transformer 기반 LLM 제품군의 생성 인공 지능 도구인 MechGPT의 사용과 관련 다중 규모 방법 교육을 탐색하여 이러한 전략의 잠재력을 평가합니다. .

본 연구에서 제안한 전략은 여러 단계로 구성됩니다. 첫 번째는 연구자들이 LLM을 사용하여 원시 데이터 청크(예: 하나 이상의 PDF 파일)에서 추출한 텍스트에서 질문-답변 쌍을 생성하는 증류 단계입니다. 다음으로, 이 데이터를 사용하여 두 번째 단계에서 모델을 미세 조정합니다. 이 연구에서는 또한 초기 MechGPT 모델을 구체적으로 훈련하여 물질적 결함의 원자론적 모델링 분야에서 지식 검색, 일반 언어 작업 및 가설 생성에 대한 유용성을 입증했습니다.

그림: 사용된 모델링 전략 개요. (출처: 논문)

이 논문에서는 연구원들이 특정 언어 모델링 전략을 사용하여 데이터 세트를 생성하여 소스에서 지식을 추출하고 새로운 역학 및 재료 데이터 세트를 활용하여 모델을 훈련시키는 중요한 모델링 전략을 소개합니다. 연구원들은 130억에서 700억에 이르는 매개변수 크기와 10,000개 토큰을 초과하는 컨텍스트 길이를 갖춘 세 가지 버전의 MechGPT를 분석하고 논의했습니다.

모델, 팁 및 훈련 방법에 대한 몇 가지 일반적인 의견을 제시한 후 연구원들은 모델을 적용하고 성능을 테스트했습니다. 온톨로지 그래프 생성을 위해 LLM을 사용하고 여러 분야의 복잡한 주제에 대한 통찰력을 개발하는 것은 물론 여러 LLM이 협력적 또는 적대적 방식으로 상호 작용하는 에이전트 모델링을 포함하여 주제 영역에 대한 더 깊은 통찰력을 생성하거나 이에 대한 답변을 제공합니다. 질문.

그래프: 초음속 파괴 및 단백질 전개 메커니즘의 맥락에서 초탄성을 연관시키기 위한 존재론적 지식 그래프 표현 개발. (출처: 논문)

동시에 팀은 다양한 추상화 수준에서 언어 모델과 다중 입자 시스템 간의 개념적 비교를 추가로 제공하고, 새로운 프레임워크가 보편적인 관계를 추출하는 수단으로 어떻게 볼 수 있는지 설명합니다. 복잡한 시스템을 관리합니다.

재작성된 내용: 위 이미지는 LLM과 다중 입자 시뮬레이션 간의 개념적 비유를 보여줍니다. (출처: 논문)

전반적으로, 이 연구에서 제시된 작업은 과학적 연구를 발전시키고 특정 응용 분야의 복잡한 문제를 해결하는 데 도움이 될 수 있는 보다 강력하고 일반적인 인공 지능 모델의 개발에 기여하여 모델 성능을 심층적으로 평가할 수 있습니다. . 모든 모델과 마찬가지로 모델도 신중하게 검증되어야 하며, 모델의 유용성은 질문의 맥락, 모델의 강점과 약점, 과학자가 과학과 공학을 발전시키는 데 도움이 되는 광범위한 도구에 달려 있습니다.

또한 AI 도구는 과학적 탐구 도구로서 우리 주변의 세계를 이해하고, 모델링하고, 설계하기 위한 도구 모음으로 보아야 합니다. AI 도구가 빠르게 발전함에 따라 과학적인 맥락에서 AI 도구를 적용하는 것은 이제 새로운 기회를 가져오기 시작했습니다.

논문 링크: https://arxiv.org/ftp/arxiv/papers/2310/2310.10445.pdf

관련 보고서: https://twitter.com/llama_index/status/1723379654550245719

위 내용은 학제 간 이해와 다중 규모 모델링이 가능한 MIT LAMM, 미세 조정된 대형 언어 모델 MechGPT 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!