AI에게 많은 물리학 지식을 제공하는 방법은 무엇입니까? EIT와 북경대학교 팀은 '규칙의 중요성'이라는 개념을 제안했습니다.

Editor | ScienceAI

딥 러닝 모델은 방대한 양의 데이터에서 잠재 관계를 학습하는 능력으로 인해 과학 연구 분야에 지대한 영향을 미쳤습니다. 그러나 순수하게 데이터에만 의존하는 모델은 데이터에 대한 과도한 의존, 일반화 기능의 한계, 실제 물리적 세계와의 일관성 문제 등 한계를 점차 드러냅니다. 이러한 문제로 인해 연구자들은 데이터 기반 모델의 단점을 보완하기 위해 더 해석 가능하고 설명 가능한 모델을 탐색하게 됩니다. 따라서 더 많은 해석 가능성과 일반화 기능을 갖춘 모델을 구축하기 위해 도메인 지식과 데이터 기반 방법을 결합하는 것이 현재 과학 연구에서 중요한 방향이 되었습니다. 이런

예를 들어 미국 기업 OpenAI가 개발한 텍스트-비디오 모델 Sora는 뛰어난 이미지 생성 능력으로 높은 평가를 받으며 인공지능 분야에서 중요한 진전으로 평가됩니다. 사실적인 이미지와 비디오를 생성할 수 있음에도 불구하고 Sora는 여전히 중력 및 물체 조각화와 같은 물리 법칙을 다루는 데 몇 가지 어려움을 겪고 있습니다. Sora는 실제 시나리오를 시뮬레이션하는 데 상당한 진전을 이루었지만 물리 법칙을 이해하고 정확하게 시뮬레이션하는 데는 여전히 개선의 여지가 있습니다. AI 기술의 발전에는 다양한 실제 상황에 더 잘 적응하기 위해 모델의 포괄성과 정확성을 향상시키기 위한 지속적인 노력이 여전히 필요합니다.

이 문제를 해결하는 한 가지 잠재적인 방법은 인간의 지식을 딥 러닝 모델에 통합하는 것입니다. 사전 지식과 데이터를 결합함으로써 모델의 일반화 능력이 향상되어 물리 법칙을 이해할 수 있는 "정보화된 기계 학습" 모델이 탄생할 수 있습니다. 이러한 접근 방식은 모델의 성능과 정확성을 향상시켜 현실 세계의 복잡한 문제에 더 잘 대처할 수 있을 것으로 기대됩니다. 인간 전문가의 경험과 통찰력을 머신러닝 알고리즘에 통합함으로써 보다 지능적이고 효율적인 시스템을 구축할 수 있으며, 이를 통해 인공지능 기술의 개발 및 적용을 촉진할 수 있습니다.

현재 딥러닝에서 지식의 정확한 가치에 대한 심층적인 탐구가 여전히 부족합니다. 어떤 사전 지식이 "사전 학습" 모델에 효과적으로 통합될 수 있는지 결정하는 것이 시급한 문제입니다. 동시에 여러 규칙을 맹목적으로 통합하면 모델 실패로 이어질 수 있으므로 주의가 필요합니다. 이러한 제한으로 인해 데이터와 지식 간의 관계를 심층적으로 탐색하는 데 어려움이 따릅니다.

이 문제에 대응하기 위해 EIT(Eastern Institute of Technology)와 Peking University의 연구팀은 "규칙 중요도"라는 개념을 제안하고 모델의 예측 정확도에 대한 각 규칙의 기여도를 정확하게 계산할 수 있는 프레임워크를 개발했습니다. 이 프레임워크는 데이터와 지식 사이의 복잡한 상호 작용을 드러내고 지식 임베딩에 대한 이론적 지침을 제공할 뿐만 아니라 훈련 과정에서 지식과 데이터의 영향 균형을 맞추는 데도 도움이 됩니다. 또한 이 방법은 부적절한 선험적 규칙을 식별하는 데에도 사용될 수 있어 학제간 분야의 연구 및 적용에 대한 광범위한 전망을 제공합니다.

본 연구는 "사전 지식이 딥러닝에 미치는 영향"이라는 제목으로 Cell Press 산하 학제간 저널인 "Nexus"에 2024년 3월 8일 게재되었습니다. 이 연구는 AAAS(미국과학진흥협회)와 EurekAlert로부터 주목을 받았습니다!

아이들에게 퍼즐을 가르칠 때 시행착오를 통해 답을 찾도록 하거나 몇 가지 기본 규칙과 기술을 안내할 수 있습니다. 마찬가지로 물리 법칙과 같은 규칙과 기술을 AI 훈련에 통합하면 더욱 현실적이고 효율적으로 만들 수 있습니다. 그러나 인공지능에서 이러한 규칙의 가치를 어떻게 평가하는가는 연구자들에게 늘 어려운 문제였습니다.

사전 지식의 다양성을 고려할 때 사전 지식을 딥 러닝 모델에 통합하는 것은 복잡한 다중 목표 최적화 작업입니다. 연구팀은 딥러닝 모델을 개선하는 데 있어 다양한 사전 지식의 역할을 정량화하기 위한 프레임워크를 혁신적으로 제안합니다. 그들은 이 과정을 협력과 경쟁으로 가득 찬 게임으로 보고, 모델 예측에 대한 한계 기여도를 평가하여 규칙의 중요성을 정의합니다. 먼저, 가능한 모든 규칙 조합(즉, "연합")이 생성되고, 각 조합에 대해 모델이 구축되며, 평균 제곱 오차가 계산됩니다.

계산 비용을 줄이기 위해 그들은 섭동에 기반한 효율적인 알고리즘을 채택했습니다. 먼저 완전히 데이터 기반 신경망을 기본 모델로 훈련한 다음 추가 훈련을 위해 각 규칙 조합을 하나씩 추가하고 마지막으로 모델 성능을 평가합니다. 테스트 데이터에. 규칙이 있거나 없는 모든 연합에서 모델 성능을 비교함으로써 해당 규칙의 한계 기여도와 그 중요성을 계산할 수 있습니다.

그림: 규칙 중요도 계산 과정(출처: 논문)

연구원들은 유체 역학의 예를 통해 데이터와 규칙 사이의 복잡한 관계를 탐구했습니다. 그들은 데이터와 이전 규칙이 다양한 작업에서 완전히 다른 역할을 한다는 것을 발견했습니다. 테스트 데이터와 훈련 데이터의 분포가 유사한 경우(즉, 내분포) 데이터 양이 증가하면 규칙의 효과가 약화됩니다.

그러나 테스트 데이터와 훈련 데이터 간의 분포 유사성이 낮은 경우(즉, 분포 외) 전역 규칙의 중요성이 부각되는 반면 로컬 규칙의 영향력은 약화됩니다. 이 두 가지 유형의 규칙 사이의 차이점은 전역 규칙(예: 지배 방정식)은 전체 영역에 영향을 미치는 반면, 로컬 규칙(예: 경계 조건)은 특정 영역에만 작용한다는 것입니다.

그림: 규칙의 중요성과 데이터 양의 관계(출처: 논문)

연구팀은 수치 실험을 통해 지식 임베딩에서 규칙 사이에 종속 효과와 시너지 효과라는 세 가지 상호 작용 효과가 있음을 발견했습니다. 효과와 대체효과.

종속성 효과는 일부 규칙이 효과적이기 위해 다른 규칙에 의존해야 한다는 것을 의미합니다. 시너지 효과는 함께 작동하는 여러 규칙의 효과가 독립적인 효과의 합을 초과한다는 것을 보여줍니다. 규칙의 기능은 다음으로 대체될 수 있습니다. 데이터 또는 기타 규칙.

이 세 가지 효과는 동시에 존재하며 데이터 양에 따라 영향을 받습니다. 규칙 중요도를 계산하면 이러한 효과가 명확하게 입증되어 지식 임베딩에 대한 중요한 지침을 제공할 수 있습니다.

응용 수준에서 연구팀은 지식 임베딩 프로세스의 핵심 문제, 즉 임베딩 효율성을 개선하고 부적절한 사전 지식을 걸러내기 위해 데이터와 규칙의 역할 균형을 맞추는 방법을 해결하려고 노력했습니다. 모델의 훈련 과정에서 팀은 규칙의 가중치를 동적으로 조정하는 전략을 제안했습니다.

구체적으로, 훈련 반복 단계가 증가함에 따라 긍정적 중요도 규칙의 가중치는 점차 증가하는 반면, 부정적 중요도 규칙의 가중치는 감소합니다. 이 전략은 최적화 프로세스의 필요에 따라 실시간으로 다양한 규칙에 대한 모델의 주의를 조정할 수 있으므로 보다 효율적이고 정확한 지식 임베딩을 달성할 수 있습니다.

또한 AI 모델에 물리 법칙을 가르치면 해당 모델이 "실제 세계와 더 관련성이 높아져 과학 및 공학에서 더 큰 역할을 수행"할 수 있습니다. 따라서 이 프레임워크는 공학, 물리학, 화학 분야에서 광범위하게 실용적으로 적용됩니다. 연구진은 다변량 방정식을 풀기 위해 기계 학습 모델을 최적화했을 뿐만 아니라 박층 크로마토그래피 분석을 위한 예측 모델의 성능을 향상시키는 규칙을 정확하게 식별했습니다.

실험 결과에 따르면 이러한 효과적인 규칙을 통합하면 모델 성능이 크게 향상되고 테스트 데이터 세트의 평균 제곱 오차가 0.052에서 0.036으로 감소합니다(30.8% 감소). 이는 프레임워크가 경험적 통찰력을 구조화된 지식으로 변환하여 모델 성능을 크게 향상시킬 수 있음을 의미합니다.

일반적으로 지식의 가치를 정확하게 평가하는 것은 보다 현실감 있고 안전성과 신뢰성을 향상시키는 AI 모델을 구축하는 데 도움이 되며 딥 러닝 개발에 큰 의미가 있습니다.

그림: 규칙 중요도를 통해 효과적인 규칙 식별(출처: 논문)

다음으로 연구팀은 프레임워크를 인공지능 개발자가 사용할 수 있는 플러그인 도구로 개발할 계획입니다. 이들의 궁극적인 목표는 데이터에서 직접 지식과 규칙을 추출하고 스스로 개선할 수 있는 모델을 개발함으로써 지식 발견부터 지식 임베딩까지 폐쇄 루프 시스템을 만들어 모델을 진정한 인공지능 과학자로 만드는 것입니다.

논문 링크: https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9

AAAS 보고서 링크: https://www.eurekalert.org/news-releases/1036117

위 내용은 AI에게 많은 물리학 지식을 제공하는 방법은 무엇입니까? EIT와 북경대학교 팀은 '규칙의 중요성'이라는 개념을 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!