Nature에 게재된 DeepMind 논문: 수십 년 동안 수학자들을 괴롭혔던 문제, 대형 모델이 새로운 해결책을 찾았습니다.

올해 인공지능 분야 최고의 기술인 대형 언어 모델(LLM)은 개념을 결합하고 읽기, 이해, 쓰기, 코딩을 통해 사람들이 문제를 해결하도록 돕는 데 능숙합니다. 하지만 그들이 완전히 새로운 지식을 발견할 수 있을까요?

LLM이 "환각" 문제, 즉 사실과 일치하지 않는 정보를 생성하는 문제를 겪고 있는 것으로 나타났기 때문에 검증 가능하게 정확한 발견을 위해 LLM을 활용하는 것은 어려운 작업입니다.

현재, Google DeepMind 연구팀 수학과 컴퓨터 과학 문제에 대한 해결책을 검색하는 새로운 방법인 FunSearch를 제안했습니다. FunSearch는 환각과 잘못된 생각을 방지하기 위해 사전 훈련된 LLM(컴퓨터 코드 형태로 창의적인 솔루션을 제공)과 자동 "평가자"를 결합하여 작동합니다. 이 두 구성 요소 사이를 앞뒤로 반복함으로써 초기 솔루션은 "새로운 지식"으로 발전합니다. Nature지에 관련 논문이 게재되었습니다.

논문 주소: https://www.nature.com/articles/s41586-023-06924-6

이 작품은 과학이나 수학 분야의 도전적인 개방형 문제에 LLM을 활용한 최초의 작품입니다. 새로운 발견을 해보세요.

FunSearch는 수학에서 오랫동안 풀리지 않은 문제인 캡 세트 문제에 대한 새로운 솔루션을 찾아냅니다. 또한 DeepMind는 이 솔루션을 사용하여 데이터 센터의 효율성 향상 등 다양한 분야에서 널리 사용되는 "복싱" 문제를 해결하기 위한 보다 효율적인 알고리즘을 탐색합니다. FunSearch의 실용적인 가치 입증

연구팀은 FunSearch가 출력하는 프로그램이 솔루션이 무엇인지뿐만 아니라 솔루션이 어떻게 구축되었는지를 보여주기 때문에 특히 강력한 과학 도구가 될 것이라고 믿습니다. 이는 과학자들의 더 많은 통찰력을 자극하여 과학적 개선과 발견의 선순환을 창출할 것입니다.

언어 모델의 진화를 통해 발견 촉진

FunSearch는 LLM이 제공하는 진화 알고리즘을 사용하여 최고 점수의 아이디어와 아이디어를 장려하고 추진합니다. 이러한 아이디어와 아이디어는 컴퓨터 프로그램으로 표현되어 자동으로 실행되고 평가될 수 있습니다

먼저 사용자는 문제에 대한 설명을 코드 형식으로 작성해야 합니다. 이 설명에는 프로그램 풀을 초기화하는 데 사용되는 프로그램 및 시드 프로그램을 평가하는 프로세스가 포함되어야 합니다.

FunSearch는 반복 프로세스입니다. 각 반복에서 시스템은 현재 프로그램 풀에서 일부 프로그램을 선택하여 LLM에 전달합니다. LLM은 이러한 기반을 바탕으로 새로운 프로그램을 생성한 후 자동으로 평가됩니다. 최고의 프로그램이 기존 라이브러리에 다시 추가되어 자기 개선의 순환을 만들게 됩니다. FunSearch는 Google의 PaLM 2를 사용하지만 다른 코드 훈련 방법과도 호환됩니다.

LLM은 프로그램 데이터베이스에서 생성된 최고의 프로그램을 검색하고 더 나은 프로그램을 생성하도록 요청받습니다.

우리 모두 알고 있듯이 다양한 분야에서 새로운 수학적 지식과 알고리즘을 탐구하는 것은 매우 어려운 작업이며, 이는 현재 가장 발전된 인공 지능 시스템의 능력을 넘어서는 경우가 많습니다. FunSearch를 작업에 맞게 만들기 위해 연구팀은 몇 가지 주요 구성 요소를 도입했습니다. FunSearch는 처음부터 시작하는 것이 아니라 문제에 대한 상식에서 시작하여 가장 중요한 아이디어를 찾는 데 집중하여 새로운 발견을 달성하는 진화 과정을 사용합니다

또한 FunSearch의 진화 과정은 다양성을 높이는 전략을 사용합니다. 정체를 피하기 위한 아이디어. 마지막으로 시스템 효율성을 높이기 위해 진화 프로세스가 병렬로 실행됩니다.

수학의 새로운 지평을 열다

DeepMind는 그들이 가장 먼저 해결하고 싶었던 것은 수십 년 동안 여러 연구 분야의 수학자들을 당황하게 했던 공개 문제인 캡 세트 문제라고 말했습니다. 유명한 수학자 테렌스 타오(Terence Tao)는 이를 자신이 가장 좋아하는 공개 문제로 묘사한 적이 있습니다. DeepMind는 캡 세트 문제에서 중요한 돌파구를 마련한 위스콘신 매디슨 대학교의 수학과 교수인 Jordan Ellenberg와 협력하기로 결정했습니다.

중요한 문제는 고차원 그리드에서 세 점이 동일선상에 있지 않도록 가장 큰 점 집합("캡 집합"이라고 함)을 찾는 것입니다. 이 문제의 중요성은 극단 조합론의 다른 문제에 대한 모델이 될 수 있다는 것입니다. 극단적인 조합론은 숫자, 그래픽 또는 기타 개체가 될 수 있는 컬렉션의 최소 또는 최대 크기를 연구합니다. 무차별 대입 솔루션은 이 문제를 해결하지 못합니다. 고려해야 할 가능성의 수는 우주의 원자 수를 빠르게 초과할 것입니다

FunSearch의 프로그래밍 방식으로 생성된 솔루션은 어떤 경우에는 지금까지 생성된 가장 큰 캡 세트를 발견했습니다. 이는 지난 20년 동안 캡 세트 크기가 가장 크게 증가한 것을 나타냅니다. 또한 FunSearch는 문제의 규모가 현재 기능을 훨씬 초과하기 때문에 최첨단 계산 솔버보다 성능이 뛰어납니다.

시드 프로그램(상단)에서 새로운 고득점 기능(하단)으로의 진화를 보여주는 대화형 차트입니다. 각 원은 프로그램을 나타내며 그 크기는 할당된 점수에 비례합니다. 그림에는 하위 프로그램의 상위 프로그램만 표시됩니다. 각 노드에 대해 FunSearch가 생성한 해당 함수는 오른쪽에 표시됩니다.

이러한 결과는 FunSearch 기술을 통해 인간이 직관력을 구축하기 어려운 어려운 조합 문제에 대해 기존 결과를 뛰어넘을 수 있음을 보여줍니다. DeepMind는 이러한 접근 방식이 조합론의 유사한 이론적 문제에 대한 새로운 발견에 역할을 하고, 미래에는 의사소통 이론과 같은 분야에 새로운 가능성을 가져올 것으로 기대합니다.

FunSearch는 간결하고 사람이 이해할 수 있는 프로그램을 선호합니다.

새로운 수학적 지식을 발견하는 것도 그 자체로 중요하지만 FunSearch 방법은 기존 컴퓨터 검색 기술에 비해 다른 장점도 보여줍니다. 펀서치는 문제의 해결책만 제시하는 블랙박스가 아니기 때문입니다. 대신, 이러한 솔루션이 어떻게 도달되었는지 설명하는 프로그램을 생성합니다. 이런 종류의 "당신의 작업을 보여주기"는 일반적으로 과학자들이 작업하는 방식으로, 새로운 발견이나 현상을 발생시킨 과정을 설명함으로써 설명합니다.

FunSearch는 매우 컴팩트한 프로그램을 대표하는 Kolmogorov 복잡성이 낮은 솔루션을 찾는 것을 선호합니다. Kolmogorov 복잡성은 솔루션을 출력하는 데 필요한 가장 짧은 컴퓨터 프로그램의 길이를 나타냅니다. 짧은 프로그램을 사용함으로써 FunSearch는 매우 큰 개체를 설명할 수 있으므로 매우 복잡한 문제를 처리할 수 있습니다. 또한 이는 연구자가 FunSearch에서 생성된 프로그램 출력을 더 쉽게 이해할 수 있게 해줍니다. Ellenberg는 다음과 같이 말했습니다. "FunSearch는 공격 전략 개발을 위한 완전히 새로운 메커니즘을 제공합니다. FunSearch를 통해 생성된 솔루션은 단순한 숫자 목록보다 개념적으로 더 풍부합니다. 저는 이를 연구하면서 뭔가를 배웠습니다.

더 중요한 것은 FunSearch의 해석 가능성입니다. 프로그램은 연구자들에게 실행 가능한 통찰력을 제공할 수 있습니다. 예를 들어, DeepMind는 FunSearch를 사용하는 동안 일부 높은 점수 출력의 코드에서 흥미로운 대칭성을 발견했습니다. 이를 통해 DeepMind는 문제에 대한 새로운 이해를 얻었고, 더 나은 솔루션을 찾기 위해 FunSearch가 도입된 문제를 개선하는 데 사용했습니다. DeepMind는 이것이 수학의 많은 문제에 대해 FunSearch와 인간이 협력한 훌륭한 예라고 믿습니다.

왼쪽: FunSearch에서 생성된 코드를 검사하여 DeepMind는 더 실행 가능한 통찰력을 얻었습니다(강조 표시). 오른쪽: 왼쪽의 (더 짧은) 프로그램을 사용하여 구성된 원래의 "허용 가능한" 세트.

잘 알려진 계산 문제 해결

이론적 캡 세트 문제의 성공에 영감을 받아 DeepMind는 컴퓨터 과학의 중요한 실제 과제인 빈 포장 문제에 FunSearch를 적용하기로 결정했습니다. 포장 문제는 다양한 크기의 품목을 최소 개수의 상자에 포장하는 방법에 관한 것입니다. 이는 품목을 보관하는 컨테이너 운송부터 비용을 최소화해야 하는 데이터 센터의 컴퓨팅 작업 분산에 이르기까지 많은 실제 문제의 핵심입니다.

일반적으로 온라인 비닝 문제를 해결하려면 인간의 경험을 기반으로 한 경험적 알고리즘 규칙을 사용합니다. 그러나 각 특정 상황(규모, 시간 또는 용량이 다름)에 대한 일련의 규칙을 개발하는 것은 매우 어렵습니다. Cap Set 문제와는 매우 다르지만 FunSearch를 사용하면 이 문제를 해결하는 것이 매우 쉽습니다. FunSearch는 특정 상황에 따라 데이터에 적응할 수 있는 자동 맞춤형 프로그램을 제공하며, 기존 휴리스틱에 비해 더 적은 수의 상자를 사용하여 동일한 수의 항목을 로드할 수 있습니다.

기존 휴리스틱 사용 최적합 휴리스틱(왼쪽)과 FunSearch가 발견한 휴리스틱(오른쪽).

온라인 비닝과 같은 복잡한 조합 문제는 신경망 및 강화 학습과 같은 다른 인공 지능 방법을 사용하여 해결할 수 있습니다. 이러한 방법은 효과적인 것으로 입증되었지만 배포하는 데 상당한 리소스가 필요할 수도 있습니다. 반면 FunSearch는 검사 및 배포가 쉬운 코드를 출력합니다. 즉, FunSearch의 솔루션은 다양한 실제 산업 시스템에 적용되어 빠르게 이점을 얻을 수 있는 잠재력을 가지고 있습니다.

DeepMind: 과학적 과제를 해결하기 위해 대형 모델을 사용하는 것이 일반화될 것입니다

FunSearch는 LLM이 환각을 예방할 수 있다면 이러한 모델의 힘을 새로운 수학적 발견을 생성하는 데 사용할 수 있을 뿐만 아니라 실제 문제에 대한 중요한 잠재적 솔루션을 공개합니다.

DeepMind는 과학 및 산업의 많은 문제(오랜 문제 및 새로운 문제 모두)에 대해 LLM 기반 방법을 사용하여 효율적이고 맞춤형 알고리즘을 생성하는 것이 일반적인 관행이 될 것이라고 믿습니다.

사실 이건 시작에 불과합니다. LLM이 계속해서 발전함에 따라 FunSearch도 계속해서 개선될 것입니다. DeepMind는 또한 사회의 다양한 긴급한 과학 및 공학적 과제를 해결하기 위해 역량을 확장하기 위해 노력할 것이라고 말했습니다.

위 내용은 Nature에 게재된 DeepMind 논문: 수십 년 동안 수학자들을 괴롭혔던 문제, 대형 모델이 새로운 해결책을 찾았습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!