오픈 소스 대형 모델은 폐쇄 소스를 능가해야 합니다 - LeCun, 2024 AI 트렌드 차트 공개

2023년이 끝나갑니다. 지난 한 해 동안 다양한 대형 모델이 출시되었습니다. OpenAI 및 Google과 같은 기술 거대 기업이 경쟁하는 동안 또 다른 "강력"이 조용히 떠오르고 있습니다. 바로 오픈 소스입니다.

오픈 소스 모델은 항상 많은 질문을 받아왔습니다. 독점 모델만큼 좋은가요? 독점 모델의 성능과 일치할 수 있습니까? 지금까지 우리는 어느 정도 가까워졌다고만 말할 수 있었습니다. 그럼에도 불구하고 오픈 소스 모델은 항상 우리에게 깊은 인상을 줄 수 있는 실증적 성능을 제공합니다.

오픈 소스 모델의 등장으로 게임의 규칙이 바뀌고 있습니다. 예를 들어 Meta의 LLaMA 시리즈는 빠른 반복, 사용자 정의 가능성 및 개인 정보 보호로 인해 인기를 얻고 있습니다. 이러한 모델은 커뮤니티에서 빠르게 개발되고 있으며 독점 ​​모델에 대한 강력한 도전 과제를 제시하고 대규모 기술 회사의 경쟁 환경을 변화시킬 수 있습니다.

하지만 이전에는 대부분의 사람들의 아이디어는 "감정"에서 나왔습니다. 오늘 아침 Meta의 수석 AI 과학자이자 Turing Award 수상자 Yann LeCun은 갑자기 다음과 같이 한탄했습니다. “오픈 소스 인공 지능 모델이 독점 모델을 능가하는 길에 있습니다.” ARK Invest 팀은 2024년 인공지능의 발전을 예측할 가능성이 있는 것으로 간주됩니다. 이는 생성 인공 지능의 독점 모델과 오픈 소스 커뮤니티의 성장을 보여줍니다.

OpenAI 및 Google과 같은 회사가 점점 더 폐쇄됨에 따라 최신 모델에 대한 정보를 점점 더 자주 노출합니다. 결과적으로 오픈 소스 커뮤니티와 기업 후원자 Meta는 생성 ​​AI를 민주화하기 위해 개입하기 시작했으며 아마도 독점 모델의 비즈니스 모델에 도전하고 있습니다.

이 산점도에는 다양한 AI가 표시됩니다. 모델. 독점 모델은 파란색으로, 오픈 소스 모델은 검정색으로 표시됩니다. GPT-3, Chinchilla 70B(Google), PaLM(Google), GPT-4(OpenAI), Llama65B(Meta) 등 다양한 AI 모델의 다양한 시점에서의 성능을 확인할 수 있습니다.

Meta가 처음 LLaMA를 출시했을 때 매개변수 수는 70억에서 650억까지 다양했습니다. 이러한 모델의 성능은 매우 뛰어납니다. 130억 개의 매개변수가 있는 Llama 모델은 "대부분의 벤치마크에서" GPT-3(1,750억 개의 매개변수)보다 성능이 뛰어나며 단일 V100 GPU에서 실행될 수 있습니다. Google의 Chinchilla-70B 및 PaLM-540B와 비슷합니다.

Falcon-40B는 출시되자마자 Huggingface의 OpenLLM 순위 1위에 오르며 Llama가 돋보이는 현장을 바꿔 놓았습니다.

Llama 2는 오픈 소스로, 다시 한번 대형 모델 환경에 큰 변화를 가져왔습니다. Llama 1에 비해 Llama 2는 훈련 데이터가 40% 더 많고 컨텍스트 길이가 두 배이며 그룹화된 쿼리 주의 메커니즘을 채택합니다.

최근 오픈 소스 대형 모델 세계에는 Yi 모델이라는 새로운 헤비급 멤버가 추가되었습니다. 한 번에 40만 개의 한자를 처리할 수 있으며, 중국어와 영어가 모두 목록을 지배합니다. Yi-34B는 국내 모델 중 유일하게 허깅페이스 오픈소스 모델 순위 1위에 오르기도 했습니다.

산점도에 따르면 오픈 소스 모델의 성능이 계속해서 독점 모델을 따라잡고 있습니다. 이는 가까운 미래에 오픈 소스 모델이 성능 면에서 독점 모델과 동등하거나 심지어 능가할 것으로 예상된다는 것을 의미합니다.

Mistral 8x7B는 지난 주말 가장 간단한 출시 방법과 강력한 성능으로 연구원들로부터 높은 평가를 받았습니다. "클로즈드 소스 대형 모델이 끝났다"고

일부 네티즌들은 "2024년은 오픈 소스 인공지능의 해가 될 것"이라며 "우리는 위기에 직면해 있다"고 믿기 시작했습니다. 현재 오픈소스 커뮤니티 프로젝트를 고려하면 향후 12개월 안에 GPT-4 수준에 도달할 것으로 예상됩니다. "

오픈소스 모델은 순조롭게 항해하며 어떤 성능을 보여줄 것인가

위 내용은 오픈 소스 대형 모델은 폐쇄 소스를 능가해야 합니다 - LeCun, 2024 AI 트렌드 차트 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!