올해 영어 대학 입학 시험, CMU는 재구성 사전 훈련을 사용하여 GPT3를 크게 능가하는 134점의 높은 점수를 획득했습니다.
우리가 데이터를 저장하는 방식은 생물학적 신경망에서 인공 신경망으로 변화하고 있습니다. 실제로 가장 일반적인 상황은 뇌를 사용하여 데이터를 저장하는 것입니다. 오늘날 사용 가능한 데이터의 양이 계속 증가함에 따라 사람들은 하드 드라이브나 클라우드 스토리지와 같은 다양한 외부 장치를 사용하여 데이터를 저장하려고 합니다. 딥러닝 기술의 등장과 함께 인공신경망을 이용해 정보를 데이터에 저장하는 또 다른 유망 스토리지 기술이 등장했다.
연구원들은 데이터 저장의 궁극적인 목표는 인간의 삶에 더 나은 서비스를 제공하는 것이라고 믿으며, 데이터에 접근하는 방법도 저장 방법만큼 중요합니다. 그러나 데이터가 저장되고 액세스되는 방식에는 차이가 있습니다. 역사적으로 사람들은 세상에 존재하는 정보를 더 잘 활용하기 위해 이러한 격차를 해소하기 위해 노력해 왔습니다. 그림 3과 같이:
- 생물학적 신경망(예: 인간의 뇌) 측면에서 인간은 아주 어린 나이에 과정(예: 지식)을 통해 교육을 받기 때문에 특정 데이터를 추출하여 처리할 수 있습니다. 복잡한 삶의 변화.
- 외부 장치 저장의 경우 사람들은 일반적으로 특정 패턴(예: 테이블)에 따라 데이터를 구조화한 다음 특수 언어(예: SQL)를 사용하여 데이터베이스에서 필요한 정보를 효율적으로 검색합니다.
- 인공 신경망 기반 저장의 경우 연구원은 자기 지도 학습을 활용하여 대규모 말뭉치(예: 사전 훈련)의 데이터를 저장한 다음 다양한 다운스트림 작업(예: 감정 분류)에 네트워크를 사용합니다.
CMU의 연구원들은 모델 매개변수 최적화를 안내하기 위한 사전 훈련 신호 역할을 할 수 있는 다양한 유형의 정보가 포함된 데이터에 액세스하는 새로운 방법을 제안했습니다. 본 연구에서는 데이터를 신호 단위로 구조화된 방식으로 제시합니다. 이는 데이터베이스를 사용하여 데이터를 저장하는 시나리오와 유사합니다. 먼저 테이블이나 JSON 형식으로 구조화되므로 SQL과 같은 특수 언어를 통해 필요한 정확한 정보를 검색할 수 있습니다.
또한, 본 연구에서는 단순히 수동으로 선별된 지도 데이터 세트에 존재하는 것이 아니라, 세상의 모든 종류의 데이터에 가치 있는 신호가 풍부하게 존재한다고 믿습니다. 연구자가 해야 할 일은 (a) 데이터를 식별하고 (b) 통합된 데이터를 사용하는 것입니다. 언어 재구성 데이터(c)는 이를 사전 훈련된 언어 모델에 통합하여 저장합니다. 연구에서는 이러한 학습 패러다임을 RST(reStructured Pre-training)라고 부릅니다. 연구자들은 이 과정을 "광산의 보물찾기"에 비유했습니다. Wikipedia와 같은 다양한 데이터 소스는 보석이 풍부한 광산과 같습니다. 여기에는 모델 사전 학습을 위한 신호를 제공할 수 있는 하이퍼링크의 명명된 엔터티와 같은 풍부한 정보가 포함되어 있습니다. 우수한 사전 학습 모델(PLM)은 다운스트림 작업의 다양한 요구 사항에 따라 정확한 정보를 제공하기 위해 데이터의 다양한 신호 구성을 명확하게 이해해야 합니다.
논문 주소: https://arxiv.org/pdf/2206.11147.pdf
Pre-trained 언어 모델 보물 찾기
이 연구는 자연어 처리 작업 학습을 위한 새로운 패러다임을 제안합니다. 즉 RST, 이 패러다임은 데이터의 역할을 다시 강조하고 모델 사전 훈련 및 다운스트림 작업의 미세 조정을 데이터의 저장 및 액세스 프로세스로 처리합니다. 이를 바탕으로 본 연구에서는 간단한 원칙, 즉 좋은 저장 메커니즘은 대용량 데이터를 캐시할 수 있는 능력뿐만 아니라 접근의 편의성도 고려해야 한다는 것을 실현했습니다.
일부 엔지니어링 과제를 극복한 후 연구에서는 재구성된 데이터(원본 데이터 대신 다양한 가치 있는 정보로 구성됨)에 대한 사전 학습을 통해 이를 달성했습니다. 실험에 따르면 RST 모델은 다양한 NLP 작업(예: 분류, 정보 추출, 사실 검색, 텍스트 생성 등)의 52/55 인기 데이터 세트에서 최고의 기존 시스템(예: T0)보다 훨씬 뛰어난 성능을 발휘할 뿐만 아니라 다운스트림 작업을 미세 조정할 필요가 없습니다. 또한 매년 수백만 명의 학생들이 치르는 중국에서 가장 권위 있는 대학 입학 시험 영어 시험에서도 우수한 성적을 거두었습니다.
구체적으로, 본 글에서 제안하는 대학 입시 AI(Qin)는 1/16 매개변수를 사용하여 학생 평균 점수보다 40점 높고, GPT3보다 15점 더 높습니다. 특별한 진은 2018년 영어시험에서 138.5점(150점 만점)이라는 높은 점수를 받았습니다.
또한 연구에서는 2018~2021년(매년 확대 예정)의 주석이 달린 영어 시험지 10개가 포함된 Gaokao Benchmark 온라인 제출 플랫폼도 출시하여 더 많은 AI 모델이 대학 입시에 참여할 수 있도록 했습니다. 이 연구는 또한 우리가 현재 어디에 있는지 더 잘 이해할 수 있도록 인간과 AI 경쟁을 위한 상대적으로 공정한 테스트 플랫폼을 구축했습니다. 또 며칠 전(2022.06.08) 2022년 대학 입시 영어 시험에서 AI 시스템이 134점이라는 좋은 점수를 받은 반면, GPT3는 108점에 그쳤다.
이 연구의 주요 기여는 다음과 같습니다.
(1) NLP 방법의 진화 가설 제안. 본 연구는 현대 NLP 기술의 발전 사이의 본질적인 연관성을 탐구함으로써 전체적인 관점에서 "NLP 기술 진화 가설"을 확립하고자 한다. 간단히 말해서, 이 가설의 핵심 아이디어는 기술 반복이 항상 개발자가 더 좋고 더 다양한 시스템을 설계하기 위해 더 적은 노력을 하면 되는 방향으로 발전한다는 것입니다.
지금까지 NLP 기술의 진화는 그림 2와 같이 피쳐 엔지니어링 → 아키텍처 엔지니어링 → 타겟 엔지니어링 → 프롬프트 엔지니어링의 여러 반복을 거쳐 보다 실용적이고 효과적인 데이터 중심 엔지니어링으로 나아가고 있습니다. . 연구원들은 앞으로 더 많은 과학 연구자들이 이 문제에 대해 비판적으로 생각하고, 기술 진보의 핵심 원동력을 파악하고, 학문 발전을 위한 "점진적 상승" 경로를 찾고, 과학적으로 더 의미 있는 작업을 수행하도록 영감을 받기를 바랍니다.
(2) 진화 가설에 기초한 새로운 패러다임: 재구성된 사전 훈련. 이 패러다임은 모델 사전 훈련/미세 조정을 데이터 저장/액세스 프로세스로 취급하고 좋은 저장 메커니즘을 통해 의도한 데이터에 쉽게 액세스할 수 있어야 한다고 주장합니다. 이러한 새로운 패러다임을 통해 연구에서는 10개의 데이터 소스(예: Wikipedia)에서 전 세계 26가지 유형의 신호(예: 문장의 엔터티)를 통합할 수 있었습니다. 이를 기반으로 훈련된 일반 모델은 55개의 NLP 데이터 세트를 포함한 다양한 작업에 대한 강력한 일반화 기능을 달성했습니다.
(3) 대학 입시 AI. 본 연구에서는 위의 패러다임을 바탕으로 대학 입시 영어 시험 과제에 특화된 AI 시스템인 Qin을 개발했다. 딥러닝 기반의 세계 최초 대학 입시 영어 인공지능 시스템입니다. Qin은 수년 동안 대학 입학 시험 문제에서 뛰어난 결과를 얻었습니다. 일반 사람들보다 40점 더 높고, GPT-3 매개변수의 1/16만 사용하여 GPT-3보다 15점 더 높습니다. 특히 2018년 영어 시험 문제에서 QIN은 듣기와 독해 모두 만점을 받으며 138.5점(150점 만점)이라는 높은 점수를 받았습니다.
(4) 풍부한 리소스. (1) 인간 지능 달성에 있어 기존 AI 기술의 진행 상황을 추적하기 위해 연구에서는 새로운 벤치마크인 Gaokao Benchmark를 발표했습니다. 실제 시나리오에서 다양한 실제 작업과 영역에 대한 포괄적인 평가를 제공할 뿐만 아니라 AI 시스템을 인간과 직접 비교할 수 있도록 인간 성능 점수도 제공합니다. (2) 본 연구에서는 더 많은 AI 시스템이 Gaokao Benchmark에 쉽게 참여하고 자동으로 점수를 얻을 수 있도록 explainaBoard(Liu et al., 2021b)를 사용하여 Gaokao Benchmark의 대화형 리더보드를 설정했습니다. (3) 모든 리소스는 GitHub에서 찾을 수 있습니다.
또한, 대학 입시 영어 시험 과제에서 AI의 성공은 연구자들에게 많은 새로운 아이디어를 제공했습니다. AI 기술은 교육에 힘을 실어주고 교육 및 교육 분야의 일련의 문제를 해결하는 데 도움이 될 수 있습니다.
예를 들어, (a) 교사가 채점을 자동화하도록 돕고, (b) 학생들이 과제에 대한 질문에 답하고 자세히 설명하도록 돕고, (c) 더 중요한 것은 대부분의 가족이 동일한 수준의 교육을 받을 수 있도록 교육 형평성을 증진하는 역할을 합니다. 이 작업은 세계 각국의 26가지 서로 다른 신호를 최초로 통일된 방식으로 통합하고, 지도 데이터와 비지도 데이터를 구별하기보다는 자연이 우리에게 주는 정보를 우리가 얼마나, 어떻게 활용할 수 있는지에 대한 고민입니다. 다양한 NLP 작업의 50개 이상의 데이터 세트에 대한 뛰어난 성능은 데이터 중심 사전 훈련의 가치를 보여주고 더 많은 미래 탐색에 영감을 줍니다.
Refactoring Pre-training
NLP 작업 해결을 위한 패러다임은 빠르게 변화하고 있으며 여전히 계속되고 있습니다. 다음 표에는 NLP의 5가지 패러다임이 나열되어 있습니다.
본 연구에서는 기존의 모델 중심 디자인 패러다임과 달리, 기존 데이터의 활용도를 극대화하기 위해 데이터 관점에서 더 많이 생각합니다. 구체적으로 본 연구에서는 사전 훈련 단계를 데이터 저장 프로세스로 간주하고 사전 훈련된 모델을 기반으로 하는 다운스트림 작업(예: 감정 분류)을 데이터 액세스 프로세스로 간주하는 데이터 저장 및 액세스 관점을 채택합니다. 사전 훈련된 모델에서 좋은 데이터 저장 메커니즘은 저장된 데이터에 더 쉽게 접근할 수 있도록 해야 한다고 주장합니다.
이 목표를 달성하기 위해 이 연구는 데이터를 다양한 신호로 구성된 객체로 취급하며, 좋은 사전 훈련된 모델은 (1) 가능한 많은 신호 유형을 포괄하고, (2) 다운스트림 작업에서 필요할 때 다음을 제공해야 한다고 믿습니다. 이러한 신호에 대한 정확한 액세스 메커니즘. 일반적으로 이 새로운 패러다임은 재구성, 사전 훈련, 미세 조정의 세 단계로 구성됩니다.
재구성, 사전 훈련, 미세 조정의 새로운 패러다임은 데이터의 중요성을 강조하며, 연구자들은 데이터 처리에 더 많은 엔지니어링 에너지를 투자해야 합니다.
리팩토링 엔지니어링
신호 정의
신호는 기계 학습 모델에 대한 감독을 제공할 수 있는 데이터에 존재하는 유용한 정보로, n-튜플로 표현됩니다. 예를 들어, "Mozart는 잘츠부르크에서 태어났다", "Mozart" 및 "Salzburg"는 명명된 개체 인식을 위한 신호로 간주될 수 있습니다. 일반적으로 신호는 아래 그림 6과 같이 다양한 관점에서 클러스터링될 수 있습니다.
데이터 마이닝
실제 데이터에는 다양한 유형의 신호가 포함되어 있습니다. 사전 훈련을 재구성하면 이러한 신호를 완전히 활용할 수 있습니다. 연구에서는 수집된 신호(n-튜플)를 아래 그림 10과 같이 트리 다이어그램으로 구성했습니다.
신호 추출
연구의 다음 단계는 신호 추출 및 처리였으며, 여기에는 데이터 마이닝, 데이터 정리 및 데이터 정규화의 다양한 양식에서 원시 데이터를 얻는 것이 포함되었습니다. 기존 방법은 크게 (1) 규칙 기반과 (2) 기계 학습 기반의 두 가지 유형으로 나뉩니다. 이 연구에서 연구는 주로 규칙 기반 신호 추출 전략에 중점을 두고 있으며 향후 작업을 위해 더 높은 적용 범위의 방법을 남겨 둡니다.
Signal Reconstruction
다양한 데이터 마이닝에서 서로 다른 신호를 추출한 후 다음으로 중요한 단계는 사전 훈련 중에 모든 정보가 모델에 일관되게 저장되도록 이를 고정된 형태로 통합하는 것입니다. 프롬프트 방법(Brown et al., 2020; Liu et al., 2021d)은 이러한 목표를 달성할 수 있으며 원칙적으로 적절한 프롬프트 설계를 통해 거의 모든 유형의 신호를 언어 모델 스타일로 통합할 수 있습니다.
이 연구에서는 신호를 일반 신호와 작업 관련 신호라는 두 가지 주요 범주로 나누었습니다. 전자는 기본적인 언어 지식을 포함하고 있으며 모든 다운스트림 작업에 어느 정도 도움이 될 수 있는 반면, 후자는 일부 특정 다운스트림 작업에 도움이 될 수 있습니다.
일반적으로 사용되는 55개의 NLP 데이터 세트에 대한 실험
이 연구는 55개의 데이터 세트에 대해 평가된 다음 각각 GPT3 및 T0pp와 비교되었습니다. GPT3과의 비교 결과는 그림에 나와 있습니다. cb 데이터 세트를 제외한 4개의 데이터 세트에서 RST-All과 RST-Task 모두 GPT3의 Few-Shot 학습보다 Zero-Shot 성능이 더 좋습니다. 또한 cb 데이터 세트는 이러한 데이터 세트 중 가장 작으며 검증 세트에 샘플이 56개만 있으므로 이 데이터 세트에 대한 다양한 프롬프트의 성능이 크게 변동됩니다.
와 T0pp의 비교 결과는 표 4-6에 나와 있습니다. 예를 들어, 55개 측정의 평균 성능에서 RST-All은 49개 데이터 세트에서 T0pp를 능가하고 47/55개 예에서 최대 성능으로 승리합니다. 또한 55개 데이터 세트에 대한 평균 성능 테스트에서 RST-Task는 52개 데이터 세트에서 T0pp보다 성능이 뛰어나고 50/55 예에서 T0pp보다 성능이 뛰어납니다. 이는 재구성 학습의 우수성을 보여줍니다.
RST-Task는 어떤 작업을 잘하나요? 이 질문에 답하기 위해 본 연구에서는 제로 샘플 설정에서 RST-Task 모델의 성능을 현재 SOTA 모델과 비교하고 그 결과를 그림 13에 표시합니다. RST-Task는 주제 분류, 감정 분류, 자연어 추론 작업에는 좋지만 정보 추출 작업에서는 성능이 좋지 않습니다.
대학 입시 실험: 인간 수준의 AI를 향하여
본 연구에서는 2018년 국가고시 I/III, 2019년 국가고시 I/II/III, 2020년 등 10개의 대학 입시 영어 시험지를 수집했습니다. 국가 시험 I /II/III, 2021 국가 볼륨 A/B. 이 시험들은 동일한 질문 패턴을 따르며 모든 시험 문제 유형을 표 7에 표시된 대로 다음 7개의 하위 범주로 나눕니다.
각 대학 입학 시험 영어 시험은 150점 만점의 가치가 있습니다. 듣기, 클로즈, 읽기, 쓰기는 각각 30점, 45점, 40점, 35점으로 나타났다. 일반적으로 쓰기 섹션은 주관적이며 사람의 평가가 필요한 반면, 다른 섹션은 객관적이고 자동으로 채점될 수 있습니다. 표 8에 표시된 대로:
표 1에 표시된 재구성 엔지니어링 사이클을 사용하여 대학 입시 영어 AI 시스템, 즉 Qin을 구축합니다. 전체 프로세스는 그림 14에 나와 있습니다.
이 연구에서는 표 9에 표시된 대로 원래 신호 튜플을 프롬프트 샘플로 변환하기 위해 다음 프롬프트를 사용합니다.
실험 결과는 표 10-11에 나와 있습니다. 각 영어 시험에서 RST는 두 세트의 듣기 테스트에서 T0pp에 비해 평균 130.6점으로 가장 높은 총점을 획득했습니다. , 동일한 모델 크기에서 RST의 성능이 T0pp보다 훨씬 우수합니다. 모든 설정에서 RST가 얻은 총 점수는 T0pp보다 평균 54.5점 더 높으며, 가장 높은 차이는 GPT3와 비교하여 69점(총 점수의 46%)입니다. RST는 모델 크기가 16배인 상당한 결과를 얻을 수 있습니다. 더 작은 결과. 고려된 모든 설정에서 RST로 얻은 총 점수는 T0pp보다 평균 14.0점 높았으며, T0pp의 경우 최대 26점(총 점수의 17%)이었습니다. 듣기 점수는 gold와 speech-to를 사용하여 얻었습니다. -텍스트 성적표는 평균 4.2점으로 크게 달랐습니다. 이에 비해 GPT3과 RST는 각각 0.6과 0.45로 T0pp의 성능이 텍스트 품질에 민감하다는 것을 나타냅니다.
이 연구는 다양한 문제 하위 범주에 대한 다양한 모델의 성능을 이해하기 위해 세부적인 분석을 수행했습니다. 그림 15-(a)에서는 RST와 GPT3가 모든 문제 하위 범주에서 T0pp보다 성능이 뛰어나다는 것이 분명합니다.
그림 15-(b)는 모델의 성능과 최근 몇 년간 국가 시험에서 학생들의 평균 성능을 보여줍니다. 9/10 시험에서 T0pp의 전체 점수는 학생 평균보다 낮은 반면 RST 및 GPT3 성적은 학생 평균을 초과한다는 것이 분명합니다. 특히, 10편의 논문 중 5편의 전체 RST 점수가 130점(학생들이 목표로 삼는 목표 점수로 간주되는 경우가 많음)을 넘었습니다.
2022년 대학입시 영어시험(2022.06.08)이 막 종료되었고, 최근 1년간의 대학입시 서류에서 모델의 활약에 대해 알게 되었습니다. 본 연구에서는 GPT3와 RST를 이용하여 실험을 수행하였다. 결과는 총 RST 점수가 134에 도달한 것으로 나타났으며 이는 GPT3에서 달성한 108 점수보다 훨씬 높습니다.
위 내용은 올해 영어 대학 입학 시험, CMU는 재구성 사전 훈련을 사용하여 GPT3를 크게 능가하는 134점의 높은 점수를 획득했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











0. 이 글은 어떤 내용을 담고 있나요? 우리는 다재다능하고 빠른 최첨단 생성 단안 깊이 추정 모델인 DepthFM을 제안합니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다. 이 작품을 함께 읽어보아요~ 1. 논문 정보 제목: DepthFM: FastMoncularDepthEstimationwithFlowMatching 저자: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

현재 딥 에지 감지 네트워크는 일반적으로 다중 레벨 기능을 더 잘 추출하기 위해 업 및 다운 샘플링 모듈을 포함하는 인코더-디코더 아키텍처를 채택합니다. 그러나 이 구조는 정확하고 상세한 에지 감지 결과를 출력하기 위해 네트워크를 제한합니다. 이 문제에 대한 대응으로 AAAI2024에 대한 논문이 새로운 솔루션을 제공합니다. 논문 제목: DiffusionEdge:DiffusionProbabilisticModelforCrispEdgeDetection 저자: Ye Yunfan(국방기술대학교), Xu Kai(국립국방기술대학교), Huang Yuxing(국립국방기술대학교), Yi Renjiao(국립국방기술대학교), Cai Zhiping (국방기술대학교) 논문링크 : https://ar

봄 축제에 맞춰 Tongyi Qianwen Large Model(Qwen) 버전 1.5가 온라인에 출시되었습니다. 오늘 아침, 새 버전 소식이 AI 커뮤니티의 이목을 끌었습니다. 대형 모델의 새 버전에는 0.5B, 1.8B, 4B, 7B, 14B 및 72B의 6가지 모델 크기가 포함됩니다. 그 중 가장 강력한 버전의 성능은 GPT3.5와 Mistral-Medium을 능가합니다. 이 버전에는 기본 모델과 채팅 모델이 포함되어 있으며 다국어 지원을 제공합니다. Alibaba의 Tongyi Qianwen 팀은 관련 기술이 Tongyi Qianwen 공식 웹사이트와 Tongyi Qianwen 앱에도 출시되었다고 밝혔습니다. 또한 오늘의 Qwen 1.5 릴리스에는 다음과 같은 주요 기능이 있습니다. 32K 컨텍스트 길이를 지원하고 Base+Chat 모델의 체크포인트를 엽니다.

LLM(대형 언어 모델)은 일반적으로 수십억 개의 매개변수를 가지며 수조 개의 토큰에 대해 훈련됩니다. 그러나 이러한 모델은 훈련하고 배포하는 데 비용이 매우 많이 듭니다. 계산 요구 사항을 줄이기 위해 다양한 모델 압축 기술이 종종 사용됩니다. 이러한 모델 압축 기술은 일반적으로 증류, 텐서 분해(낮은 순위 인수분해 포함), 가지치기 및 양자화의 네 가지 범주로 나눌 수 있습니다. 가지치기 방법은 한동안 사용되어 왔지만 성능을 유지하기 위해 가지치기 후 RFT(복구 미세 조정)가 필요한 경우가 많아 전체 프로세스에 비용이 많이 들고 확장이 어렵습니다. ETH Zurich와 Microsoft의 연구원들은 SliceGPT라는 이 문제에 대한 솔루션을 제안했습니다. 이 방법의 핵심 아이디어는 가중치 행렬에서 행과 열을 삭제하여 네트워크의 임베딩을 줄이는 것입니다.

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

지난해 4월 위스콘신대학교 매디슨캠퍼스, 마이크로소프트 리서치, 컬럼비아대학교 연구진이 공동으로 LLaVA(Large Language and Vision Assistant)를 출시했다. LLaVA는 작은 다중 모드 명령 데이터 세트로만 교육되었지만 일부 샘플에서는 GPT-4와 매우 유사한 추론 결과를 보여줍니다. 그런 다음 10월에 원래 LLaVA에 대한 간단한 수정을 통해 11개 벤치마크에서 SOTA를 업데이트한 LLaVA-1.5를 출시했습니다. 이 업그레이드의 결과는 매우 흥미롭고 다중 모드 AI 보조 분야에 새로운 혁신을 가져옵니다. 연구팀은 추론, OCR,

세상은 미친 듯이 큰 모델을 만들고 있습니다. 인터넷의 데이터만으로는 충분하지 않습니다. 훈련 모델은 '헝거게임'처럼 생겼고, 전 세계 AI 연구자들은 이러한 데이터를 탐식하는 사람들에게 어떻게 먹이를 줄지 고민하고 있습니다. 이 문제는 다중 모드 작업에서 특히 두드러집니다. 아무것도 할 수 없던 시기에, 중국 인민대학교 학과의 스타트업 팀은 자체 새로운 모델을 사용하여 중국 최초로 '모델 생성 데이터 피드 자체'를 현실화했습니다. 또한 이해 측면과 생성 측면의 두 가지 접근 방식으로 양측 모두 고품질의 다중 모드 새로운 데이터를 생성하고 모델 자체에 데이터 피드백을 제공할 수 있습니다. 모델이란 무엇입니까? Awaker 1.0은 중관촌 포럼에 최근 등장한 대형 멀티모달 모델입니다. 팀은 누구입니까? 소폰 엔진. 런민대학교 힐하우스 인공지능대학원 박사과정 학생인 Gao Yizhao가 설립했습니다.

무엇? 주토피아는 국내 AI로 현실이 되는 걸까? 영상과 함께 노출된 것은 '켈링'이라는 국산 대형 영상세대 신형 모델이다. Sora는 유사한 기술 경로를 사용하고 자체 개발한 여러 기술 혁신을 결합하여 크고 합리적인 움직임뿐만 아니라 물리적 세계의 특성을 시뮬레이션하고 강력한 개념적 결합 능력과 상상력을 갖춘 비디오를 제작합니다. 데이터에 따르면 Keling은 최대 1080p의 해상도로 30fps에서 최대 2분의 초장 영상 생성을 지원하며 다양한 화면비를 지원합니다. 또 다른 중요한 점은 Keling이 실험실에서 공개한 데모나 비디오 결과 시연이 아니라 단편 비디오 분야의 선두주자인 Kuaishou가 출시한 제품 수준 애플리케이션이라는 점입니다. 더욱이 백지 작성이 아닌 실용성에 중점을 두고, 출시되자마자 온라인에 진출하는 데 중점을 두고 있다. 콰이잉에서는 커링의 대형 모델이 출시됐다.
