기술 주변기기
일체 포함
새로운 대규모 음성 대화 모델이 중국에서 출시되었습니다. Kai-Fu Lee가 주도하고 Zero One and All이 참여하여 중국어 및 영어 이중 언어 및 다중 양식 지원, 오픈 소스 및 상용화 가능
새로운 대규모 음성 대화 모델이 중국에서 출시되었습니다. Kai-Fu Lee가 주도하고 Zero One and All이 참여하여 중국어 및 영어 이중 언어 및 다중 양식 지원, 오픈 소스 및 상용화 가능
최초의 중국어-영어 이중 언어 음성 대화 오픈 소스 대형 모델이 출시되었습니다!
요 며칠 arXiv에 대규모 음성 텍스트 다중 모달 모델에 관한 논문이 게재되었는데, 시그니처 회사 중에는 이카푸의 대형 모델 회사인 01.ai - 01.ai - 의 이름이 있었습니다.
Picture
본 논문에서는 LLaSM이라는 상용 중국어-영어 이중 언어 대화 모델을 소개합니다. 이 모델은 녹음과 문자 입력을 지원할 뿐만 아니라 '하이브리드 복식' 기능도 구현할 수 있다. , 텍스트 입력을 통한 것이 아니라
대형 모델을 사용하며 일부 네티즌들은 이미 "누워서 대화하면서 코드 작성"하는 시나리오를 상상하고 있습니다. 
이 연구는 LinkSoul.AI, Peking University 및 01Wanwu가 공동으로 완료했습니다. 이제 오픈 소스이며 Huugian
Pictures
얼마나 효과적인지 살펴보겠습니다. 입니다
텍스트 음성 변환 입력을 지원하며 휴대폰에서도 재생할 수 있습니다.
연구원에 따르면 LLaSM은 중국어 및 영어 이중 언어 음성-텍스트 다중 모달 대화를 지원하는 최초의 오픈 소스이자 상용 소프트웨어입니다. 대화 모델 .
괜찮습니다. 이백 왕조를 정확하게 설명합니다. 영어를 읽을 수 없다면 중국어로 직접 번역해도 문제가 없습니다.
Pictures
다음 연습에서는 "fried food"라는 단어를 in에 추가하여 중국어-영어 혼합 질문을 시도해 보겠습니다. 중국어 문장. 모델의 출력 효과도 매우 좋습니다.
Pictures
모델을 다시 시도하고 평가를 수행하여 Li Bai 또는 Du Fu 중 어느 것이 더 나은지 알아보겠습니다
오랜 고민 끝에 이 모델은 매우 객관적이고 중립적인 평가를 내릴 뿐만 아니라, 대형 모델(수동 개머리)에 필요한 기본 지식과 상식도 갖추고 있습니다
물론, 놀지 않고 놀 수도 있습니다 컴퓨터에서만 가능하지만 휴대폰에서도 가능합니다.
"나에게 레시피 추천"을 음성으로 입력하려고 합니다. 
모델이 "가지 치즈" 레시피를 정확하게 출력하는 것을 볼 수 있지만, 맛있을지는 잘 모르겠습니다.
중국어와 영어가 섞여서 "테일러 스위프트의 레드"를 듣고 싶냐고 물었을 때 , 모델에 심각한 오류가 있어서 멈추지도 못하고 같은 문장을 계속해서 출력하고 있었습니다...
Pictures
전반적으로 중국어와 영어가 혼합된 질문이나 요청에 직면했을 때 모델 출력 성능은 여전히 좋지 않습니다.
하지만 분리해도 중국어, 영어 표현력은 여전히 좋습니다.
그렇다면 그러한 모델은 어떻게 구현되나요?
어떤 새로운 모델을 만들었나요?
시험에 따르면 LLaSM에는 두 가지 주요 기능이 있습니다. 하나는 중국어와 영어 입력을 지원하는 것이고, 다른 하나는 음성과 텍스트의 이중 입력입니다.
이 두 가지 사항을 달성하려면 아키텍처와 교육 데이터를 각각 약간 조정해야 합니다.
구조적으로 LLaSM은 현재 음성 인식 모델과 대규모 언어 모델을 통합합니다.
LLaSM은 자동 음성 인식 모델인 Whisper, 모달 어댑터, 대형 모델인 LLaMA 등 세 부분으로 구성됩니다.
이 과정에서 Whisper는 원본 음성 입력을 수신하고 음성 특징의 벡터 표현을 출력하는 역할을 담당합니다. 모달 어댑터의 역할은 음성 및 텍스트 임베딩을 정렬하는 것입니다. LLaMA는 음성 및 텍스트 입력 지침을 이해하고 응답
사진
을 생성하는 역할을 담당합니다. 모델 교육은 두 단계로 나뉩니다. 첫 번째 단계는 인코더와 대형 모델이 고정되어 모델이 음성과 텍스트의 정렬을 학습할 수 있도록 하는 모달리티 어댑터를 훈련하는 것입니다. 두 번째 단계는 인코더를 동결하고, 모달 어댑터 및 대형 모델을 훈련하여 모델의 다중 모달 대화 기능을 향상시키는 것입니다
훈련 데이터에서 연구원들은 199,000개의 대화와 508,000개의 음성 텍스트 샘플 모음을 편집했습니다. 데이터세트 LLaSM -오디오 지침.
508,000개의 음성 텍스트 샘플 중 80,000개는 중국어 음성 샘플이고, 428,000개는 영어 음성 샘플입니다.
연구원들은 주로 WizardLM, ShareGPT, GPT-4-LLM과 같은 데이터 세트를 기반으로 텍스트 음성 변환을 통해 기술은 유효하지 않은 대화를 필터링하면서 이러한 데이터 세트에 대한 음성 패킷을 생성합니다.
Pictures
이것은 현재 데이터 세트에 이어 최대 규모의 중국어 및 영어 음성 텍스트 명령이지만 아직 정리 중입니다. 연구원에 따르면 정리된 후 오픈 소스로 제공될 예정입니다.
그러나 현재 이 논문의 출력 효과를 다른 음성 모델 또는 텍스트 모델과 비교한 것은 없습니다.
저자 소개
이 논문의 저자는 LinkSoul.AI, Peking University 및 Zero One Thing 출신입니다
공동 저자인 Yu Shu와 Siwei Dong은 모두 LinkSoul.AI 출신이며 이전에는 베이징 Zhiyuan 인공 지능 연구소에서 근무했습니다.
LinkSoul.AI는 이전에 최초의 오픈소스 Llama 2 대형 중국어 모델을 출시한 AI 스타트업 회사입니다.
Pictures
이개푸씨가 소유한 대형 모델회사로 제로원과 원월드도 이번 연구에 기여했습니다. 작가 Wenhao Huang의 Hugging Face 페이지에는 그가 푸단대학교를 졸업했다고 나와 있습니다.
Pictures
문서 주소:
https://www.php.cn/link/47c917b09f2bc64b2916c0824c715923
데모 주소:
https://www.php.cn/link/ bcd 0049c35799cdf57d06eaf2eb3cff6
위 내용은 새로운 대규모 음성 대화 모델이 중국에서 출시되었습니다. Kai-Fu Lee가 주도하고 Zero One and All이 참여하여 중국어 및 영어 이중 언어 및 다중 양식 지원, 오픈 소스 및 상용화 가능의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7554
15
1382
52
83
11
59
19
22
96
세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다.
May 07, 2024 pm 04:13 PM
기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.
AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 |
Apr 09, 2024 am 11:52 AM
AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.
Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다.
Apr 01, 2024 pm 07:46 PM
Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.
안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다
MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다.
Jun 01, 2024 pm 10:03 PM
이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은
시계열 예측 + NLP 대규모 모델에 대한 새로운 작업: 시계열 예측을 위한 암시적 프롬프트 자동 생성
Mar 18, 2024 am 09:20 AM
오늘 저는 시계열 예측 성능을 향상시키기 위해 잠재 공간에서 시계열 데이터를 대규모 자연어 처리(NLP) 모델과 정렬하는 방법을 제안하는 코네티컷 대학의 최근 연구 작업을 공유하고 싶습니다. 이 방법의 핵심은 잠재 공간 힌트(프롬프트)를 사용하여 시계열 예측의 정확성을 높이는 것입니다. 논문 제목: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting 다운로드 주소: https://arxiv.org/pdf/2403.05798v1.pdf 1. 큰 문제 배경 모델
공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것!
May 06, 2024 pm 04:13 PM
테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라
FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘
Apr 26, 2024 am 11:37 AM
표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.
