오픈 소스 모델과 단일 카드 교육은 널리 사용되는 텍스트 안내 오디오 생성 기술인 AudioLDM을 이해하는 데 도움이 됩니다.
텍스트가 주어지면 인공지능은 음악, 음성, 다양한 음향 효과는 물론 블랙홀, 레이저 총과 같은 상상의 소리까지 생성할 수 있습니다. 최근 서리대학교(University of Surrey)와 임페리얼 칼리지 런던(Imperial College London)이 공동으로 출시한 AudioLDM은 출시 후 일주일 만에 트위터에서 약 300개의 리트윗과 1,500개의 좋아요를 받았습니다. 모델이 오픈 소스로 공개된 지 이틀 만에 AudioLDM은 Hugging Face 핫 검색 목록의 상위권에 돌진했고, 일주일 이내에 Hugging Face의 가장 인기 있는 애플리케이션 목록 상위 40개(총 약 25,000개)에 진입했으며 많은 앱에 빠르게 등장했습니다. AudioLDM을 기반으로 한 파생 작업입니다.
AudioLDM 모델의 주요 특징은 다음과 같습니다.
- 텍스트에서 음악, 음성 및 음향 효과를 동시에 생성할 수 있는 최초의 오픈 소스 모델입니다.
- 학계에서 개발한 이 제품은 더 적은 데이터, 단일 GPU, 더 작은 모델을 사용하여 현재 최상의 결과를 얻습니다.
- 텍스트 안내 오디오 생성이 더 이상 (텍스트-오디오) 데이터 쌍 누락 문제로 인해 제한되지 않도록 생성 모델을 자체 감독 방식으로 훈련할 것을 제안합니다.
- 모델은 추가 교육(제로샷) 없이 오디오 스타일 전송, 오디오 누락 채우기 및 오디오 초해상도를 달성할 수 있습니다.
- 프로젝트 홈페이지: https://audioldm.github.io/
- 페이퍼: https://arxiv.org/abs/2301.12503
- 오픈 소스 코드 및 모델: https://github.com/haoheliu/AudioLDM
- 허깅 페이스 스페이스: https://huggingface.co/spaces/haoheliu/audioldm-text-to-audio- Generation
작가는 1월 27일에 모델의 미리보기를 처음 공개했으며, "A music made by []"([]에서 생성된 음악 조각)라는 매우 간단한 텍스트를 보여주어 다양한 음향 효과를 생성했습니다. 다양한 악기와 심지어 모기까지 사용하여 만든 음악을 보여주는 이 동영상은 트위터에서 빠르게 관심을 끌었으며 35,400회 이상 재생되고 130회 이상 리트윗되었습니다.
그런 다음 저자는 논문과 새 영상을 공개했습니다. 이 비디오에서 저자는 모델의 기능 대부분과 ChatGPT를 사용하여 사운드를 생성하는 효과를 보여줍니다. AudioLDM은 우주 공간에서도 소리를 생성할 수 있습니다.
그런 다음 저자는 논문, 사전 훈련된 모델, 플레이 가능한 인터페이스를 공개하여 트위터 네티즌들의 열광을 불러일으켰고 다음 날 Hugging Face 인기 검색 목록에서 빠르게 1위를 차지했습니다.
이 작품은 트위터에서 폭넓은 관심을 받았고, 업계 학자들은 다음과 같이 전달하고 댓글을 달았습니다.
네티즌들은 AudioLDM을 사용하여 다양한 사운드를 생성했습니다.
예를 들어 2차원 고양이 소녀의 코 고는 소리:
과 유령 소리:
일부 네티즌들은 "엄마 목소리, 저주파, 고통스러운 신음 소리"라고 합성했습니다.
일부 네티즌들은 '멜로디 방귀소리'까지 합성하기도 했습니다.
네티즌들의 풍부한 상상력에 감탄하고 싶습니다.
일부 네티즌들은 AudioLDM을 직접 사용하여 재즈, 펑크, 일렉트로닉, 클래식 등 다양한 스타일의 음악 앨범 시리즈를 생성했습니다. 일부 음악은 매우 독창적입니다.
예: "우주와 달을 테마로 한 주변 음악 만들기":
및 "미래의 소리를 사용하여 음악 만들기":
관심 있는 독자는 이 음악 앨범 웹사이트를 방문할 수 있습니다: https://www.latent.store/albums
일부 네티즌들은 상상력을 사용하여 이미지 생성 텍스트를 결합하여 이미지 유도 음향 효과 생성 애플리케이션을 만들었습니다. 모델 및 AudioLDM.
예를 들어, AudioLDM에 다음 텍스트를 제공하는 경우: "프리스비를 물고 물 속에서 달리는 개"(입에 프리스비를 물고 물속을 달리는 개):
can 개들이 물을 찰싹 때리는 소리는 다음과 같습니다.
아래 그림과 같이 오래된 사진의 소리를 복원할 수도 있습니다.
"술집에 앉아 있는 남자와 여자"(바에 앉아 있는 남자와 여자)를 얻은 후 a bar) ) 텍스트를 입력하면 모델은 다음과 같은 소리를 생성할 수 있습니다. 여기서 모호한 목소리와 배경에서 와인 잔이 부딪히는 소리를 들을 수 있습니다.
일부 네티즌들은 AudioLDM을 사용하여 불타는 개 소리를 생성했는데 매우 흥미롭습니다.
저자는 또한 모델의 음향 효과 생성 능력을 보여주는 비디오를 제작하여 AudioLDM에서 생성된 샘플이 음향 효과 라이브러리의 효과에 얼마나 가까운지 보여주었습니다.
사실 텍스트 오디오 생성은 AudioLDM 기능의 일부일 뿐입니다. AudioLDM은 음색 변환, 누락 채우기 및 초해상도도 달성할 수 있습니다.
아래 두 사진은 (1) 타악기에서 주변 음악으로, (2) 트럼펫에서 어린이 노래로의 음색 전환을 보여줍니다.
아래는 주변 음악에 대한 타악기의 효과입니다(점진적 변환 강도).
트럼펫 소리를 어린이 노래 소리로 변환하는 효과(점진적 변환 강도).
아래에서는 오디오 초해상도, 오디오 누락 채우기 및 음향 자료 제어에 대한 모델의 효과를 보여줍니다. 기사의 길이가 제한되어 있기 때문에 오디오는 주로 스펙트로그램 형태로 표시됩니다. 관심 있는 독자는 AudioLDM 프로젝트 홈페이지(https://audioldm.github.io/
)를 방문하세요.오디오 초해상도 측면에서 AudioLDM의 효과도 매우 좋습니다. 이전 초해상도 모델에 비해 AudioLDM은 보편적인 초해상도 모델이며 음악 및 음성 처리에만 국한되지 않습니다.
오디오 누락 채우기 측면에서 AudioLDM은 주어진 텍스트에 따라 다양한 오디오 콘텐츠를 채울 수 있으며 경계에서의 전환이 더 자연스럽습니다.
또한 AudioLDM은 음향 환경, 음악의 분위기와 속도, 객체 재질, 피치 피치 및 시퀀스 등을 제어하는 능력 등 강력한 제어 기능도 보여줍니다. 관심 있는 독자는 AudioLDM의 논문이나 프로젝트를 확인하세요. 볼 수 있는 홈페이지.
기사에서 저자는 AudioLDM 모델에 대한 주관적 점수와 객관적 지표 평가를 실시했으며 그 결과 이전 최적 모델을 크게 뛰어넘을 수 있음을 보여주었습니다.
그 중 AudioGen은 은 Facebook의 2022년 10월 제안 모델은 10개의 데이터 세트, 64개의 GPU 및 285MB의 매개 변수를 사용합니다. 이에 비해 AudioLDM-S는 단일 데이터 세트, 1개의 GPU 및 181MB의 매개변수를 사용하여 더 나은 결과를 얻을 수 있습니다.
주관적 점수 또한 AudioLDM이 이전 솔루션인 DiffSound보다 훨씬 우수하다는 것을 보여줍니다. 그렇다면 AudioLDM은 어떤 개선을 통해 모델이 이렇게 뛰어난 성능을 갖게 되었을까요?
우선, 텍스트-오디오 데이터 쌍이 너무 적은 문제를 해결하기 위해 저자는 AudioLDM을 훈련하는 자기 지도 방법을 제안했습니다.
특히 핵심 모듈 LDM을 교육할 때 저자는 오디오 자체의 임베딩을 LDM의 조건 신호로 사용합니다(그림 참조). 위 그림). 이 체계는 원본 CLAP 텍스트에서 우수한 일반화 기능을 입증한 사전 훈련된 오디오 텍스트 대조 학습 인코더(CLAP) 쌍을 기반으로 합니다. AudioLDM은 CLAP의 탁월한 일반화 기능을 활용하여 텍스트 레이블 없이도 대규모 오디오 데이터에 대한 모델 교육을 수행합니다.
사실 저자는 오디오 트레이닝만 사용하는 것이 오디오-텍스트 데이터 쌍을 사용하는 것보다 훨씬 낫다는 사실을 발견했습니다.
저자는 두 가지 이유를 분석했습니다. (1) 텍스트 주석 자체가 어렵습니다. 오디오 포함 음향 환경, 주파수 분포 등과 같은 모든 정보로 인해 텍스트가 삽입되어 오디오를 제대로 표현할 수 없습니다. (2) 텍스트 자체의 품질이 완벽하지 않습니다. Annotation "Boats: Battleships - 5.25 Conveyor space" 이런 종류의 Annotation은 인간조차 구체적인 소리가 무엇인지 상상하기 어려워 모델 훈련에 문제를 일으킨다. 반면, 오디오 자체를 LDM의 조건으로 사용하면 대상 오디오와 조건 간의 강한 상관 관계를 보장하여 더 나은 생성 결과를 얻을 수 있습니다.
또한 저자가 채택한 Latent Diffusion 솔루션을 사용하면 더 작은 공간에서 Diffusion 모델을 계산할 수 있으므로 모델에 필요한 컴퓨팅 파워가 크게 줄어듭니다.
모델 교육 및 구조에 대한 많은 세부 탐색도 AudioLDM이 탁월한 성능을 달성하는 데 도움이 됩니다.
저자는 두 가지 주요 다운스트림 작업을 소개하기 위해 간단한 구조 다이어그램도 그렸습니다.
저자는 또한 다양한 모델 구조, 모델 크기, DDIM 샘플링 단계 및 다양한 분류기가 없는 안내 척도에 대한 자세한 실험을 수행했습니다.
저자는 모델을 공개하면서 향후 이러한 문제에 대한 학계의 평가 방법을 통일하여 논문 간 비교를 용이하게 하기 위해 생성 모델 평가 시스템의 코드 베이스도 공개했습니다. 다음 링크 매체: https://github.com/haoheliu/audioldm_eval
이 기술이 대중화되는 동안 일부 네티즌들도 이 기술의 보안에 의문을 제기했습니다.
저작자 팀에서는 해당 모델이 학문적 의사소통에만 사용될 수 있도록 해당 모델의 사용, 특히 상업적 이용을 제한하고, 윤리적 문제가 발생하지 않도록 적절한 LICENSE 및 워터마크 보호를 사용할 것이라고 밝혔습니다.
저자 정보
이 논문의 공동 저자는 Liu Haohe(영국 서리 대학교)와 Chen Zehua(영국 임페리얼 칼리지 런던)입니다.
Liu Haohe는 현재 영국 서리 대학교에서 Mark D. Plumbley 교수 밑에서 박사 학위를 취득하고 있습니다. 오픈 소스 프로젝트는 GitHub에서 수천 개의 별을 받았습니다. 그는 주요 학술 회의에서 20편 이상의 논문을 발표했으며 여러 세계 기계 음향 대회에서 상위 3위를 차지했습니다. 기업계에서는 Microsoft, ByteDance, British Broadcasting Corporation 등과 광범위한 협력 관계를 맺고 있습니다. 개인 홈페이지: https://www.surrey.ac.uk/people/haohe-liu
Chen Zehua는 Imperial College London의 박사 과정 학생으로 Danilo Mandic 교수 밑에서 공부하고 있습니다. 그는 Microsoft 음성 합성 연구 그룹과 JD 인공 지능 연구소에서 인턴으로 근무했습니다. 그의 연구 관심 분야는 생성 모델, 음성 합성 및 생체 전기 신호 생성입니다.
위 내용은 오픈 소스 모델과 단일 카드 교육은 널리 사용되는 텍스트 안내 오디오 생성 기술인 AudioLDM을 이해하는 데 도움이 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

얼굴 검출 및 인식 기술은 이미 상대적으로 성숙하고 널리 사용되는 기술입니다. 현재 가장 널리 사용되는 인터넷 응용 언어는 JS입니다. 웹 프런트엔드에서 얼굴 감지 및 인식을 구현하는 것은 백엔드 얼굴 인식에 비해 장점과 단점이 있습니다. 장점에는 네트워크 상호 작용 및 실시간 인식이 줄어 사용자 대기 시간이 크게 단축되고 사용자 경험이 향상된다는 단점이 있습니다. 모델 크기에 따라 제한되고 정확도도 제한됩니다. js를 사용하여 웹에서 얼굴 인식을 구현하는 방법은 무엇입니까? 웹에서 얼굴 인식을 구현하려면 JavaScript, HTML, CSS, WebRTC 등 관련 프로그래밍 언어 및 기술에 익숙해야 합니다. 동시에 관련 컴퓨터 비전 및 인공지능 기술도 마스터해야 합니다. 웹 측면의 디자인으로 인해 주목할 가치가 있습니다.

다중 모드 문서 이해 기능을 위한 새로운 SOTA! Alibaba mPLUG 팀은 최신 오픈 소스 작업인 mPLUG-DocOwl1.5를 출시했습니다. 이 작품은 고해상도 이미지 텍스트 인식, 일반 문서 구조 이해, 지침 따르기, 외부 지식 도입이라는 4가지 주요 과제를 해결하기 위한 일련의 솔루션을 제안했습니다. 더 이상 고민하지 말고 먼저 효과를 살펴보겠습니다. 복잡한 구조의 차트도 한 번의 클릭으로 인식하고 마크다운 형식으로 변환 가능: 다양한 스타일의 차트 사용 가능: 보다 자세한 텍스트 인식 및 위치 지정도 쉽게 처리 가능: 문서 이해에 대한 자세한 설명도 제공 가능: 아시다시피, " 문서 이해"는 현재 대규모 언어 모델 구현을 위한 중요한 시나리오입니다. 시장에는 문서 읽기를 지원하는 많은 제품이 있습니다. 그 중 일부는 주로 텍스트 인식을 위해 OCR 시스템을 사용하고 텍스트 처리를 위해 LLM을 사용합니다.

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라
