ホームページ テクノロジー周辺機器 AI オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

Apr 12, 2023 pm 07:04 PM
モデル オープンソース

テキストが与えられると、人工知能は音楽、音声、さまざまな効果音、さらにはブラック ホールやレーザー銃などの想像上の音さえも生成できます。最近サリー大学とインペリアル・カレッジ・ロンドンが共同で立ち上げた AudioLDM は、リリース後すぐに海外で人気を博し、Twitter では 1 週間以内に 300 近くのリツイートと 1,500 件の「いいね!」を獲得しました。モデルがオープンソース化されてから 2 日目、AudioLDM は Hugging Face のホット検索リストのトップに躍進し、1 週間以内に Hugging Face の最も人気のあるアプリケーション リストのトップ 40 (合計約 25,000) に入り、すぐに多くのアプリケーションに表示されました。 AudioLDMに基づく二次創作物。

AudioLDM モデルには次のような特徴があります:

  • テキストから音楽、音声、効果音を生成できる初のオープンソース モデル同時に 。
  • 学術界によって開発されたこのツールは、現在最良の結果を達成するために、より少ないデータ、単一の GPU、より小さなモデルを使用しています。
  • 自己教師ありの方法で生成モデルをトレーニングすることを提案します。これにより、テキストガイドによる音声生成が欠落 (テキスト音声) の問題によって制限されなくなります。 ) データペア。
  • モデルは、追加のトレーニング (ゼロショット) なしで、オーディオ スタイルの転送、オーディオ欠落の充填、およびオーディオの超解像度を実現できます。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

  • #プロジェクトのホームページ: https://audioldm.github.io/
  • 論文: https://arxiv.org/abs/2301.12503
  • オープンソースコードとモデル: https://github.com/haoheliu/AudioLDM
  • ハグフェイススペース: https://huggingface.co/spaces/haoheliu/audioldm - テキストからオーディオへの生成

著者は 1 月 27 日にこのモデルのプレビューを初めてリリースし、非常に単純なテキストを表示しました。「A music made by by」 []」([]で生成された音楽)を使用して、さまざまな効果音を生成します。さまざまな楽器や蚊を使って作られた音楽を映したこのビデオは、すぐに Twitter で注目を集め、35.4,000 回以上再生され、130 回以上リツイートされました。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

著者はその後、論文と新しいビデオを公開しました。このビデオでは、著者がモデルのほとんどの機能と、ChatGPT を使用してサウンドを生成する効果を示しています。 AudioLDM は宇宙から音を生成することもできます。

その後、著者は論文、事前トレーニング済みモデル、およびプレイアブル インターフェイスをリリースしたため、Twitter ネチズンの熱意に火がつき、翌日すぐに Hugging Face に掲載されました。ホット検索リスト:

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

#この研究は Twitter 上で広く注目を集めており、業界の学者らはこの研究結果を転送しました。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

ネチズンは AudioLDM を使用してさまざまなサウンドを生成しました。

#たとえば、2 次元の猫娘のいびき音が生成されます。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

## そして幽霊の声:

#

一部のネチズンは、「ミイラの音、低周波、痛みを伴ううめき声」と合成しました。

一部のネチズンは「メロディーのおなら音」を合成しました。

ネチズンの豊かな想像力を嘆かざるを得ません。

一部のネチズンは、AudioLDM を直接使用して、ジャズ、ファンク、エレクトロニック、クラシックなど、さまざまなスタイルの一連の音楽アルバムを生成しました。いくつかの音楽は非常に独創的です。

#例「宇宙と月をテーマにしたアンビエント音楽を作成する」:

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

# および「未来のサウンドを使用して音楽を作成する」:

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

興味があります読者はこの音楽アルバムの Web サイトにアクセスできます: https://www.latent.store/albums

一部のネチズンは、想像力を駆使して、画像で生成されたものを組み合わせて画像を作成しましたテキスト モデルと AudioLDM 効果音の生成をガイドするアプリケーション。

たとえば、AudioLDM に次のテキストを与えるとします: 「フリスビーを持って水中を走っている犬」 (フリスビーをくわえて水中を走っている犬):

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

は、犬が水を叩く次のような音を生成できます。

下の写真のような古い写真のサウンドを復元することもできます。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

##「バーに座っている男性と女性」(バーに座っている男性と女性) のテキストを取得した後、モデルは次のサウンドを生成できます。バックグラウンドでワイングラスの音。

一部のネチズンは、AudioLDM を使用して燃える犬の音を生成しましたが、これは非常に興味深いものです。

著者は、サウンド効果を生成するモデルの機能を実証するビデオも作成し、AudioLDM で生成されたサンプルがサウンド効果ライブラリの効果にどのように近いかを示しました。

実際、テキスト オーディオの生成は AudioLDM の機能の一部にすぎません。AudioLDM は、音色変換、欠落充填、超解像度も実現できます。

下の 2 つの写真は、(1) パーカッションからアンビエント ミュージックへ、(2) トランペットから子供たちの歌への音色の変化を示しています。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

以下はパーカッションからアンビエントミュージックまで(段階的なトランジションの強度) エフェクト。

トランペットの音は、子供の歌の音に変換されます(段階的な変換強度)。

以下では、オーディオ超解像、オーディオ欠落充填、およびサウンドマテリアル制御に対するモデルの効果を示します。記事の長さに制限があるため、オーディオは主にスペクトログラムの形式で表示されます。興味のある読者は、AudioLDM プロジェクトのホームページにアクセスしてください: https://audioldm.github.io/

オーディオの超解像に関しても、AudioLDM の効果は非常に優れており、以前の超解像モデルと比較して、AudioLDM は音楽や音声の処理に限定されないユニバーサルな超解像モデルです。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

音声の欠落を埋めるという点では、AudioLDM は指定されたテキストに従ってさまざまな音声コンテンツを埋めることができます。境界での移行は比較的自然です。

さらに、AudioLDM は、音響環境、音楽の雰囲気と速度、オブジェクトの素材、ピッチのピッチとシーケンスなどの強力な制御機能も示します。制御機能については、興味のある読者は確認してください。 AudioLDM の論文またはプロジェクトのホームページから出力します。

記事の中で、著者は AudioLDM モデルの主観的なスコアリングと客観的なインデックス評価を行いました。結果は、どちらも以前の最適なモデルを大幅に上回る可能性があることを示しています:

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

AudioGen は、2022 年 10 月に Facebook によって提案されたモデルで、10 個のデータセット、64 GPU、および 285 MB のパラメーターを使用します。比較すると、AudioLDM-S は、単一のデータ セット、1 GPU、および 181 MB のパラメーターでより良い結果を達成できます。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

主観的なスコアでも、AudioLDM が以前のソリューション DiffSound よりも大幅に優れていることがわかります。では、AudioLDM はこのような優れたパフォーマンスを実現するためにどのような改良を加えたのでしょうか?

まず、テキストとオーディオのデータペアが少なすぎるという問題を解決するために、著者は AudioLDM をトレーニングするための自己教師あり手法を提案しました。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

具体的には、コア モジュールの LDM をトレーニングするときに、作成者はオーディオ自体の埋め込みを条件として使用します。 LDM シグナルでは、プロセス全体にテキストの使用は含まれません (上の画像に示すように)。このスキームは、元の CLAP テキストで優れた一般化機能が実証されている、事前にトレーニングされた 1 対のオーディオ テキスト対比学習エンコーダー (CLAP) に基づいています。 AudioLDM は CLAP の優れた一般化機能を利用して、テキスト ラベルを必要とせずに大規模なオーディオ データでのモデル トレーニングを実現します。

実際、著者らは、音声のみを使用したトレーニングのほうが、音声とテキストのデータのペアを使用するよりも優れていることを発見しました。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

著者は、次の 2 つの理由を分析しました。 (1) テキスト アノテーション自体に、音響環境、周波数分布など、音声のすべての情報を含めることが難しく、埋め込みが発生する(2) テキスト自体の品質が完璧ではありません。たとえば、「ボート: 戦艦 - 5.25 コンベアスペース」という注釈は、人間ですら具体的な音が何であるかを想像するのが困難です。これは、モデルのトレーニングで問題を引き起こす可能性があります。対照的に、オーディオ自体を LDM の条件として使用すると、ターゲットのオーディオと条件の間に強い相関関係が確保され、より良い生成結果が得られます。

さらに、著者が採用した潜在拡散ソリューションでは、拡散モデルをより小さな空間で計算できるため、モデルの計算能力要件が大幅に削減されます。

モデルのトレーニングと構造における多くの詳細な調査も、AudioLDM が優れたパフォーマンスを達成するのに役立ちます。

#著者は、2 つの主要な下流タスクを紹介する簡単な構造図も作成しました。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

著者は、さまざまなモデル構造、モデル サイズ、DDIM サンプリング ステップ、さまざまな分類子を使用しないガイダンス スケールを使用した詳細な実験も実施しました。

著者らは、モデルを公開すると同時に、将来このような問題に関する学術コミュニティの評価方法を統一するために、生成モデル評価システムのコードベースも公開し、それによって準備を容易にしました。質問された論文間の比較:

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

#著者のチームは、モデルが学術コミュニケーションのみに使用されることを保証するために、モデルの使用、特に商用利用を制限し、倫理的問題を防ぐために適切なライセンスと透かし保護を使用することを表明しました。 オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

著者情報

この論文の共著者は、Liu Haohe (英国サリー大学) と Chen Zehua (英国インペリアル カレッジ ロンドン) の 2 人です。

Liu Haohe は現在、マーク D 教授の指導の下、英国のサリー大学で博士号取得に向けて勉強しています。プランリー。そのオープンソース プロジェクトは、GitHub で何千ものスターを獲得しています。彼は主要な学術会議で 20 以上の論文を発表し、いくつかの世界機械音響コンテストでトップ 3 のランキングを獲得しました。企業の世界では、Microsoft、ByteDance、英国放送協会などと広範な協力関係を築いています。個人ホームページ: https://www.surrey.ac.uk/people/haohe-liu

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

Chen Zehua は、インペリアル カレッジ ロンドンの博士課程の学生で、ダニロ マンディック教授に師事しており、マイクロソフト音声合成研究グループと JD 人工知能研究所でインターンを行ってきました。彼の研究対象には、生成モデル、音声合成、生体電気信号生成などがあります。

オープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。

以上がオープンソース モデル、シングル カード トレーニングにより、人気のあるテキストガイド付きオーディオ生成テクノロジ AudioLDM を理解できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

推奨: 優れた JS オープンソースの顔検出および認識プロジェクト 推奨: 優れた JS オープンソースの顔検出および認識プロジェクト Apr 03, 2024 am 11:55 AM

顔の検出および認識テクノロジーは、すでに比較的成熟しており、広く使用されているテクノロジーです。現在、最も広く使用されているインターネット アプリケーション言語は JS ですが、Web フロントエンドでの顔検出と認識の実装には、バックエンドの顔認識と比較して利点と欠点があります。利点としては、ネットワーク インタラクションの削減とリアルタイム認識により、ユーザーの待ち時間が大幅に短縮され、ユーザー エクスペリエンスが向上することが挙げられます。欠点としては、モデル サイズによって制限されるため、精度も制限されることが挙げられます。 js を使用して Web 上に顔検出を実装するにはどうすればよいですか? Web 上で顔認識を実装するには、JavaScript、HTML、CSS、WebRTC など、関連するプログラミング言語とテクノロジに精通している必要があります。同時に、関連するコンピューター ビジョンと人工知能テクノロジーを習得する必要もあります。 Web 側の設計により、次の点に注意してください。

Alibaba 7B マルチモーダル文書理解の大規模モデルが新しい SOTA を獲得 Alibaba 7B マルチモーダル文書理解の大規模モデルが新しい SOTA を獲得 Apr 02, 2024 am 11:31 AM

マルチモーダル文書理解機能のための新しい SOTA!アリババの mPLUG チームは、最新のオープンソース作品 mPLUG-DocOwl1.5 をリリースしました。これは、高解像度の画像テキスト認識、一般的な文書構造の理解、指示の遵守、外部知識の導入という 4 つの主要な課題に対処するための一連のソリューションを提案しています。さっそく、その効果を見てみましょう。複雑な構造のグラフをワンクリックで認識しMarkdown形式に変換:さまざまなスタイルのグラフが利用可能:より詳細な文字認識や位置決めも簡単に対応:文書理解の詳しい説明も可能:ご存知「文書理解」 「」は現在、大規模な言語モデルの実装にとって重要なシナリオです。市場には文書の読み取りを支援する多くの製品が存在します。その中には、主にテキスト認識に OCR システムを使用し、テキスト処理に LLM と連携する製品もあります。

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

See all articles