新しい大規模な音声対話モデルが中国で開始されました。Kai-Fu Lee 氏が主導し、Zero One と All 社が参加し、中国語と英語のバイリンガリズムとマルチモダリティをサポートし、オープンソースで商用利用可能です。

初の中国語と英語のバイリンガル音声対話オープンソース大型モデルが登場!

ここ数日、大規模な音声テキストのマルチモーダル モデルに関する論文が arXiv に掲載され、Kai-fu Lee 氏の大規模モデル会社 01.ai - 01.ai - の名前が掲載されました。署名会社の中に登場しました。

写真

この論文では、LLaSM と呼ばれる中国語と英語のバイリンガル商業対話モデルを紹介します。このモデルは録音とテキスト入力をサポートするだけでなく、「ハイブリッド ダブル」の機能を実現できます。

写真

研究によると「ボイスチャット」 「AIとAIの組み合わせです。人々が対話するためのより便利で自然な方法は、テキスト入力だけではありません。

大きなモデルを使用します。一部のネチズンは、すでに「寝転んで話しながらコードを書く」というシナリオを想像しています。 。

写真

この研究は、LinkSoul.AI、北京大学、01Wanyuan によって共同で完了しました。現在はオープンソースであり、Try it で直接使用できます。 Hugface で登場

写真

仕組みを見てみましょう

テキストと音声入力をサポートし、携帯電話でも再生できます

研究者によると、LLaSM は、中国語と英語のバイリンガル音声テキストのマルチモーダル対話をサポートする、オープンソースで商用利用可能な初の対話モデルです。

それでは、音声テキスト入力と中国語と英語のバイリンガル機能を見てみましょう。

まず第一に、中国語と英語の文化的衝突を起こし、英語で李白を評価してみましょう:

写真

それははい、正しく李白の王朝について言及されました。英語が読めない場合は、英語を直接中国語に翻訳しても問題ありません。

写真

次の演習では、中国語 A を試してみましょう。中国語の文に「揚げ物」という単語を追加する英語混合の質問。モデルの出力効果も非常に良好です。

Picture

モデルをもう一度試して、いくつかの評価を実行して、どれが適切であるかを確認してみましょう。素晴らしい、

一定期間考えた後、このモデルは非常に客観的かつ中立的な評価を与えており、また、大規模なビジネスに必要な基本的な知識と常識も備えていることがわかります。モデル（手動ドッグヘッド）

画像

もちろんパソコンだけでなく、携帯電話でもプレイ可能です。

「おすすめのレシピを教えてください」と音声で入力してみましょう:

モデルが正確に「なすのチーズ」のレシピを出力しているのがわかりますが、味がわかりません良いか悪いか。

しかし、試してみると、このモデルには時々バグがあることもわかりました。

たとえば、「人間の会話をあまり理解できない」場合があります。

中国語と英語の混合コンテンツの出力が必要です。理解していないふりをして英語で出力します:

Picture

中国語の混合「テイラー・スウィフトのレッド」を聞きたいのですが、モデルに重大なエラーがあり、同じ文章を繰り返し出力し続けて停止することもできません...

写真

一般的に、中国語と英語が混在する質問や要件に遭遇した場合、モデルの出力機能はまだあまり優れていません。

しかし、分離しても、中国語と英語の表現能力は依然として優れています。

では、このようなモデルはどのように実装されるのでしょうか?

どんな新しいモデルを作りましたか?

試用した結果から判断すると、LLaSM には 2 つの主な特徴があります。1 つは中国語と英語の入力をサポートし、もう 1 つは音声とテキストの二重入力です。

これら 2 つの点を達成するには、アーキテクチャとトレーニング データにそれぞれ調整を加える必要があります。

アーキテクチャの観点から見ると、LLaSM は現在の音声認識モデルと大規模言語モデルを統合しています。

LLaSM は、自動音声認識モデル Whisper、モーダル アダプター、ラージ モデル LLaMA の 3 つの部分で構成されます。

このプロセスでは、Whisper は元の音声入力を受信し、音声特徴のベクトル表現を出力します。モーダル アダプターの役割は、音声とテキストの埋め込みを調整することです。 LLaMA は、音声とテキストの入力命令を理解し、応答を生成する役割を果たします。

写真

モデルのトレーニングは 2 つの段階に分かれています。最初の段階はモダリティ アダプターをトレーニングすることであり、エンコーダーと大規模なモデルがフリーズされ、モデルが音声とテキストの配置を学習できるようになります。第 2 段階では、エンコーダーをフリーズし、モーダル アダプターと大規模なモデルをトレーニングして、モデルのマルチモーダル対話機能を向上させます。

研究者らは、トレーニング データに基づいて、199,000 の対話と 508,000 の音声テキストのデータセットを含むデータベースを編集しました。 LLaSM-Audio-命令のサンプル。

508,000 の音声テキスト サンプルのうち、80,000 は中国語の音声サンプル、428,000 は英語の音声サンプルです

研究者は主に WizardLM、ShareGPT、GPT-4 - LLM などのデータセットに基づいていますテキスト読み上げ技術を使用して、無効な会話をフィルタリングしながらこれらのデータセットの音声パケットを生成します。

写真

これも、データセットに続く最大の中国語と英語の音声テキスト命令ですが、まだ整理中です。完成します。後でオープンソース化されます。

ただし、現時点では、この論文の出力効果を他の音声モデルやテキスト モデルと比較したものはありません。

著者の紹介

この論文の著者は以下の出身です。 LinkSoul.AI、北京大学 Yu Shu 氏と Zero One Thing

の共著者である Siwei Dong 氏は、どちらも LinkSoul.AI の出身で、以前は北京 Zhiyuan AI Research Institute で働いていました。

LinkSoul.AI は、初のオープンソース Llama 2 中国語大規模モデルを以前にリリースした AI スタートアップ企業です。

写真

李凱福氏率いる大手模型会社として、ゼロワンとワンワゴンもこの研究に貢献した。著者の黄文豪の「抱き顔」のページには、彼が復旦大学を卒業したことが示されています。

写真

紙のアドレス:
https://www.php.cn/link/47c917b09f2bc64b2916c0824c715923

デモアドレス:
https://www.php.cn/link/bcd0049c35799cdf57d06eaf2eb3cff6

以上が新しい大規模な音声対話モデルが中国で開始されました。Kai-Fu Lee 氏が主導し、Zero One と All 社が参加し、中国語と英語のバイリンガリズムとマルチモダリティをサポートし、オープンソースで商用利用可能です。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。