DingTalk ConferenceでAI機能を紹介：デジタルアバター、会話生成バーチャル背景など新たにアップグレードされた機能

2023 年 8 月 22 日、上海で「AI の背中に乗ろう」DingTalk 生態カンファレンスが開催されました。デジタル従業員向けの特別サブフォーラムでは、DingTalk 副社長でオーディオおよびビデオ事業部門の責任者である Zhao Jiayu 氏が基調講演を行い、インテリジェンスおよび分野における DingTalk オーディオおよびビデオの進歩と応用について共有しました。 DingTalk AI PaaS に基づいたビデオ会議の開発、将来の展望

Zhao Jiayu 氏は、DingTalk が 4 月に大規模モデルを完全に統合してインテリジェントな再構築を完了すると発表したことに言及しました。人工知能とオーディオおよびビデオの統合がますます深まるにつれて、DingTalk Conference は多くの革新的なアプリケーションも実現しました。これまでのリアルタイム翻訳、字幕文字起こし、インテリジェントな要約に加え、今回は会議に参加する代わりのデジタルアバター、会議運営の自然言語制御、ヴィンセントバーチャル背景という3つの新機能が開始された。その中で、デジタル クローンは、会議時間が競合する場合にユーザーの代わりに会議に参加でき、関連する会議情報と結論をリアルタイムで同期できます。

彼は、DingTalk Audio and Video は将来的に、より多くの分野をエコロジカル パートナーに開放し、リッチで価値のあるアプリケーションを共同で構築し、ユーザー エクスペリエンスと効率を向上させたいと述べました。同時に、DingTalk はオーディオおよびビデオ SDK をエコロジカル パートナーのアプリケーションに組み込んで、さまざまな業界やシナリオのニーズを満たす高品質で使いやすいオーディオおよびビデオ ソリューションを共同で作成することも計画しています。

以下は趙佳宇氏のスピーチ全文です:

過去 1 年間、DingTalk オーディオおよびビデオ部門のキーワードは経験とインテリジェンスでした

昨年、私たちは DingTalk 会議を包括的に最適化するための専任チームを設立し、内部および外部の両方で多くの改善を行いました。 DingTalk Meeting のインターフェイス インタラクションは、より美しく、便利で、没入型になりました。同時に、基礎となる技術アーキテクチャに関して、収集、再生、エンコードとデコード、ネットワーク、サーバーを包括的に最適化しました。特に音声とビデオに関しては、スムーズな会議ができ、相手の声が聞こえることが最も基本的な要件であるため、音声アルゴリズムと脆弱なネットワーク対策の側面を改善しました。 DingTalk ミーティングをもっと活用していただければ幸いです

インテリジェンスに関して言えば、この大幅な改善が行われる前は、ビデオ会議の分野は人工知能と非常に密接に統合されていました。人工知能テクノロジーは、オーディオ アルゴリズムとビデオ アルゴリズムに統合されています。たとえば、ビデオ アルゴリズムに関連する人工知能アプリケーションには、非常に馴染みのあるシーン アプリケーションである美化や仮想背景が含まれます。音声アルゴリズムも人工知能を組み合わせることで、より優れたノイズリダクション効果を実現します。現在、DingTalk ミーティングは、車のクラクションやキーボードのタイピング音など、300 以上の一般的なノイズの除去をサポートしているため、ユーザーはより集中して会議を行うことができます

会議でのもう 1 つの一般的な要件は字幕です。これは本質的に人工知能の機能です。現在、DingTalk Conference は Alibaba Tongyi Listening に完全に統合されており、中国語、英語、日本語間の翻訳をサポートし、リアルタイムの文字起こしと翻訳を実現しています。さらにインテリジェントナビゲーション機能も搭載。会議室での会議中に、オンラインの同僚がディスカッションに参加している場合、座っている同僚が遠すぎてはっきりと聞こえなかったり、相手の発言が聞こえなかったりすることがあります。当社の Hummingbird Audio Lab は、人工知能と独自の差動アレイ技術を組み合わせて、単一の会議デバイスから最大 10 メートル離れた場所での音声収音を実現します。話者が話すとき、正確な音源の位置決め、リアルタイムの追跡、アバターのズームインをサポートし、各話者に焦点を合わせてより良い会話体験を生み出します

大規模モデルの時代の到来に伴い、私たちは関連する調査を実施し、大規模モデルを使用して DingTalk 会議を再現したいと考えています。本日、DingTalk は新しい AI PaaS インテリジェント ベースを立ち上げ、エコシステム パートナーに公開しました。 DingTalk ミーティングでは、AI PaaS を使用して多くの興味深い機能を実装しました

書き直された内容: まず第一に、これは会議をデジタル アバターに置き換える新しい方法です。職場では、多くの会議に直面することがよくありますが、現在ではスマート ドキュメントを使用して、全員がこの問題を解決できるよう支援しています。また、ユーザーにデジタル アバターの機能を提供するいくつかの方法も試しました。会議で意見が合わない場合、または特定の会議にあまり関係がない場合は、デジタル ドッペルゲンガーに代わりに会議に出席するよう依頼できます。会議中に、特定のトピックに焦点を当てるなど、ダイアログ ボックスを通じて DingTalk 魔法の杖のいくつかのタスクをアクティブに設定できます。誰かがこのトピックについて議論すると、AI が自動的に通知し、関連するコンテンツを教えてくれます。デジタル アバターが会議の概要を数分ごとに送信するように設定することもでき、デジタル アバターと積極的に会話して、誰が会議に参加しているか、議論があるかどうかなど、さまざまな情報を知ることもできます。会議後、デジタル クローンが会議の概要を自動的にプッシュします

書き換えられた内容は次のとおりです。 次に、自然言語を使用して会議をインテリジェントに制御できます。以前は、DingTalk には機能が多すぎて入り口がわかりにくいと多くのユーザーから不満の声がありました。 DingTalk Conference もこの問題に直面しており、大幅な簡略化を行っていますが、一部のユーザーにとってはまだ敷居が高く感じられます。現在、DingTalk Magic Wand のスマート アシスタントを通じて機能操作を簡素化しました。自然言語で質問するだけで、人工知能が自動的に意図を認識し、操作の完了を支援します。たとえば、会議に参加者が多すぎて、誰かが誤ってマイクをオンにしてしまった場合、その人を見つけてミュートするのは面倒かもしれませんが、AI に発言している人をミュートするように指示できるようになりました。 。また、会議に参加を招待する必要がある場合は、入り口を気にせずに直接招待状を入力することもできます。これらの機能により、会議の運営と管理が容易になります

書き直す必要がある内容は次のとおりです。 3 番目の点は、Vincent の仮想背景についてです。バーチャル背景は特にここ数年ユーザーに愛用されており、私たち若者も時には「宇宙の教室」で授業を受けたり、時には「大草原」で授業を受けたりしてとても楽しんでいます。私たちは日常の仕事でも仮想背景を使用しています。これにより、雑然とした背景による当惑を効果的に回避できます。従来は、既存のテンプレート画像に加えて、自分で画像を検索してダウンロードする必要がありましたが、その必要がなくなりました。ヴィンセントの写真を通じて仮想背景を自動的に生成し、想像力を完全に解放します。

DingTalk Conference では、パートナーがシナリオをアップグレードできるよう、AI PaaS を通じてアプリケーションを段階的に公開していきます。将来的には、インタビュー、ホワイトボード、その他のアプリケーションなど、より多くの環境に優しい製品が DingTalk 会議に組み込まれるようになるでしょう。当社は採用パートナーと協力して、履歴書の内容やコミュニケーション情報を使って面接プロセスをリアルタイムで支援できる面接アシスタントを開発しています。私たちは、優れたエクスペリエンスとオープン性を提供し、エコロジカル パートナーと協力して、インテリジェンスの時代において、より興味深く価値のあるシナリオ アプリケーションをユーザーに提供したいと考えています

以上がDingTalk ConferenceでAI機能を紹介：デジタルアバター、会話生成バーチャル背景など新たにアップグレードされた機能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。