Apple は AR 革命をリードしているのでしょうか? Unity Technology Open Day x Rokid、次世代の人間とコンピューターのインタラクションの新ルートについて語る

AR 開発のマイルストーンには、Apple が引き起こした空間コンピューティング時代の革命が刻まれています。 Vision Pro によって作成された没入型空間は、人間とコンピューターの新しい対話エクスペリエンスをユーザーにもたらします。たとえば、従来のディスプレイの制限を打ち破ります。ユーザーがアプリを閲覧するとき、アプリを見て指をつまむだけで選択できます。ドラッグ アンド アンド ドロップ空中の任意の場所をクリックします。

実際、これは Rokid が模索してきた方向でもあり、人々、現実世界、仮想世界をより自然かつ現実的な方法で統合するというものです。

今年 3 月の Rokid Open Day で、Rokid は自社開発した新世代の AR 空間オペレーティング システム YodaOS-Master をリリースしました。Rokid Max Pro メガネをベースにしており、手のひらを開くとメニューがすぐに目の前に表示されます。あなたの。アイコンをクリックしてアプリケーションに入り、柔軟で柔軟な空間マルチスクリーンのインタラクティブ体験をお楽しみください。中でも、単一カメラによるSLAMや3D素手インタラクションなどの機能を業界で初めて実現したこの新たな技術路線は、リリース以来業界で注目を集め、熱い議論を呼んできました。

本日、中国の開発者にとって最も重要な年次式典の 1 つである「2023 Unity Technology Open Day」が北京で初めて開催され、Rokid もこのイベントに出席しました。会議では、Rokid システム研究開発のチーフエンジニアである Shi Wenfeng 氏が「Rokid YodaOS-Master システムの導入とアプリケーション開発と実装」と題して講演し、この待望の技術的ルートと Rokid の最新の技術開発について共有しました。 -サイト開発 研究者たちは、深い意見交換と議論を行いました。

Rokid が自社開発した新世代の空間 AR システム

業界初のシングルカメラ SLAM テクノロジー

本日のゲーム フォーラムでは、Rokid システム研究開発のチーフ エンジニアである Shi Wenfeng が、AR 産業技術研究開発における長年の豊富な経験を活かして、待望の YodaOS-Master システムを現場の開発者に紹介しました。 Rokid の背後にある技術的思考も同様です。

知覚、理解、インタラクション、プレゼンテーション、コラボレーション、デジタル作成の 5 つの側面に焦点を当て、YodaOS-Master はチップの最適化、ハードウェア設計、ソフトウェア アーキテクチャ、AR アルゴリズムと作成ツールなどの多くの側面で大幅なアップグレードを行いました。現在、AR 時代の宇宙オペレーティング システムの最も完全なセットです。

Rokid Max Pro グラスをベースとして、SLAM、3D 素手インタラクション、一人称視点の共有、視覚的位置決め VPS およびその他の機能を 1 つのカメラに基づいて初めて実現しました。創作やその他の AR 体験を軽量化し、プラット＆ホイットニー AR グラスは無限の可能性をもたらします。

YodaOS オペレーティング システムの誕生当初、Rokid は、開発者が想像力を解放し、YodaOS オペレーティング システムを通じて価値を創造できるようにするという観点を堅持してきました。

Shi Wenfeng 氏は次のように述べています。「YodaOS-Master オペレーティング システムは、モジュール式アプローチを使用して、Rokid 音声認識、ジェスチャ認識、SLAM などを含む複数のコア テクノロジを「パッケージ化」し、開発者が効率的に開発できる SDK を形成します。 SDK for Unity を使用すると、Unity 開発者は開発に Rokid コア テクノロジーをすぐに使用できるようになります。」

Rokid は、より自然な AR インタラクティブ エクスペリエンスに常に取り組んできました。従来の 2D ジェスチャ認識と比較して、3D ジェスチャ認識はより困難です。 Wenfeng 教師は、現在 Rokid で使用されている、YodaOS-Master の基礎となるシステム機能に基づいた単眼 3D ジェスチャ認識テクノロジーに焦点を当てました。

深層学習アルゴリズムと大量の実験データに基づいて、Rokid が独自に開発した単眼 3D ジェスチャ アルゴリズムは、手の 6DoF、手の関節点 26DoF、および手のメッシュ情報を含む手の姿勢パラメータをモバイル端末上でリアルタイムに再構築できます。 、AR ジェスチャー インタラクションを提供することで、優れたアルゴリズム基盤が提供されます。

現在、Rokid のジェスチャ認識は、ポイント、ピンチ、グラブ、ホールド、ドラッグ、プルなどを含む 3D 空間でのさまざまな操作を実現でき、AR インタラクティブ アプリケーションのニーズを完全に満たすことができます。 Rokid Max Pro の場合は、ヘッドセットを装着して手を伸ばすだけで、手のひらの前にメニューが表示されます。

ソフトウェアとハ​​ードウェアを統合した Rokid の AR 空間体験が、AR メガネをベースにした国内初の Yuanverse ブロック プロジェクト - 杭州文三源市 AR デジタル リビング ブロック、最初の AR メガネを含む、全国の多くのシーンで実装されていることは言及する価値があります。中国の文化観光産業における単眼視覚SLAMに基づくナビゲーションソリューション - 敦煌ARスマートガイド、DingTalkとRo​​kidが作成した国内初のエンタープライズARデジタル展示ホールなど。

Ruoqi デジタル ピープル AIGC

マルチモーダル インタラクティブ エクスペリエンスの新しいアップグレード

AI時代の発展の加速に伴い、人間とコンピュータのインタラクションの開発トレンドはマルチモーダルインタラクションです。将来、人々のより深いニーズを満たすには、単なるキーボード操作、タッチ操作、音声操作、その他の方法以上のものが必要になります。

想像してみてください。仕事中に音楽を聴きたい場合は、まず音声またはタッチ操作を通じてスピーカーを起動し、次にキーボード操作を通じてオフィス ソフトウェアを開く必要があります。デジタル人工アシスタントがあれば、すべてが簡単になり、単一のコマンドを発行するだけで、両方のタスクを同時に完了できます。

これは、Rokid が AI デジタル ヒューマンである理由の 1 つでもあります。 Shi Wenfeng氏は、AIデジタルヒューマンテクノロジーは、音声アシスタントAIデジタルヒューマン、SLAM、3Dジェスチャー、6DOF空間オーディオ、その他のRokidコアテクノロジーを含むシステムのすべての機能を接続できるため、ユーザーにより豊かな人間とコンピューターのインタラクションエクスペリエンスをもたらすことができると述べた。

現在、Rokid が作成したデジタル ヒューマン「Ruoqi」は AIGC に完全に接続されており、ユーザーはいつでも「Ruoqi」を呼び出し、この仮想アシスタントと興味深い話題について話し合うことができます。

Shi Wenfeng氏は、この背後にあるのはAIGCマルチモーダルデジタルインテリジェンス駆動モデルであり、ASR、NLP、TTSなどの自社開発アルゴリズム技術を使用して「Ruoqi」を駆動し、正確な顔の表情や音声表現を生成すると紹介しました。 、体の動き、そしてパフォーマンスはよりリアルで、自然で、スムーズです。

Rokid はあらゆる面で開発者に力を与えます

人間とコンピューターの相互作用の次の時代を一緒に歓迎します

今後、AR、MRなどのテクノロジーがますます成熟し、映画鑑賞、ゲーム、オフィスワーク、教育などさまざまなシーンでイノベーションが生まれる余地は無限にあります。複数の生態学的コンテンツを再構築するには、開発者がさらなる画期的な進歩と革新をもたらすことが緊急に必要です。

Unity Technology Open Day は、中国の開発者にとって最も重要な年次インタラクティブ フェスティバルの 1 つであり、毎年数回のオフライン ツアーを通じて、クリエイター グループのための技術交換プラットフォームを構築し、技術進化の道筋を伝え、多様で多様な技術を創造します。活発な開発者コミュニティ コミュニティの雰囲気は、開発者の声に耳を傾けながら、コンテンツの革新とリアルタイム 3D テクノロジーのアプリケーション拡張を促進します。

Rokid は AR 業界のリーダーとして、業界の繁栄の促進に参加しています。この日のイベントでは、最新テクノロジーを共有するスピーチに加えて、Rokid は現場にブースエリアを設置し、Rokid の最新の AR 製品と環境に優しい建設シナリオを現場の開発者が体験し、Rokid をより直観的に理解できるようにしました。最新のテクノロジーとエコロジー。

近年、Rokid は、専用の AR オープン プラットフォーム (ar.rokid.com) の作成、「Ruoqi Space Station」開発者支援プログラムの立ち上げ、世界的な AR アプリケーション開発コンテストの開催など、より多くの開発者に力を与えることに取り組んでいます。 、開発者がエコロジーの共同構築に参加し、AR エコシステムの繁栄を促進することを奨励します。

Wen Feng氏は、開発者向けにカスタマイズされたRokidの「Ruoqi Space Station」開発者支援プログラムが、ハードウェア機器、アルゴリズム機能、開発サポート、マーケティングプロモーションの面で開発者に包括的なサポートを提供していると紹介しました。同時に、Rokidはいくつかの業界大手企業やベンチャーキャピタルと提携して、優れた開発者に直接投資するための10億人民元のエコロジー・インテリジェント投資アライアンスを設立した。

Rokid は開発者に強力なサポートを提供しただけでなく、第 1 回グローバル AR アプリケーション開発コンペティションの主催に成功し、世界の開発者に 11 の重要な賞を授与しました。 Rokid は、全国の大学のイノベーション力を刺激するために、今年 5 月に第 1 回大学 XR コンテンツ作成コンペティションを正式に開始しました。

将来的には、Rokid はより多くのパートナーと協力して AR エコシステムの構築に参加し、オープンで双方にメリットのあるエコシステムを構築し、業界に力を与え続け、AR 業界の加速的な発展を促進するつもりです。人間とコンピュータの相互作用の次の時代を共同で受け入れます。

以上がApple は AR 革命をリードしているのでしょうか? Unity Technology Open Day x Rokid、次世代の人間とコンピューターのインタラクションの新ルートについて語るの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。