アニメーション制作効率80％アップ！ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェア

AIGC には新しい魔法があります。

アニメーターの手Kや習慣キャプチャ、ライトキャプチャなどは必要なく、動画を提供するだけで自動的にアクションを出力できるAIモーションキャプチャソフトです。わずか数分でバーチャルヒューマンのアニメーションが完成します。

# 手足の大きな動きだけでなく、手の細部まで正確に捉えることができます。

シングルビューのビデオに加えて、マルチビューのビデオにも対応しており、単眼認識のみをサポートする他のモーション キャプチャ ソフトウェアと比較して、このソフトウェアはより高いモーション キャプチャ品質を提供できます。

#同時に、このソフトウェアは、認識された人体のキーポイント、滑らかさ、足跡の詳細などの編集と修正もサポートしています。一般プレイヤーの興味体験から、ハードコアプレイヤーのプロフェッショナルなニーズまで、あらゆるものを満たすことができます。

これは、NetEase Interactive Entertainment AI Lab によって長年開発され、反復的に最適化され、低コストで開発されてきた AIxPose です。プロのアート フィードバックに基づいたキー ビデオ モーション キャプチャ ソフトウェア。このソフトウェアは数十時間以上のビデオ リソースを処理し、ゲーム プロット アニメーション、人気のダンス アニメーション、その他のリソースの制作プロセスに使用されたと報告されています。実際のプロジェクトで検証したところ、1分間のダンスアニメーションを手作業で制作すると20日以上かかる場合もあったが、AIxPoseの支援により制作にかかる時間はわずか3日となり、全工程が80％以上短縮された。

最近、NetEase Interactive Entertainment AI Lab は、このソフトウェアの開発経験とモーション キャプチャ分野での関連研究作業に基づいて、「分析事後確率の学習」という論文をまとめました。 Recovery」は、コンピューター ビジョンのトップ カンファレンスである CVPR 2023 に採択されました。

#ホームページのアドレス: https://netease-gameai.github.io/ProPose/
論文アドレス: https://netease-gameai.github.io/ProPose/static/assets/CVPR2023_ProPose.pdf
• ##この論文は、事後確率に基づくビデオ モーション キャプチャ テクノロジーである ProPose を革新的に提案します。これにより、単一画像やマルチセンサー フュージョンなどのさまざまな設定下で正確な 3 次元の人間の姿勢推定を実現できます。技術的精度は、事前分布を使用したベースラインの確率的手法より 19% 高く、公開データセット 3DPW、Human3.6M、および AGORA での過去の手法を上回っています。さらに、マルチセンサー フュージョン タスクの場合、このテクノロジーは、新しいセンサーの導入によりニューラル ネットワークのバックボーンを変更することなく、ベースライン モデルよりも高い精度を達成することもできます。

技術的背景

この研究のタスクは、RGB 画像からヒューマン メッシュ回復 (hmr) を予測することです。既存の手法は 2 つのカテゴリに要約できます: 直接手法そして間接的な方法。直接法では、ニューラル ネットワークを使用して人間の関節の回転表現 (軸の角度、回転行列、6D ベクトルなど) をエンドツーエンドで回帰しますが、間接法では最初にいくつかの中間表現 (3 次元ベクトルなど) を予測します。次元のキー ポイント、セグメンテーションなど)、これらの中間を通過することにより、関節の回転が取得されることを示します。

ただし、どちらのタイプの方法にもいくつかの問題があります。直接法では、回転などの抽象表現をネットワークに直接学習させる必要があるため、キーポイントやセグメンテーションの学習に比べて回転の学習が比較的難しく、ネットワークが出力する結果が画像と一致しにくい場合があります。下の図 (a) の最初の列の右足など、一部の大きな動きは完全に後方に伸ばすことができません。対照的に、間接的な方法は一般に高い精度を生成しますが、そのような方法のパフォーマンスは中間表現の精度に大きく依存します。中間表現がノイズによるエラーを生成すると、最終的な回転が非常に明白に見えることが容易になります。エラー、以下の (b) の 2 行目の左側に示すように。

#前述の決定論的手法に加えて、特定の確率分布を学習することで人間の姿勢の不確実性をモデル化する手法もいくつかあります。システムの堅牢性を向上させるために考慮されます。現在、主な確率モデリング手法には、多変量ガウス分布、正規化フロー、ニューラル ネットワーク陰的モデリングなどが含まれますが、非 SO (3) 上のこれらの確率分布は、関節回転の不確実性を真に反映することはできません。たとえば、不確実性が大きい場合、SO (3) のガウス分布の局所線形性の仮定は成立しません。最近の研究では、ネットワークを直接使用して行列フィッシャー分布のパラメータを学習しています。これは SO (3) 上の分布ではありますが、この方法の学習方法は直接法に似ており、収束性能は比較できません。既存の間接法です。

高精度と堅牢性の両方を考慮し、確率的手法のパフォーマンスを向上させるために、ProPose は関節回転の解析事後確率を導き出します。これは、もたらされる変化から恩恵を受けるだけではありません。さまざまな観測変数による高精度で不確実性を測定し、アルゴリズムに対するノイズの影響を可能な限り低減することもできます。下図に示すように、ProPose は入力画像に対して、腕の軸に沿った右手の回転、腕の回転の方向など、出力確率分布を通じてさまざまな方向の関節回転の不確実性をある程度測定できます。左腕の上下振りや左ふくらはぎの距離感など。 #技術的実装

人体モデリング ##この研究では、人間の姿勢モジュールの確率構築を行います。 、目標は、いくつかの観測変数 (骨の方向 d など) の下で関節回転 R の事後確率 p (R|d,⋯) を見つけることです。

具体的には、人体の関節回転は SO (3) に位置し、親関節に対する子関節の単位ボーン方向は S^2 に位置するため、 、これら 2 つに基づいて、多様体上の確率分布を解析します。

まず、SO (3) 上の行列フィッシャー分布 MF (⋅) は、次の式 F に示すように、関節回転 R の事前分布として使用できます。 ∈R^(3×3 ) は分布のパラメータ、c (F) は正規化定数、tr は行列のトレースを表します。

#次の式に示すように、F は平均 M と、平均値を表す集計項について直接解くことができます。 SVD 分解による分布集約度 K.このうち、Δ=diag (1,1,|UV|) は対角直交行列で、M の行列式が 1 になるようにするために使用され、特殊直交群に分類されます。

第二に、骨の方向が関節の回転によって計算できることを考慮すると、関節の回転 R は次のようにみなできます。暗黙の変数、骨の向き d が観測変数として使用されます。R の指定された条件下で、S^2 上のユニットの向き d は、フォン ミーゼス-フィッシャー分布に従います:

このうち、κ∈R と d∈S^2 はそれぞれ集計項と分布の平均値、l は基準姿勢での単位骨の向き (たとえば、 T ポーズとして)、理論的には Rl= d を満たします。つまり、基準骨の方向が関節の回転を通じて現在の骨の方向に転送されます。

ベイズ理論を使用すると、事前分布 p (R) と尤度関数 p (d|R) が与えられると、骨の向きを条件とした関節回転の事後分布を計算できます。事後確率 p (R|d) の分析形式:

これから、次の結論が得られます。事後確率 p ( R|d) も行列フィッシャー分布に従い、そのパラメーターは F から F^'=F κdl^T に更新されます。

上記の事後確率は、観測量として人間の骨格の向きのみを考慮していますが、同様に他の方向の観測量 d_i や回転の観測量 D_j にも拡張できます。他のセンサー (IMU など) によって生成される場合、分析事後確率は次の一般的な形式で取得されます:

ここで、κ_i と K_j は集計項です。 g (⋅) は、方向観測値を回転推定値に変換できる IK 形式のマッピングで、g (d_i)=dl^T などの最も単純な形式を採用できます。 Z_1 と Z_3 は、それぞれ方向観測値と回転観測値のセットを表します。

特性

このセクションでは、事後確率分布が事前確率分布よりも高い確率を持つことについてさらに説明します。集約の程度。

前述のセクションでは、新しいパラメータ F' によって特徴付けられる、人間の関節回転の事後確率の解析形式を紹介しました。事後パラメータ F^' は別の観点から理解できます。つまり、F^' は、F と同じ平均項 M と新しい集計項 K^' の積です。

ここで、M^T dl^T=ll^T はランク 1 の実対称行列であり、K も実対称行列、つまり事後集約項 K' です。も実対称行列です。行列解析における実対称行列に関するスタッガード定理によれば、K' の固有値 λ_i' と K の固有値 λ_i には次の不等式の関係があることがわかります。

集計項の固有値が分布パラメータの特異値に相当し、分布パラメータの特異値が分布の信頼度を反映できることを考慮すると、次のようになります。尤度項が非ゼロの場合、事後推定比はより集中しており、尤度関数が優先するモードにすぐに収束するため、学習が容易になると結論付けています。

事前確率法に加えて、もう 1 つの主要なベンチマーク法は、インバース キネマティクス (IK) を使用して、ボーンの向きを通じて回転を直接計算することです。次の図は、事後確率を直感的に示すことができます。確率的 IK 手法と決定的 IK 手法の比較。

#上の図は、人間の肘関節を例にしています。実三次元座標軸は真値を表し、透明三次元座標軸は推定値を表す。最初の行は決定論的 IK 法を表します。このタイプの方法の背後にあるモデリング手法は、骨の方向を表すベクトルです。骨の方向が正確に推定されると、残りの 1 自由度 (ねじれ) は円に縮小できます (図 (ボール上の点線の円); 骨の向きが不正確に推定されると、考えられるすべての推定値が真の値から外れてしまいます。 2行目は複数の異なるタイプのモデルを融合した本研究の事後確率モデルを表しており、球上の赤い部分はある回転の確率を表している 骨の向きの推定に誤差があっても骨の方向のノイズは先験的または他の観察によって可能な限り軽減できるため、このメソッドはそれを真の状態の値に戻すことができます。

#ネットワーク フレームワーク図と損失関数

前述の理論と導出に基づいて、次の図を直接表すことができます。構築されたフレーム図。マルチブランチ ネットワークを使用して、単一の画像から事前分布パラメータ F、3 次元キーポイント J (骨の向き d の計算元)、および形状パラメータ β を推定します。事後確率はベイズ則によって計算され、最終的に事後分布から姿勢推定値を取得して人間メッシュを出力します。

#損失関数の選択は比較的簡単で、次の 4 つの制約の加重和になります。ここで、L_J はキー ポイント制約を表し、L_β はキー ポイント制約を表します。は形状パラメータ制約を表し、L_θは行列形式の姿勢パラメータ制約を表し、L_sは分布をサンプリングした後の姿勢パラメータ制約を表します。分布の制約に関しては、正規化パラメータの数値安定性を考慮するため、ここでは MAP を直接使用しません。サンプリング戦略に関しては、以前の研究と同様に、行列フィッシャー分布が四元数形式の等価ビンガム分布に変換され、その後、拒否サンプリングを通じて取得されます。拒否サンプリングに推奨される分布は、角中心ガウス分布を採用します。

実験結果

実験部分では、この研究は公開データセットHuman3.6M、3DPW、AGORA、そしてトータルキャプチャ。この研究の方法は、これまでの多くの方法を上回っていることがわかります。右下の表の最後の 2 つの灰色の行は、同じ時期の作品であり、リストを完全にするためにここにリストされています。

#次の図は、既存の SOTA の定性的比較を示しています。 HybrIK、PARE、および CLIFF メソッドは、一部のオクルージョン状況では ProPose がより良い結果を達成できることを示しています。

次の表は、主に ProPose の精度と堅牢性を実証する一連のアブレーション実験を示しています。ベンチマーク方法には、3 次元のキー ポイントを使用しない、事前分布を使用しない、テスト中に事前分布を使用しない、バックボーン ネットワーク内の異なる場所にある特徴を選択するなどが含まれます。下の左側の表は、提案された事後確率分布がより高いことを完全に検証しています。正確さ。下右の表は事後法と決定論的 IK 法のノイズに対する耐性を比較したもので、事後法の方がノイズの干渉に強いことがわかります。

上記の hmr タスクに加えて、この研究ではマルチタスクにも焦点を当てています。 -センサーフュージョンタスク 上記について評価を実施し、シングルビューとIMUフュージョンの効果を以下に示します。

以上がアニメーション制作効率80％アップ！ワンクリックで高精度なビデオモーションキャプチャを実現するAIソフトウェアの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。