ワンクリックでビデオのちらつきを除去、この研究は一般的なフレームワークを提案します

この論文は、追加のガイダンスやフリッカーの理解を必要とせず、さまざまなフリッカーアーティファクトを除去できる、初の汎用的なフリッカー除去方法を提案することに成功しました。

#高品質のビデオは通常、時間的には一貫していますが、多くのビデオではさまざまな理由によりちらつきが発生します。たとえば、一部の古いカメラ ハードウェアの品質が低く、各フレームの露光時間を同じに設定できないため、古い映画の明るさは非常に不安定になることがあります。さらに、露出時間が非常に短い高速カメラは、室内照明の高周波数 (60 Hz など) の変化を捉えることができます。

#画像強調、画像の色付け、スタイル転送などの効率的な処理アルゴリズムの中でも、時間的に一貫したビデオに画像アルゴリズムを適用すると、ちらつきが発生することがあります。

ビデオ生成方法によって生成されたビデオには、ちらつきアーティファクトが含まれる場合もあります。

ビデオからフリッカーを除去することは、一般的に時間的に一貫したビデオの方が視覚的に魅力的であるため、ビデオ処理やコンピュテーショナル フォトグラフィーの分野で非常に一般的です。

この CVPR 2023 論文は、次のような普遍的なフリッカー除去方法の研究に特化しています: (1) さまざまなフリッカー パターンまたはレベル (古い映画、高速カメラで撮影されたスローモーション画像など) アクションに対して高度に一般化されています。ビデオ）、（2）フリッカービデオのみが必要であり、他の補助情報（フリッカータイプ、追加の時間一貫性のあるビデオなど）は必要ありません。この方法はあまり多くの仮定を置かないため、幅広い適用シナリオがあります。

コード リンク: https://github.com/ChenyangLEI/All-in-one-Deflicker

プロジェクト リンク: https://chenyanglei. github.io/deflicker

ペーパーリンク: https://arxiv.org/pdf/2303.08120.pdf

方法

一般的なフリッカー除去方法は困難であるため、追加のガイダンスなしでビデオ全体で時間的一貫性を強制します。

既存の技術は通常、ちらつきの種類ごとに特定の戦略を設計し、特定の知識を使用します。たとえば、高速カメラで撮影されたスローモーション ビデオの場合、以前の研究では照明周波数を分析できました。画像処理アルゴリズムによって処理されたビデオの場合、ブラインド ビデオ時間的一貫性アルゴリズムは、時間的に一貫した未処理のビデオを参照として使用して、長期的な一貫性を取得できます。ただし、フリッカー タイプや未処理のビデオが常に利用できるとは限らないため、既存のフリッカー固有のアルゴリズムをこのケースに適用することはできません。

直観的な解決策は、オプティカル フローを使用して通信を追跡することです。ただし、フリッカービデオから取得されるオプティカル フローは十分な精度ではなく、オプティカル フローの累積誤差もフレーム数とともに増加します。

著者は、2 つの重要な観察と設計を通じて、追加のガイダンスなしでさまざまなちらつきアーティファクトを除去できる一般的なちらつき除去方法を提案することに成功しました。

優れたブラインドフリッカー除去モデルには、すべてのビデオ フレーム間の対応する点を追跡する機能が必要です。ビデオ処理におけるほとんどのネットワーク構造は、少数のフレームしか入力として受け取ることができないため、受容野が小さくなり、長期的な一貫性を保証できません。研究者らは、ニューラル アトラスがフリッカー除去タスクに適していることを観察したため、このタスクにニューラル アトラスを導入する予定です。ニューラル アトラスは、ビデオ内のすべてのピクセルを統一的かつ簡潔に表現したものです。図 (a) に示すように、p をピクセルとします。各ピクセル p は、アトラス内のピクセルの対応する位置を示す 2D 座標 (up、vp) を予測するマッピング ネットワーク M に入力されます。理想的には、入力ピクセルが異なる色であっても、異なるフレーム間の対応する点はアトラス内のピクセルを共有する必要があります。つまり、これにより時間的な一貫性が確保されます。

第二に、共有レイヤーから取得されたフレームは一貫していますが、画像の構造には欠陥があります: ニューラル レイヤーは、動きの大きな動的オブジェクトを簡単にモデル化できません。オプティカル フローも完璧ではありません。そこで、著者らは、欠陥のある層から正常な部分を選択するためのニューラル フィルタリング戦略を提案しています。研究者らは、レイヤー内のアーティファクトとビデオ内のちらつきをシミュレートする 2 種類の歪みの下で不変性を学習するようにニューラル ネットワークをトレーニングしました。テストしたところ、ネットワークは一貫性プロパティを保持し、欠陥のある層のアーティファクトをブロックするフィルターとしてうまく機能しました。

実験

研究者らは、さまざまな実際のフリッカービデオを含むデータセットを構築しました。広範な実験により、私たちの方法が複数のタイプのフリッカービデオに対して満足のいくフリッカー除去効果を達成できることが示されています。研究者のアルゴリズムは、公開ベンチマークに関する追加のガイダンスを使用したベースライン手法をも上回りました。

研究者は、(a) 処理されたフリッカー ビデオと合成されたフリッカー ビデオの定量的な比較を提供します。研究者の方法の変形誤差は、ベースラインよりもはるかに小さいです。 PSNR によると、研究者の結果は合成データの実際の値にも近いとのことです。他の現実世界のビデオについては、この研究では (b) 比較のための二重盲検実験が提供されており、ほとんどのユーザーは研究者の結果を好みました。

上の図に示すように、研究者のアルゴリズムは入力ビデオからちらつきを非常にうまく除去できます。写真の 3 列目はニューラル層の結果を示していることに注意してください。明らかな欠陥が観察されますが、研究者のアルゴリズムはその一貫性をうまく利用して、これらの欠陥の導入を回避できます。

このフレームワークは、古い映画や AI で生成されたビデオに含まれるさまざまなカテゴリのちらつきを除去できます。

以上がワンクリックでビデオのちらつきを除去、この研究は一般的なフレームワークを提案しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。