写真は時間を超えて移動できますか? 「時を旅する顔」新モデルがAIタイムマシンに

現在、人工知能とディープラーニング技術は、テキスト画像生成、超解像度、その他のアプリケーションの重要な基盤になりつつあります。

これで、画像の詳細な説明を入力できるようになり、指定されたテキストに対応するフォトリアリスティックな画像が得られます。

画像を低解像度から高解像度に変換して、画像の一連の鮮明な詳細を生成することもできます。

#ニューラル ネットワークには無限の機能があるようです。では、これらの方法はタイムトラベルに使用できるのでしょうか?

たとえば、自分の写真が 50 年または 100 年前に撮られたらどうなるだろうかと考えたことはありますか?あなたの好きな俳優や女優が、彼らとはまったく異なる時代に生まれていたら、どうなると思いますか?

タイム トラベル ステップ 1: データセットの問題を解決する

高品質の顔合成における StyleGAN の最近の成功を考慮して多くの作品は、ポートレート編集に事前トレーニングされた StyleGAN モデルを使用することに重点を置いています。

ただし、既存の技術は通常、明確に定義された意味論的プロパティを扱います。たとえば、笑顔を追加または削除したり、写真内の人物の年齢を変更したりできます。

この作品の背後にあるロジックは、人のアイデンティティを構成するこれらの属性をそのまま維持し、同時にこの人工知能の馬車を使用して過去に送り返すことです。または未来へ行く。

この場合、人々が直面する主な問題は、適切なデータセットが不足していることです。誰もが知っているように、完璧なニューラル ネットワーク モデルがあっても、すべての人工知能研究者にとってデータ セットは依然として悪夢です。

不均衡なデータ、不十分なデータ、または利用できないデータは、深層学習の分野でよくある問題であり、データの偏りや不正確な結果につながる可能性があります。

この問題を克服するために、コーネル大学の中国人科学者、エリック・ミン・チェン (左から 2 人目) 率いる研究チームは、FTT (Face Through Time) データセットを作成しました。

Chen 氏は、ジョージア大学の中国人科学者 Jin Sun 氏らと共著で、「Face Through Time」データセットの動作原理を詳細に説明した出版物を出版しました。

このデータセットの画像はウィキメディア コモンズから取得したものです。このプラットフォームには、クラウドソースでオープンライセンスされた 5,000 万枚の画像が含まれています。 FTT は 19 世紀から 21 世紀までの 26,247 枚の肖像画を分析し、10 年あたり平均約 1,900 枚の画像を分析しました。

AI の「タイムマシン」に変換された GAN の親子階層構造

これらの変化はどのように実現されるのでしょうか?

研究チームは、StyleGAN (敵対的生成ネットワーク) の親子階層を利用しました。特別なのは、すべての十年をカバーする単一のモデルをトレーニングすることを選択したのではなく、代わりに画像セットの各十年ごとにサブモデルを追加し、各期間のデータ分布をより適切に合成するようにモデルセットをトレーニングしたことです。

同時に、記述されている人物のアイデンティティと姿勢を保存するために、研究チームは親モデルを使用してこの情報を潜在空間ベクトルにマッピングします。

まず、各時代に 1 つずつ StyleGAN モデル セットをトレーニングし、敵対的損失とアイデンティティ損失を使用して混合顔画像をトレーニングします。この顔マップは子モデルの出力であり、ブレンドされたマップが親モデルと同様の色になるように変更されています。

研究チームは、このプロセス中に、人気のある顔認識モデルである ArcFace の特徴計算によって引き起こされるエラーを回避する必要があると示唆しています。アイデンティティの喪失の不一致。 ArcFace モデルは最新の画像でのみトレーニングされたため、研究者らは過去の画像ではパフォーマンスが低いことを発見しました。

その後、各実像は 10 年多様体上のベクトル w に投影されます (下図では 1960 年)。このベクトル上で、ジェネレーター G't は、洗練された詳細をすべてのサブモデルに転送するようにトレーニングされます。最後に、モデルがポートレートの顔の詳細を保持するようにマスクが入力画像に適用されます。

すべてのサブモデルを微調整した後、研究チームは、さまざまな時代の FTT のサブモデル (下の写真のオレンジ色) が髪型の変化をうまく捉えていることを発見しました。メイクアップしながら、各画像のポートレート フィーチャーを親モデルにインポートします (下の青色)。

この新しい合成画像フレームワークには 2 つの大きなハイライトがあります: 1 つ目は、ポートレートが時を超えて移動するという願いを実現すること、2 つ目は、時間の経過とともに人間の顔を変化させる技術です。また、ポートレートのほとんどの詳細も保持されます。

データセットには依然として軽微なバイアスがあり (たとえば、20 世紀初頭の画像に短髪の女性が数人登場するなど)、出力画像の不一致につながりますが、このモデルは以前の研究よりも優れたパフォーマンスを示しています。信憑性の向上。

「時を旅する顔」からタイムトラベルの第一歩が始まります。その精度の高さから、今回は時を超えたポートレートだけど、次回はどうなるのか？

参考:

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform -フェイススルータイム/

https://facesthroughtime.github.io/

以上が写真は時間を超えて移動できますか? 「時を旅する顔」新モデルがAIタイムマシンにの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。