ControlNet のスター数が 10,000 を超えました! 2023年、AI絵画は大流行する？

馬に乗った宇宙飛行士から立体的な若い女性まで、AI ペイントは 1 年足らずで革命的な進歩を遂げたようです。

この「乗馬宇宙飛行士」は、OpenAIが4月に発表したヴィンセントグラフモデルDALL・E 2で描画されています。 2022年。その前身である DALL・E は、2021 年にテキストから直接画像を生成する能力を人々に実証し、自然言語と視覚の間の次元の壁を打ち破りました。これをベースに、DALL・2 ではさらに一歩進んで、写真にコーギーを追加するなど、元の画像を編集できるようになります。この一見シンプルな操作が実はAI絵画モデルの制御性の向上を反映しています。

ただし、影響力という点では、2022 年に最も人気のある Vincent ダイアグラム モデルは DALL・E 2 ではなく、it-Stable Diffusion と同様の機能を備えた別のモデルです。 DALL・E 2 と同様に、Stable Diffusion でも作成者は生成された画像を編集できますが、利点はモデルがオープンソースであり、コンシューマーグレードの GPU で実行できることです。そのため、2022 年 8 月のリリース後、安定拡散はすぐに人気を博し、わずか数か月で最も人気のある Vincent ダイアグラム モデルになりました。

この期間中、人々は、Stable Diffusion の背後にあるチームの 1 つである Runway など、このタイプのモデルを制御するさまざまな方法をさらに探索しています。 、画像の任意の部分を変更できる画像の消去と置換ツールをリリースしました。ユーザーが行う必要があるのは、その領域を消去して自然言語による説明を書き込むことだけで、残りはプログラムが実行します。

Google とボストン大学の研究者は、「パーソナライズされた」テキストから画像への拡散モデルを提案しました DreamBooth 、ユーザーは 3 ～ 5 つの例文を提供するだけで、AI がフォトリアルな画像をカスタマイズできます。

#さらに、カリフォルニア大学バークレー校の研究チームは、人間の指示に基づいて画像を編集する新しい方法も提案しました InstructPix2Pix 、このモデルは GPT-3 と安定拡散を組み合わせています。入力画像とモデルに何をすべきかを指示するテキストの説明が与えられると、モデルは説明の指示に従って画像を編集できます。たとえば、絵の中のひまわりをバラに置き換えるには、モデルに直接「ひまわりをバラに置き換えて」と言うだけです。

2023 年に入り、ControlNet と呼ばれるモデルにより、このタイプの制御の柔軟性が最高潮に達しました。

ControlNet の中心となるアイデアは、テキストの説明にいくつかの追加条件を追加して拡散モデル (安定拡散など) を制御し、それによってキャラクターのポーズ、深さ、生成された画像の画面や構造、その他の情報。

ここでの追加条件は画像の形式で入力され、モデルはこれに基づいてキャニーエッジ検出、深度検出、セマンティックセグメンテーション、ハフ変換ライン検出、および全体のネスティングを実行できます。入力画像、エッジ検出 (HED)、人間の姿勢認識などを行い、生成された画像にこの情報を保持します。このモデルを利用することで、線画や落書きを直接フルカラー画像に変換したり、同じ奥行き構造の画像を生成したり、手のキーポイントによるキャラクターの手の生成を最適化することができます。

このモデルは AI ペイントの分野で大きな波を引き起こし、関連プロジェクトの GitHub スターの数は 10,000 を超えました。

プロジェクトリンク: https://github.com/lllyasviel/ControlNet

現在、多くの人が二次元や三次元の女性を生成するためにのみ使用していますが、住宅設計、写真、映画やテレビの制作、広告デザインなど、より幅広い用途も徐々に発見されています。 。 待って。これらのシナリオでは、ControlNet は、大規模モデルの微調整問題を処理するための LoRA、ビデオからアニメーションへの変換ツール EbSynth など、いくつかの以前のツールと併用されます。これらのツールを組み合わせて適用することで、AI ペイント モデルの生産プロセスへの統合が加速されます。

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ の画像ソース: https://creativetechnologydigest.substack.com/p/controlling-artistic-chaos-with-controlnet (完全なチュートリアルが含まれています)

##ControlNet ツールと Houdini ツールを使用して 3D モデルを生成します。画像ソース: https://www.reddit.com/r/StableDiffusion/comments/115eax6/im_working_on_api_for_the_a1111_controlnet/

Dreambooth と ControlNet を使用して 2D 画像の照明を変更し、写真やビデオのポストプロダクションに使用できます。画像ソース: https://www.reddit.com/r/StableDiffusion/comments/1175id9/when_i_say_mindblowing_i_mean_it_new_experiments/

ControlNet と EbSynth を使用して、アニメーションを実際の人物に変換します。成果はまだ芳しくないが、俳優を出演させずにアニメを実写化できる可能性を示した。画像ソース https://www.reddit.com/r/StableDiffusion/comments/117ewr9/anime_to_live_action_with_controlnet_ebsynth_not/

someone デザイナーが使用ControlNet を使用して、有名ブランドの「新しいロゴ」を生成します。画像出典: https://twitter.com/fofraAI/status/1628882166900744194

###### これらのテクノロジーの進歩は、驚きに加えて、絵画や絵画の専門家にも驚きを与えています。不安と怒りに陥る。心配なのは、AI があなたの仕事を奪うかもしれないということです。 AIによって生成された画像の多くは現在の画家の盗作や模倣であり、画家の知的財産権が侵害されていると怒っている。 ##################### 出典: https://www.zhihu.com/question/583294094######### ## ###これらの問題が未解決であるため、AI 絵画は画家の間で深刻な問題となっています。多くの人は、誰もが AI 絵画をボイコットし、共同して自分たちの権利を守るべきだと信じています。そのため、著名なアーティストが AI ペイントを使用してゲーム スタジオに貢献した疑いがあるというニュースが広まったとき、他のアーティストは完全に激怒しました。 ############ 同時に、ゲーマーも怒りを感じました。現時点では手のディテールをうまく処理できないなど、AI ペイントにはまだいくつかの制限があるため (この記事の最初の写真の女の子をよく見るとわかります)、プレイヤーの要求を満たすことができません。絶妙な視覚効果、個性と創造性を備えたキャラクターなどに、多くのプレイヤーが「だまされた」と感じました。したがって、前述のゲームスタジオは「自社製品にAIペイントを使用しない」という緊急声明を出すことしかできない。 ######

しかし、この状況はいつまで続くのでしょうか? AI の絵画のレベルが肉眼で区別するのが難しいレベルに達したとき、プレイしているゲームがアーティストによるものなのか、AI によるものなのか、あるいはその 2 つから構成される「チーム」によるものなのか、どうやってわかるのでしょうか。

出典: https://m .weibo .cn/2268335814/4870844515358190

おそらく数か月以内に、AI ペイント ツールは、プログラマーが使用する Copilot と同じくらい、画家の日常業務に不可欠なものになるでしょう。ツールはほとんどありません。もちろん、AI によって「侵略」された他の業界と同様に、この業界の基準も事実上引き上げられました。このような波の中でいかに競争力を維持していくかは、誰もが考えるべき問題かもしれない。

以上がControlNet のスター数が 10,000 を超えました! 2023年、AI絵画は大流行する？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。