AI はより速く、より美しく、あなたの考えをよりよく理解します。高美の Vincent 絵画モデルが培ってきた技術の秘密とは何ですか?

대형 모델이 출시되고 가속 버튼을 누르면서 빈첸시오 다이어그램은 의심할 여지 없이 가장 뜨거운 적용 방향 중 하나입니다.

Stable Diffusion이 탄생한 이후 국내외에 Wen Shengtu의 대형 모델이 끝없이 쏟아져 나와 한동안 "신들 사이의 싸움"처럼 느껴졌습니다. 불과 몇 달 사이에 '최강 AI 아티스트'라는 타이틀이 여러 번 바뀌었습니다. 모든 기술 반복은 AI 이미지 생성 품질과 속도의 상한선을 계속해서 확장하고 있습니다.

이제 몇 단어만 입력하면 원하는 사진을 얻을 수 있습니다. 전문가 수준의 광고 포스터든 초현실적인 사진이든 AI 매핑의 충실도는 우리를 놀라게 했습니다. 심지어 AI도 2023년 소니 월드 사진상을 수상했습니다. 대상이 발표되기 전, 이 '사진'은 런던 서머셋 하우스에 전시된 적이 있었다. 만약 작가가 이를 공개적으로 공개하지 않는다면, 그 사진이 실제로 AI가 만든 사진인지 누구도 알 수 없을 것이다. E Eldagse와 그의 AI 세대 작품 "Electrician"

AI가 그린 그림을 더 아름답게 만드는 방법은 AI 기술자의 인내와 불가분의 관계입니다.

"AIGC Experience School" 제6호에서는 Doubao Vincent Chart 기술 전문가 Li Liang과 NVIDIA 솔루션 설계자 Zhao Yijia를 초청하여 Vincent Chart 모델이 더 아름답고, 더 빠르고, 사용자의 의도를 더 잘 이해합니다.

라이브 방송이 시작되었습니다. Li Liang은 먼저 최근 국내 대형 모델 "최상급"인 ByteDance Doubao 대형 모델의 Vincent 다이어그램 모델의 기술 업그레이드를 자세히 분석했습니다.

Li Liang은 Doubao 팀이 해결하고 싶은 문제는 주로 세 가지 측면을 포함한다고 말했습니다. 첫째, 사용자의 아이디어 디자인에 맞게 보다 강력한 이미지와 텍스트 매칭을 달성하는 방법, 둘째, 보다 궁극적인 제공을 위해 보다 아름다운 이미지를 생성하는 방법; 세 번째는 초대형 서비스 요청에 맞게 사진을 더 빠르게 생성하는 방법입니다. 이미지와 텍스트 매칭 측면에서 Doubao 팀은 데이터로 시작하여 방대한 이미지와 텍스트 데이터를 정제하고 필터링한 후 마침내 수천억 개의 고품질 이미지를 데이터베이스에 저장했습니다. 또한 팀은 요약 작업을 위해 다중 모드 대형 언어 모델도 특별히 훈련했습니다. 이 모델은 사진 속 이미지의 물리적 관계를 보다 포괄적이고 객관적으로 설명합니다.

고품질, 고해상도의 이미지와 텍스트 데이터를 확보한 후, 모델의 강점을 더욱 잘 활용하려면 텍스트 이해 모듈의 능력을 향상시켜야 합니다. 팀은 네이티브 이중 언어 대형 언어 모델을 텍스트 인코더로 사용하여 모델의 중국어 이해 능력을 크게 향상시켰습니다. 따라서 "당나라" 및 "등불 축제"와 같은 국가적 요소에 직면하여 Doubao 및 Vincent 다이어그램 모델을 사용했습니다. 또한 더 깊은 이해를 보여줍니다.

Diffsuion 모델 아키텍처의 경우 Doubao 팀은 UNet을 사용하여 매개변수 수를 늘림으로써 이미지-텍스트 쌍에 대한 이해도를 더욱 향상시켰습니다. - 충실도 생성 능력.

사용자가 직관적으로 느끼는 가장 확실한 미적 스타일을 고려하여 Doubao 팀은 전문적인 미적 지침을 도입했으며 항상 사용자와 대중의 미적 선호도에 관심을 기울입니다. 동시에 팀은 데이터 및 모델 아키텍처에도 열심히 노력했습니다. 사용자가 얻는 이미지와 데모 디스플레이 간의 비교는 실제로 "구매자 쇼" 및 "판매자 쇼"와 같습니다. 실제로 제공된 프롬프트는 모델에 대해 충분히 자세하고 명확하지 않으며 Doubao Vincent 다이어그램입니다. 모델은 "Rephraser"를 도입하고 사용자의 원래 의도를 따르면서 프롬프트 단어에 보다 자세한 설명을 추가하여 모든 사용자가 보다 완벽한 생성 효과를 경험하게 됩니다.

모델의 사진 제작 속도를 높이고 사진당 비용을 줄이기 위해 Doubao 팀에서는 모델의 증류 방식에 대한 새로운 문제 해결 아이디어도 제시했는데, 대표적인 결과가 바로 참신한 확산 방식인 Hyber-SD입니다. 노이즈 제거 단계 수를 압축하면서 거의 무손실 성능을 유지하는 모델 증류 프레임워크입니다.

次に、NVIDIA ソリューション アーキテクトの Zhao Yijia 氏は、基盤となるテクノロジーから始めて、Vincent Graph の 2 つの最も主流な Unet ベースの SD および DIT モデル アーキテクチャとそれらの対応する特性について説明し、NVIDIA の Tensorrt、Tensorrt、LLM などの How ツールを紹介しました。 、Triton、および Nemo Megatron は、モデルの展開をサポートし、大規模なモデルの推論をより効率的に行うのに役立ちます。

Zhao Yijia 氏はまず、安定拡散の背後にあるモデルの原理を詳細に説明し、Clip、VAE、Unet などの主要コンポーネントの動作原理について詳しく説明しました。 Sora が人気になるにつれて、その背後にある DiT (Diffusion Transformer) アーキテクチャも人気になりました。 Zhao Yijia 氏はさらに、モデル構造、特性、コンピューティング消費電力という 3 つの側面から SD と DiT の利点を包括的に比較しました。

安定拡散を使用して画像を生成すると、プロンプトの言葉の内容が生成された結果に表示されているように感じることがよくありますが、これはテキストレンダリングに基づく安定拡散が機能していないためです。構図、動き、顔の特徴、空間的関係など、画像の詳細を制御するのが得意です。したがって、安定拡散の動作原理に基づいて、研究者は安定拡散の欠点を補うために多くの制御モジュールを設計しました。 Zhao Yijia 氏は、代表的な IP アダプターと ControlNet を追加しました。

計算量の多いヴィンセント グラフ モデルの推論速度を高速化したい場合、NVIDIA のテクニカル サポートが重要な役割を果たします。 Zhao Yijia 氏は、Nvidia TensorRT および TensorRT-LLM ツールを紹介しました。これらのツールは、高性能畳み込み、効率的なスケジューリング、および分散展開テクノロジを通じて画像およびテキスト生成モデルの推論プロセスを最適化します。同時に、NVIDIA の Ada、Hopper、および次期 BlackWell ハードウェア アーキテクチャはすでに FP8 トレーニングと推論をサポートしており、モデル トレーニングによりスムーズなエクスペリエンスをもたらします。

6回にわたる素晴らしいライブ配信を経て、Volcano Engine、NVIDIA、当サイト、CMO CLUBが共同で立ち上げた「AIGC Experience Party」は無事終了しました。この6回のエピソードを通して、AIGCが「面白い」から「役に立つ」へと変化していく様子について、皆さんもより深く理解できたと思います。また、「AIGCエクスペリエンススクール」がプログラムの議論にとどまらず、実際のマーケティング分野におけるインテリジェントなアップグレードのプロセスを加速することを期待しています。

「AIGC Experience School」全6号のレビューアドレス: https://vtizr.xetlk.com/s/7CjTy

以上がAI はより速く、より美しく、あなたの考えをよりよく理解します。高美の Vincent 絵画モデルが培ってきた技術の秘密とは何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。