AltDiffusion-m18、多言語テキストと画像を生成するための多用途ツール
現在、英語以外のテキストおよび画像生成モデルの選択は限られており、多くの場合、ユーザーはモデルを入力する前にプロンプトを英語に翻訳する必要があります。これにより、追加の操作負担が発生するだけでなく、翻訳プロセスにおける言語や文化上の誤りが、生成される画像の精度に影響を及ぼします。
Zhiyuan Research Institute の FlagAI チームは、多言語事前トレーニング モデルと安定拡散を組み合わせて多言語テキストおよび画像生成モデルをトレーニングする、効率的なトレーニング方法の先駆者 - AltDiffusion- m18、18 種類の言語テキストと画像の生成をサポートします。
中国語、英語、日本語、タイ語、韓国語、ヒンディー語、ウクライナ語、アラビア語、トルコ語、ベトナム語、ポーランド語、オランダ語、ポルトガル語、イタリア語、スペイン語、ドイツ語、フランス語、ロシア語が含まれます。
Huggingface：https://huggingface.co/BAAI/AltDiffusion-m18
GitHub：https://github.com/FlagAI-Open/FlagAI/blob/master/examples/AltDiffusion -m18
AltDiffusion-m18 は、英語での FID、IS、および CLIP スコアの客観的評価において安定した拡散 95 ～ 99% の効果を達成し、中国語と日本語で最適なレベルに達し、残りの 15 カテゴリーを満たしました言語テキストと画像生成モデルのギャップにより、多言語テキストと画像生成に対する業界の強い需要が大きく満たされました。この研究に関してアドバイスをくださった安定拡散研究チームに特に感謝します。
また、AltDiffusion-m18関連の革新的技術レポート「AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities」がFindings of ACL 2023に受理されました。
技術ハイライト
1 新しい AltCLIP、多言語 T2I モデルの効率的かつ低コストの構築
AltDiffusion をリリース昨年の -m9 では、Stable Diffusion v1.4 に基づいて、Zhiyuan チームは革新的に言語タワーを多言語タワー AltCLIP に置き換え、9 言語の多言語データを微調整に使用して、元の Stable Diffusion を拡張しました。英語のみをサポートし、9 か国語をサポートします。
AltCLIP: https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltCLIP-m18
AltDiffusion-m18 は以下に基づいています安定した Diffusion v2.1 トレーニング。 Stable Diffusion v2.1 の新しい言語タワーは、OpenCLIP の反転された第 2 層です。したがって、新しい AltCLIP は、OpenCLIP の反転された第 2 層を再学習のターゲットとして使用し、m9 に基づいて、CrossAttend 層 K のみを使用します。 Unet の V 行列. 微調整は、以下の図に示すように、2 段階のトレーニング方法に拡張されます:
- 第 1 段階: 実験中の早い段階m9 では、K 行列と V 行列を微調整することが判明しました。学ぶべき主なことはテキストと画像の概念的な位置合わせであるため、m18 トレーニングの最初の段階では引き続き 18 言語のデータを使用して微調整します。 K 行列と V 行列。さらに、実験により、画像の解像度を 512*512 から 256*256 に下げても、画像の意味情報が失われないことが証明されています。したがって、テキストと画像の概念の位置合わせを学習する最初の段階では、256*256 の解像度がトレーニングに使用され、トレーニングが高速化されます。
- 第 2 段階: 生成される画像の品質をさらに向上させるために、512*512 の解像度を使用して、18 言語のデータで Unet のすべてのパラメーターをトレーニングします。さらに、分類子を使用しないガイダンス推論を提供するために、テキストの 10% が無条件トレーニングのために破棄されます。
- さらに、生成品質をさらに向上させるために、分類子を使用しないガイド付きトレーニング手法が採用されています。
最新の評価結果は、AltCLIP-m18 が CLIP を上回り、中国語と英語のゼロショット (ゼロサンプル) 検索タスクにおいて最適なレベルに達していることを示しています⬇️
多言語画像分類ベンチマークでは、AltCLIP-m9 (初期バージョン、9 言語をサポート) と AltCLIP-m18 が最適レベルに達しました ⬇️
同様に、AltCLIP With のおかげでタワーを変更するという革新的なアイデアにより、AltDiffusion-m18 は、オリジナルの CLIP 上に構築されたすべての Stable Diffusion モデルおよびエコロジー ツールにシームレスに接続することもでき、Stable Diffusion WebUI、DreamBooth などの Stable Diffusion をサポートするすべてのツールを適用できます。 AltDiffusion-m18 に。簡単に始めることができ、優れたプレイアビリティを備えています。
2 優れたパフォーマンスと正確な詳細を備えた複数言語生成エフェクトが調整されています
新しい AltCLIP の恩恵により、AltDiffusion-m18 は英語の FID、IS、CLIP スコア評価で元の安定拡散効果の 95 ～ 99% を達成し、英語を含む 17 言語で最先端のパフォーマンスを達成しました。中国語と日本語 AltDiffusion-m18 のパフォーマンスを次の表に示します:
以上がAltDiffusion-m18、多言語テキストと画像を生成するための多用途ツールの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中国語版
中国語版、とても使いやすい
ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
7509
15
1378
52
78
11
19
61
世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです
May 07, 2024 pm 04:13 PM
従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です
AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね！」しました
Apr 09, 2024 am 11:52 AM
AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』（米国数学協会会報）の最新号を送ってくれた。 「機械は数学を変えるのか？」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。
MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました
Jun 01, 2024 pm 10:03 PM
今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は
こんにちは、電気アトラスです！ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか？」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです
推奨: 優れた JS オープンソースの顔検出および認識プロジェクト
Apr 03, 2024 am 11:55 AM
顔の検出および認識テクノロジーは、すでに比較的成熟しており、広く使用されているテクノロジーです。現在、最も広く使用されているインターネット アプリケーション言語は JS ですが、Web フロントエンドでの顔検出と認識の実装には、バックエンドの顔認識と比較して利点と欠点があります。利点としては、ネットワーク インタラクションの削減とリアルタイム認識により、ユーザーの待ち時間が大幅に短縮され、ユーザー エクスペリエンスが向上することが挙げられます。欠点としては、モデル サイズによって制限されるため、精度も制限されることが挙げられます。 js を使用して Web 上に顔検出を実装するにはどうすればよいですか? Web 上で顔認識を実装するには、JavaScript、HTML、CSS、WebRTC など、関連するプログラミング言語とテクノロジに精通している必要があります。同時に、関連するコンピューター ビジョンと人工知能テクノロジーを習得する必要もあります。 Web 側の設計により、次の点に注意してください。
FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム
Apr 26, 2024 am 11:37 AM
目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。
テスラのロボットは工場で働く、マスク氏：手の自由度は今年22に達する！
May 06, 2024 pm 04:13 PM
テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー（テスラの4680バッテリー）を次のように分類します：公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング：今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません
Alibaba 7B マルチモーダル文書理解の大規模モデルが新しい SOTA を獲得
Apr 02, 2024 am 11:31 AM
マルチモーダル文書理解機能のための新しい SOTA!アリババの mPLUG チームは、最新のオープンソース作品 mPLUG-DocOwl1.5 をリリースしました。これは、高解像度の画像テキスト認識、一般的な文書構造の理解、指示の遵守、外部知識の導入という 4 つの主要な課題に対処するための一連のソリューションを提案しています。さっそく、その効果を見てみましょう。複雑な構造のグラフをワンクリックで認識しMarkdown形式に変換：さまざまなスタイルのグラフが利用可能：より詳細な文字認識や位置決めも簡単に対応：文書理解の詳しい説明も可能：ご存知「文書理解」 「」は現在、大規模な言語モデルの実装にとって重要なシナリオです。市場には文書の読み取りを支援する多くの製品が存在します。その中には、主にテキスト認識に OCR システムを使用し、テキスト処理に LLM と連携する製品もあります。
