ホームページ テクノロジー周辺機器 AI Transformer テクノロジーの原理の概要

Transformer テクノロジーの原理の概要

Jun 04, 2023 pm 05:03 PM
AI

Transformer テクノロジーの原理の概要

1. はじめに

最近、AIGC (AI-Generated Content、人工知能生成コンテンツ) が開発されました。消費者だけでなく、テクノロジーや業界からも注目を集めています。 2022 年 9 月 23 日、Sequoia America は、AIGC がパラダイム シフトの新たなラウンドの始まりを表すと信じて、「Generative AI: A Creative New World」という記事を掲載しました。 2022 年 10 月に、Stability AI は、ユーザーが入力したテキストの説明 (プロンプトと呼ばれる) に基づいて画像を自動的に生成できるオープンソース モデル Stable Diffusion、つまり Text-to-Image をリリースしました。などの画像を生成できる AIGC モデルが AI 絵画の分野に爆発的に普及し、人工知能がアート分野に浸透するきっかけとなりました。下の写真はBaiduの「Wenxin Yige」プラットフォームで制作された「未来のメカ」をテーマにした作品です。


Transformer テクノロジーの原理の概要

# 図 1 Baidu の「Wenxin Yige」プラットフォーム Painting によって作成された AI

AIGC 分野の急速な発展は、ディープ ニューラル ネットワークの進歩と切り離すことができません。具体的には、Transform モデルの出現により、ニューラル ネットワークにより強力なグローバル コンピューティング機能が与えられ、ネットワーク トレーニング時間が短縮され、ネットワーク モデルのパフォーマンスが向上します。比較的良好にパフォーマンスを発揮する現在の AIGC ドメイン モデルには、基礎となる技術アーキテクチャにアテンション テクノロジーとトランスフォーム テクノロジーが含まれています。

#2. 開発の歴史

2.1 ディープ ニューラル ネットワークディープニューラルネットワークに代表される情報技術の発展は、人工知能分野の進歩と拡大を促進してきました。 2006 年にヒントンらは、単層 RBM 自動エンコーディング事前トレーニングを使用してディープ ニューラル ネットワーク トレーニングを実現し、2012 年にはヒントンとアレックス クリジェフスキーによって設計された AlexNet ニューラル ネットワーク モデルが ImageNet コンペティションで画像認識と分類を達成し、新しいモデルになりました。人工知能開発の出発点。現在普及しているディープ ニューラル ネットワークは、生物学的ニューラル ネットワークによって提案された概念に基づいてモデル化されています。生物学的ニューラル ネットワークでは、生物学的ニューロンが受信した情報を層ごとに送信し、複数のニューロンからの情報が集約されて最終結果が得られます。生物学的なニューラル ユニットと同様に設計された論理ニューラル ユニットを使用して構築された数学モデルは、人工ニューラル ネットワークと呼ばれます。人工ニューラル ネットワークでは、論理ニューラル ユニットを使用して、入力データと出力データの間の隠された関係を探索します。データ量が少ないときは、浅いニューラル ネットワークで一部のタスクの要件を満たすことができます。しかし、データの規模が増大し続けるにつれて、増加、拡張するディープ ニューラル ネットワークは、独自の利点を示し始めます。

2.2 アテンション メカニズムアテンション メカニズム (アテンション メカニズム) は、2014 年に Bengio チームによって提案され、広く深く使用されています。画像上の受容野を捉えるコンピュータビジョンや、重要なトークンや特徴を見つけるためのNLPなど、学習のさまざまな分野に応用されています。多数の実験により、アテンション メカニズムを備えたモデルにより、画像の分類、セグメンテーション、追跡、強調、自然言語の認識、理解、質問応答、翻訳において大幅な改善が達成されたことが証明されています。

注意メカニズムは、視覚的注意メカニズムをモデルにしています。視覚的注意のメカニズムは人間の脳の生来の能力です。写真を見るとき、私たちはまず写真を素早くスキャンし、次に焦点を合わせる必要があるターゲット領域に焦点を合わせます。たとえば、次の写真を見ると、赤ちゃんの顔、記事のタイトル、記事の最初の文に注意が集中しやすくなります。想像してみてください。地域の情報をすべて手放さなければ、大量のエネルギーが消費され、人類の生存と進化には役立たないでしょう。同様に、同様のメカニズムを深層学習ネットワークに導入すると、モデルが簡素化され、計算が高速化されます。基本的に理解されるように、「注意」とは、大量の情報から少量の重要な情報をフィルタリングし、重要でない情報の大部分を無視しながら、この重要な情報に焦点を当てることです。


Transformer テクノロジーの原理の概要

図 2 人間の注意メカニズムの概略図

#3. 技術的な詳細

##

インテリジェントな Transformer モデルは、従来の CNN および RNN ユニットを放棄し、ネットワーク構造全体が完全にアテンション メカニズムで構成されています。この章では、まず Transformer モデルの全体的なプロセスを紹介し、次に、関連する位置エンコーディング情報と Self-Attendance 計算について詳しく紹介します。

3.1 プロセスの概要


Transformer テクノロジーの原理の概要

##図 3 アテンション メカニズムのフローチャート

上図に示すように、Transformer は Encoder モジュールと Decoder モジュールの 2 つの部分で構成されます。 Nブロックです。翻訳タスクを例に取ると、Transformer のワークフローは大まかに次のようになります:

ステップ 1: 入力文の各単語の表現ベクトル X を取得します (X は単語自体の Embedding を追加することで得られます)そして単語の位置の埋め込み。

ステップ 2: 取得した単語表現ベクトル行列を Encoder モジュールに渡します。Encoder モジュールは、Attender メソッドを使用して入力データを計算します。 N 個の Encoder モジュールを使用すると、文中のすべての単語のエンコード情報行列が取得でき、各 Encoder モジュールが出力する行列の次元は入力とまったく同じになります。

ステップ 3: Encoder モジュールによって出力されたエンコード情報行列を Decoder モジュールに渡すと、Decoder は現在翻訳されている単語 i に基づいて次の単語 i 1 を翻訳します。 Encoder 構造と同様に、Decoder 構造も計算にアテンション メソッドを使用します。使用中、単語 i 1 に変換するとき、i 1 以降の単語はマスク操作でカバーされる必要があります。

3.2 自己注意の計算

Transform モデルの中核は注意の計算であり、これは次の式で表現できます。

Transformer テクノロジーの原理の概要

このうち、Q、K、V はそれぞれクエリ、キー、値を表します。これら 3 つの概念は情報検索システムから取得したものです。検索例です。電子商取引プラットフォームで商品を検索する場合、検索エンジンに入力した内容はクエリであり、検索エンジンはクエリに基づいてキーを照合します (タイプ、色、説明など)。 ) を取得し、Query と Key の類似度に基づいて一致する内容 (Value) を取得します。

self-attention の Q、K、V も同様の役割を果たします。行列計算では、内積は 2 つの行列の類似性を計算する方法の 1 つであるため、Q 行列は上式 K行列の転置を乗じて類似度を計算します。内積が大きくなりすぎないようにするには、内積を d の平方根で割る必要があり、最後にソフトマックス活性化関数が結果に適用されます。

3.3 位置エンコーディング 単語自体の埋め込みに加えて、Transformer は位置を表すために位置埋め込みも使用する必要があります。単語が文中に現れる場所。 Transformer は RNN の構造を使用せず、グローバル情報を使用するため、単語の順序情報を使用できません。この部分の情報は NLP や CV にとって非常に重要です。したがって、Transformer では位置埋め込みを使用して、シーケンス内の単語の相対位置または絶対位置を保存します。

Position Embedding は PE で表され、PE の次元は単語 Embedding と同じです。 PEはトレーニングを通じて取得することも、特定の計算式を使用して計算することもできます。後者は Transformer で使用され、計算式は次のとおりです。

Transformer テクノロジーの原理の概要

#ここで、pos は文中の単語の位置、d を表します。は PE の次元を表し、そのサイズは単語自体の埋め込みと同じです。2i は偶数の次元を表し、2i 1 は奇数の次元を表します。

4. 概要

Transformer の焦点は Self-Attend 構造です。多次元の Attend 構造により、ネットワークは単語間の隠された関係を多次元で捉えることができます。ただし、Transformer 自体は単語の順序情報を使用することができません。 Position Embedding は単語の位置情報を保存するために使用されます。リカレント ニューラル ネットワークと比較して、Transformer ネットワークはより適切に並列トレーニングできます。畳み込みニューラル ネットワークと比較して、2 つの位置間の関連性を計算するために Transformer ネットワークが必要とする操作の数は、距離に応じて増加せず、中断される可能性があります。畳み込みニューラル ネットワークを介して計算される距離は、受容野のサイズに制限されます。同時に、Transformer ネットワークはより解釈しやすいモデルを生成できます。モデルから注意の分布を調べることができ、各注意のヘッドが異なるタスクの実行方法を学習できます。

以上がTransformer テクノロジーの原理の概要の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Jun 28, 2024 am 03:51 AM

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Jun 10, 2024 am 11:08 AM

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

GenAI および LLM の技術面接に関する 7 つのクールな質問 GenAI および LLM の技術面接に関する 7 つのクールな質問 Jun 07, 2024 am 10:06 AM

AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を参照してください。これらの質問は、インターネット上のどこでも見られる従来の質問バンクとは異なります。既成概念にとらわれずに考える必要があります。大規模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業界で効率とイノベーションを推進し、企業が競争力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音声認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから学習することでテキストを生成できます。

微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります 微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります Jun 11, 2024 pm 03:57 PM

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 Jul 25, 2024 am 06:42 AM

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 Jul 17, 2024 pm 06:37 PM

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性​​を実証しています。 「S」で始まる関連研究

あなたが知らない機械学習の 5 つの流派 あなたが知らない機械学習の 5 つの流派 Jun 05, 2024 pm 08:51 PM

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

VSCode フロントエンド開発の新時代: 強く推奨される 12 の AI コード アシスタント VSCode フロントエンド開発の新時代: 強く推奨される 12 の AI コード アシスタント Jun 11, 2024 pm 07:47 PM

フロントエンド開発の世界では、VSCode はその強力な機能と豊富なプラグイン エコシステムにより、数多くの開発者に選ばれるツールとなっています。近年、人工知能技術の急速な発展に伴い、VSCode 上の AI コード アシスタントが登場し、開発者のコ​​ーディング効率が大幅に向上しました。 VSCode 上の AI コード アシスタントは雨後のキノコのように出現し、開発者のコ​​ーディング効率を大幅に向上させました。人工知能テクノロジーを使用してコードをインテリジェントに分析し、正確なコード補完、自動エラー修正、文法チェックなどの機能を提供することで、コーディング プロセス中の開発者のエラーや退屈な手作業を大幅に削減します。今日は、プログラミングの旅に役立つ 12 個の VSCode フロントエンド開発 AI コード アシスタントをお勧めします。

See all articles