人間の脳を例に挙げると、忘れることを学習すると大規模な AI モデルがより良くなるでしょうか?
最近、コンピューター科学者のチームは、既知の情報を定期的に忘れる機能を備えた、既存の大規模言語モデルにはない、より柔軟で回復力のある機械学習モデルを開発しました。
実際のテストでは、多くの場合、「忘却法」がトレーニングにおいて非常に効率的であり、忘却モデルのパフォーマンスが向上することが示されています。韓国基礎科学研究所の AI エンジニアである Jea Kwon 氏は、この新しい研究は AI 分野における重要な進歩を表すと述べた。
「忘却法」の学習効率は非常に高い
現在主流のAI言語エンジンのほとんどは人工ニューラルネットワーク技術を使用しています。このネットワーク構造を構成する各「ニューロン」は、実は数学関数であり、複数層のニューロンの複雑な演算により相互に接続され、情報の送受信、データ処理や学習を実現しています。このニューラル ネットワークのシミュレーション手法により、AI は人間の脳の働き方をシミュレートし、人間のような知的行動を実現できます。
最初は、情報の流れはほぼランダムですが、ネットワークがトレーニング データと一致し続けるにつれて、ニューロン間を流れる情報は最適化され続けます。たとえば、研究者が二か国語翻訳モデルをトレーニングしたい場合、まず大量の二か国語テキストを収集し、そのテキストを使用してモデルをトレーニングし、ニューロン間の接続を調整して、ある言語のテキストを別の言語の同等のテキストと比較します。言語: 効果的な単語を接続します。
上記のトレーニングには大量のコンピューティング リソースが必要です。モデルのパフォーマンスが悪かったり、ユーザーのニーズが変化したりすると、モデルがニーズを満たせなくなる可能性があります。
研究者 Mikel Artetxe は次のように指摘しました。「100 の言語を含むモデルがあるとしますが、1 つの言語が含まれていないとします。この言語をモデルに追加したい場合は、再トレーニングする必要があります。」
数年前、Artetxe と彼の同僚は、言語に関するニューラル ネットワークをトレーニングし、ニューラル ネットワークに知られている「トークン」と呼ばれる単語構成情報を消去しました。トークンは、「埋め込み層」とも呼ばれるニューラル ネットワークの最初の層に保存されます。他のレイヤーについては無視してください。第一言語のトークンを消去し、第二言語でトレーニングした後、第二言語の新しいトークンを埋め込み層に埋め込むことができます。
モデルには大量の不一致情報が含まれていますが、それでも第 2 言語で再トレーニングすることができます。つまり、モデルは第 2 言語を学習して処理できます。研究者らは、埋め込み層には第 2 言語の語彙固有の情報が保存されているが、ニューラル ネットワークには、人間の言語の舞台裏の概念に関わる抽象的な情報が下位レベルで保存されていると考えられています。第二言語を学びます。
研究レポートの著者であるチェン・イーホン氏は、「私たちは同じ世界に住んでおり、同じ概念を表現するために異なる言語の言葉を使用しています。したがって、同じレベルの推論が存在することになります。」 「モデル、リンゴなど、甘いです。おいしいです。それは単なる単語以上のものを表します。」
「忘却法」を使用して、トレーニング済みモデルに新しい言語を追加するのは非常に効率的です。まだ再トレーニングが必要であり、依然として大量のデータ、データと強力な処理能力が必要です。もっと良い方法はありますか?もちろん、トレーニングする必要はありません。埋め込み層を消去してから再度トレーニングするだけです。つまり、最初のトレーニング中に埋め込み層を定期的にリセットします。
Artetxe 氏は次のように述べています:「このようにして、モデル全体がリセットに適応できます。モデルを拡張して別の言語に適応させたい場合、プロセスがより簡単になります。」
忘却モデルのパフォーマンスが向上
研究者らは、定期的な忘却手法を使用してトレーニングされた比較的一般的な大規模言語モデルである Roberta を実験し、標準的な非忘却手法を使用してトレーニングされたモデルと比較しました。その結果、最初の言語を処理する場合、忘却モデルのスコアは 85.1 点、従来の標準モデルのスコアは 86.1 点でした。わずか約 500 万トークン (第一言語では 700 億が使用されました) のみを使用して第 2 言語でトレーニングした場合、忘却モデルの精度スコアは 62.7 ポイントに低下し、標準モデルは 53.3 ポイントに低下しました。
研究者が再トレーニング時に計算上の制約を課した場合、忘れっぽいモデルのパフォーマンスは向上します。たとえば、研究者らがトレーニングの長さを 125,000 ステップから 5,000 ステップに短縮した場合、非学習モデルの平均スコアは約 57.8 ポイントで、標準モデルは 37.2 ポイントに低下しましたが、これはほぼ推測にすぎません。
したがって、研究者らは、言語を学習する際には忘却モデルの方が優れたパフォーマンスを発揮すると結論づけました。
ケベック州の深層学習研究センター Mila の研究者である Evgenii Nikishin 氏は、「モデルはトレーニング中に常に学習を解除してから再学習するため、後でネットワークに何か新しいことを教える方が簡単になるでしょう。」と述べています。このモデルは、言語を理解する際に、個々の単語の意味を理解するだけでなく、より深いレベルに目を向けることになります。
忘却の方法は人間の脳の動作モードに似ています。サンフランシスコ大学の神経科学者ベンジャミン・レヴィ氏は、「人間の記憶は、詳細な情報を大量に保存する場合、非常に不正確になります。しかし、人間の脳は経験の重要なポイントを記憶し、抽象的な情報を記憶し、推論するのが得意です。」と考えています。 「忘れる能力を持たせるなど、AI に人間と同じように情報を処理させれば、AI はより柔軟になるかもしれません。」
Yihong Chen 氏は、言語モデルを製造する工場が将来現れるかもしれないと信じています。そのような工場には忘却技術が必要です。すぐに適応できるベーシックモデルです 新しいフィールド。 (ナイフ)
以上が人間の脳を例に挙げると、忘れることを学習すると大規模な AI モデルがより良くなるでしょうか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を参照してください。これらの質問は、インターネット上のどこでも見られる従来の質問バンクとは異なります。既成概念にとらわれずに考える必要があります。大規模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業界で効率とイノベーションを推進し、企業が競争力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音声認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから学習することでテキストを生成できます。

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性を実証しています。 「S」で始まる関連研究

7月5日のこのウェブサイトのニュースによると、グローバルファウンドリーズは今年7月1日にプレスリリースを発行し、自動車とインターネットでの市場シェア拡大を目指してタゴール・テクノロジーのパワー窒化ガリウム(GaN)技術と知的財産ポートフォリオを買収したことを発表した。モノと人工知能データセンターのアプリケーション分野で、より高い効率とより優れたパフォーマンスを探求します。生成 AI などのテクノロジーがデジタル世界で発展を続ける中、窒化ガリウム (GaN) は、特にデータセンターにおいて、持続可能で効率的な電力管理のための重要なソリューションとなっています。このウェブサイトは、この買収中にタゴール・テクノロジーのエンジニアリングチームがGLOBALFOUNDRIESに加わり、窒化ガリウム技術をさらに開発するという公式発表を引用した。 G
