大規模な言語モデルの幻覚を軽減する方法
LLM 幻覚とは、大規模言語モデル (LLM) が実際のパターンやオブジェクトに準拠しない無意味または不正確な出力を生成する現象です。これらの誤った AI 出力は、次のようなさまざまな要因から生じます。
過学習: LLM はトレーニング データのノイズとバイアスをパターンとして学習し、テスト データに対するモデルのパフォーマンスが低下し、誤った出力が生成されます。 。
モデルの複雑性が高い: LLM はモデルの複雑性が高いため、存在しない相関関係を認識して、錯覚を引き起こす可能性があります。
生成 AI システムを開発している大手企業は、AI 幻覚の問題に対処するための措置を講じていますが、一部の専門家は、誤った出力を完全に排除することは不可能である可能性があると考えています。
Google はモデルをインターネットに接続して、データとネットワーク情報からの地上応答をトレーニングすることで、過剰学習を削減します。
OpenAI は人間によるフィードバックと強化学習を使用して、ChatGPT の出力を改良します。彼らは、最終的な答えだけでなく、正しい推論ステップに対してモデルに報酬を与える「プロセス監視」を提案しています。これにより説明可能性は向上しますが、捏造に対する有効性を疑問視する人もいます。
AI 幻覚のリスクにもかかわらず、企業とユーザーは潜在的な害を相殺し、制限するための措置を講じることができます。これを解決する方法をいくつか紹介します。
高品質のトレーニング データを使用する
高品質のトレーニング データを使用することが、人工知能による幻覚を軽減する鍵となります。高品質のトレーニング データは、多様性があり、バランスが取れており、適切に構造化されており、現実世界の状況を反映している必要があります。
明確な使用目的
AI システムの特定の目的と許可された用途を明確に定義すると、AI システムを幻覚コンテンツから遠ざけることができます。開発者とユーザーは、人工知能モデルの機能と用途を明確に理解し、使用する際にはそれらを厳密に遵守する必要があります。
データ テンプレートを使用して人工知能の出力をガイドする
構造化データ テンプレートを使用すると、人工知能モデルが予想されるパターンに準拠した出力を生成するのに役立ちます。これらのテンプレートは、モデルへのデータ入力に一貫した形式を提供し、モデルの推論の範囲を制限します。
リミットリアクション
潜在的なモデル出力に制約と制限を設定すると、制御されない推測を減らすことができます。たとえば、明確な確率しきい値を定義し、フィルタリング ツールを使用して、期待を満たさない応答を除外できます。
システムの継続的なテストと改善
包括的なテストと継続的な監視を通じて、人工知能システムのパフォーマンスを継続的に改善できます。出力を評価すると、調整が必要な領域を特定でき、新しいデータを使用してモデルを再トレーニングし、その知識を更新できます。
人間の監視に依存する
人間の監視を含めることで、重要な保護を実現できます。人間の専門家が出力をレビューすると、状況に応じた判断を通じて、幻想的なコンテンツを捉えて修正できます。
アイデア プロンプト チェーン
アイデア プロンプト チェーンは、論理的思考チェーンを提供することで、人工知能モデルが複数ステップの推論を実行できるようにするテクノロジーです。このアプローチにより、数学などのタスクにおける人工知能モデルのパフォーマンスを向上させることができます。
タスクの分解とエージェンシー
タスクの分解とエージェンシーは、複雑なタスクを複数のサブタスクに分解することにより、人工知能モデルのパフォーマンスを向上させる方法です。この方法では、さまざまな人工知能モデルの利点を活用し、人工知能モデルの推論能力を向上させることができます。
人工知能 錯覚は人工知能の開発における課題ですが、効果的な対策を講じることで、そのリスクを効果的に軽減できます。
以上が大規模な言語モデルの幻覚を軽減する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









大規模な言語モデルのアーキテクチャに注目している場合は、最新のモデルや研究論文で「SwiGLU」という用語を見たことがあるかもしれません。 SwiGLUは大規模言語モデルで最もよく使われるアクティベーション関数と言えますので、この記事で詳しく紹介します。実はSwiGLUとは、2020年にGoogleが提案したSWISHとGLUの特徴を組み合わせたアクティベーション関数です。 SwiGLU の正式な中国語名は「双方向ゲート線形ユニット」で、SWISH と GLU の 2 つの活性化関数を最適化して組み合わせ、モデルの非線形表現能力を向上させます。 SWISH は大規模な言語モデルで広く使用されている非常に一般的なアクティベーション関数ですが、GLU は自然言語処理タスクで優れたパフォーマンスを示しています。

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

オープンソースの大規模言語モデルのパフォーマンスが向上し続けるにつれて、コードの作成と分析、推奨事項、テキストの要約、および質問と回答 (QA) ペアのパフォーマンスがすべて向上しました。しかし、QA に関しては、LLM はトレーニングされていないデータに関連する問題に対応していないことが多く、多くの内部文書はコンプライアンス、企業秘密、またはプライバシーを確保するために社内に保管されています。これらの文書がクエリされると、LLM は幻覚を起こし、無関係なコンテンツ、捏造されたコンテンツ、または矛盾したコンテンツを生成する可能性があります。この課題に対処するために考えられる手法の 1 つは、検索拡張生成 (RAG) です。これには、生成の品質と精度を向上させるために、トレーニング データ ソースを超えた信頼できるナレッジ ベースを参照して応答を強化するプロセスが含まれます。 RAG システムには、コーパスから関連する文書断片を取得するための検索システムが含まれています。

2024 年は、大規模言語モデル (LLM) が急速に開発される年です。 LLM のトレーニングでは、教師あり微調整 (SFT) や人間の好みに依存する人間のフィードバックによる強化学習 (RLHF) などのアライメント手法が重要な技術手段です。これらの方法は LLM の開発において重要な役割を果たしてきましたが、位置合わせ方法には手動で注釈を付けた大量のデータが必要です。この課題に直面して、微調整は活発な研究分野となっており、研究者は人間のデータを効果的に活用できる方法の開発に積極的に取り組んでいます。したがって、位置合わせ方法の開発は、LLM 技術のさらなる進歩を促進するでしょう。カリフォルニア大学は最近、SPIN (SelfPlayfInetuNing) と呼ばれる新しいテクノロジーを導入する研究を実施しました。 S

幻覚は、大規模言語モデル (LLM) を扱う場合によくある問題です。 LLM は滑らかで一貫性のあるテキストを生成できますが、生成される情報は不正確または一貫性がないことがよくあります。 LLM の幻覚を防ぐために、データベースやナレッジ グラフなどの外部知識ソースを使用して事実情報を提供できます。このようにして、LLM はこれらの信頼できるデータ ソースに依存できるため、より正確で信頼性の高いテキスト コンテンツが得られます。ベクトル データベースとナレッジ グラフ ベクトル データベース ベクトル データベースは、エンティティまたは概念を表す高次元ベクトルのセットです。これらは、ベクトル表現を通じて計算された、異なるエンティティまたは概念間の類似性または相関関係を測定するために使用できます。ベクトル データベースは、ベクトル距離に基づいて、「パリ」と「フランス」の方が「パリ」よりも近いことを示します。

言語モデルが前例のない規模に拡大するにつれて、下流タスクの包括的な微調整には法外なコストがかかります。この問題を解決するために、研究者はPEFT法に注目し、採用し始めました。 PEFT 手法の主なアイデアは、微調整の範囲を少数のパラメータ セットに制限して、自然言語理解タスクで最先端のパフォーマンスを達成しながら計算コストを削減することです。このようにして、研究者は高いパフォーマンスを維持しながらコンピューティング リソースを節約でき、自然言語処理の分野に新たな研究のホットスポットをもたらします。 RoSA は、一連のベンチマークでの実験を通じて、同じパラメーター バジェットを使用した以前の低ランク適応 (LoRA) および純粋なスパース微調整手法よりも優れたパフォーマンスを発揮することが判明した新しい PEFT 手法です。この記事ではさらに詳しく説明します

グループ化クエリ アテンション (GroupedQueryAttendant) は、大規模言語モデルにおけるマルチクエリ アテンション メソッドであり、その目標は、MQA の速度を維持しながら MHA の品質を達成することです。 GroupedQueryAttendant はクエリをグループ化し、各グループ内のクエリは同じアテンションの重みを共有するため、計算の複雑さが軽減され、推論速度が向上します。この記事では、GQAの考え方とそれをコードに変換する方法について説明します。 GQA は論文「GQA:TrainingGeneralizedMulti-QueryTransformerModelsfromMulti-HeadCheckpoint」に掲載されています

大規模言語モデル (LLM) の出現により、複数の分野でイノベーションが刺激されました。しかし、思考連鎖 (CoT) プロンプトや文脈学習 (ICL) などの戦略によってプロンプトの複雑さが増大し、計算上の課題が生じています。このような長いプロンプトには推論に多くのリソースが必要なため、効率的な解決策が必要です。この記事では、効率的な推論を実行するための LLMLingua と独自の LlamaIndex の統合について紹介します。LLMLingua は、EMNLP2023 でマイクロソフトの研究者によって発表された論文です。LongLLMLingua は、高速圧縮を通じて、長いコンテキストのシナリオで重要な情報を認識する llm の能力を強化する方法です。 LLMLingua と llamindex
