バイリンガルパワーハウスEXAONE 3.5は、新しいAI標準を設定します

LG AI Researchは、Exaone 3.5を発表します。 この最新のイテレーションは、2024年12月にリリースされたAI機能とアクセシビリティの強化を誇っています。EXAONE3.5は、24億、78億、および320億パラメーターの3つの異なるモデルサイズを提供します。 英語と韓国語のバイリンガルの習熟度と、改善された指導と長期の理解と組み合わされて、多様なセクターにわたる多用途のツールとしてそれを配置しています。

キー学習ポイント

デコーダーのみのトランスモデルと拡張コンテキスト機能を含む、Exaone 3.5の背後にあるアーキテクチャとデザインの選択肢を把握します。
• そのバイリンガルの強み（英語と韓国）と多言語環境への適応性を探ります。
2段階のトレーニングプロセスを理解し、微調整が命令のフォローと長期の理解をどのように洗練するかを強調しています。
• データ除染や直接選好最適化（DPO）などの高度なトレーニング方法について学びます。
さまざまな現実世界のアプリケーション、長いコンテキスト処理、および一般的なドメインタスクでExaone 3.5のパフォーマンスを分析します。
• *この記事は、***
データサイエンスブログソンの一部です
• 目次

推論ベースのLLMS機能？ exaone 3.5モデルアーキテクチャ EXAONE 3.5

の建築革新

直接選好最適化（DPO）

の理解

データ除染プロセス
パフォーマンスベンチマーク
• Ollama経由でGoogle ColabでExaONE 3.5（70億パラメーターモデル）を実行する
多様なプロンプトによるモデルテスト
• 現実世界のアプリケーションの例
• 結論
• よくある質問
推論ベースのLLMS機能？
• Exaone 3.5などの推論ベースのLLMは、論理的推論、問題解決、およびパターン認識を必要とする複雑なタスクに優れています。 高度な変圧器ベースのネットワーク上に構築され、シーケンシャルデータと広範なコンテキストを効率的に処理します。 大規模なデータセットでトレーニングされ、情報内の関係を識別し、正確な応答を生成し、問題を解決し、正確に指示に従ってください。
監視された微調整（SFT）や直接選好最適化（DPO）などの手法では、単純な意思決定から複雑な意思決定まで、さまざまなアプリケーションにわたって人間のような推論機能を改良します。

• exaone 3.5モデルアーキテクチャ

  ExaONE 3.5は、シーケンシャルデータの処理効率で知られる最新のLLM設計の標準であるデコーダーのみのトランスアーキテクチャを採用しています。このアーキテクチャは、指導のフォローに最適化されており、ユーザーコマンドの効果的な理解と実行を確保しています。 3つのバリエーション（2.4b、7.8b、および32bパラメーター）にわたる主要な仕様は次のとおりです。

  • 最大コンテキスト長：32,768トークン
  • layers ：32
  • feedforwardの寸法：14,336
  EXAONE 3.5

  の建築革新

  Exaone 3.5には、大幅なアーキテクチャの改善が組み込まれており、拡張されたコンテキスト処理を強化し、正確なユーザーに配置された出力を確保します。これらのイノベーションは、LLMSの効率とパフォーマンス基準を再定義します

  

  拡張コンテキスト長
  • ：最大コンテキスト長（32,768トークン）を大幅に増加させると、一貫性を犠牲にすることなく、より大きなテキストを効果的に処理できます。 2段階トレーニング：
  Exaone 3.5は、2段階のトレーニングプロセスを使用しています。一般ドメイントレーニングに続いて、タスク固有の微調整が長期的理解のために微調整されます。 トレーニング前に、重複と個人を特定できる情報、パフォーマンスの向上、インフラストラクチャコストの削減を削除します。トレーニング後、SFTおよびDPOは、命令のフォローとユーザーの好みの調整を強化します。
  • 除染プロセス：厳密な除染プロセスにより、トレーニングセットから偏ったデータが排除され、公平な評価が確保されます。 これには、トレーニングデータと評価データセットの反復的な比較が含まれます。
  • 直接選好最適化（DPO）の理解 DPOは、従来の強化学習の複雑さをバイパスすることにより、LLMを微調整するための新しいアルゴリズムです。複雑な報酬モデリングを必要とするRLHFとは異なり、DPOは、ユーザーの好みに基づいてモデル応答を最適化するために、簡単な分類損失を使用してプロセスを簡素化します。これにより、安定した効率的で、計算的に軽量トレーニングが行われます。 DPOには、トリプレットを含む優先データセットが必要であることに注意してください（プロンプト、選択した回答、拒否された回答）。
  データ除染プロセス

  データ除染は、トレーニングデータセットから汚染された例を削除することにより、モデルの一般化を改善するための重要なプロセスです。 多くの場合、Webがクロールしたデータには、テストセットの例が含まれており、偏った評価につながります。 EXAONE 3.5は、サブストリングレベルのマッチング方法を使用して、これらの汚染されたサンプルを識別および除去します。

  これらのアーキテクチャの強化により、ベンチマーク全体で強力なパフォーマンスを維持しながら、EXAONE 3.5が実際のアプリケーションで優れています。

  パフォーマンスベンチマーク

  exaone 3.5モデル評価は、3つのグループに分類されます：

  • 実際のユースケース：実際のユーザークエリを理解して応答するモデルの能力を評価します。
  • ロングコンテキスト処理：拡張されたテキストから情報を処理および抽出するモデルの機能を評価します。
  一般的なドメインタスク：
  • 数学、コーディング、および知識ベースのタスクの習熟度をテストします。

  結果は、3つのカテゴリすべてにわたってExaone 3.5の強力なパフォーマンスを示しており、多くの場合、同等のモデルよりも優れています。 Ollama経由でGoogle ColabでExaONE 3.5（70億パラメーターモデル）を実行する このセクションでは、Ollamaを使用してGoogle Colabの7BパラメーターEXAONE 3.5モデルの設定とクエリの詳細。

  （手順1-4：インストール、オラマのセットアップ、モデルのダウンロード、クエリのコード例は、元のテキストで提供され、ここでは変更されていません。） 多様なプロンプトによるモデルテスト

  （「ヘイスタックのニードル」や「祖先のトレース」タスクなど、さまざまなプロンプトでモデルをテストする例は、元のテキストで提供され、ここで変更されていません。）

  現実世界のアプリケーションの例

  （カスタマーサポート、教育支援、論理的推論タスクなどの実際のアプリケーションの例は、元のテキストで提供されており、ここで変更されていません。）

  結論
  exaone 3.5は、LLMテクノロジーの大幅な跳躍を表し、多様なアプリケーションに3つのスケーラブルなモデルサイズを提供します。 その高度なアーキテクチャ、強力な指導に従って、多言語機能は、研究者と企業の両方にとって貴重なツールになります。 ベンチマーク全体での強力なパフォーマンスは、倫理的なAI開発慣行と相まって、主要なLLMとしての位置を固めます。

  （キーテイクアウェイとよくある質問セクションは、元のテキストから変更されません。）

  メモ：

  画像URLは変わらないままです。

以上がバイリンガルパワーハウスEXAONE 3.5は、新しいAI標準を設定しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。