パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている
大規模な言語モデルは、トレーニングされていないことを実行できるため、ある種の魔法があるように見え、メディアや研究者からの誇大広告や注目の的となっています。
大規模な言語モデルを拡張すると、小規模なモデルでは利用できない新しい機能が現れることがあります。「創造性」に似たこの属性は「創発」機能と呼ばれ、私たちを表します。一般的な人工知能への大きな一歩を踏み出しました。
現在、Google、スタンフォード、ディープマインド、ノースカロライナ大学の研究者たちは、大規模言語モデルにおける「創発」機能を研究しています。
#デコーダーによってプロンプトが表示される DALL-E #魔法の「緊急」能力
自然言語処理 (NLP) は、大量のテキスト データでトレーニングされた言語モデルによって革命をもたらしました。言語モデルをスケールアップすると、多くの場合、さまざまなダウンストリーム NLP タスクのパフォーマンスとサンプル効率が向上します。多くの場合、小規模なモデルのパフォーマンス傾向を推定することで、大規模な言語モデルのパフォーマンスを予測できます。たとえば、言語モデルの複雑さに対するスケールの影響は、7 桁以上にわたって実証されています。
ただし、他の一部のタスクのパフォーマンスは、予想どおりには改善されませんでした。
たとえば、GPT-3 論文は、複数桁の加算を実行する言語モデルの能力が、100M から 13B パラメータまでのモデルに対して平坦なスケーリング曲線を持ち、ほぼランダムであることを示していますが、 1 つのノードでパフォーマンスが飛躍的に低下します。
Machine Learning Research (TMLR) に掲載された最近の論文「大規模言語モデルの創発力」では、研究者らは数十の拡張言語モデルによって生み出される「創発力」を実証しました。能力の。
この「緊急」機能の存在により、追加のスケーリングによって言語モデルの機能の範囲をさらに拡大できるかどうかという疑問が生じます。
# 「緊急」プロンプト タスク
最初に、プロンプト タスクに表示される可能性のある「緊急」アビリティについて説明します。このタイプのタスクでは、事前トレーニングされた言語モデルが次の単語を予測するタスクを実行するように求められ、応答を完了することでタスクを実行します。
さらに微調整を行わなくても、言語モデルはトレーニング中には見られなかったタスクを実行できることがよくあります。
#特定のスケールのしきい値で、タスクのパフォーマンスがランダムからランダムを超えるパフォーマンスに予期せず急上昇する場合、タスクを「緊急」タスクと呼びます。
以下に、「緊急」のパフォーマンスを伴うプロンプト タスクの 3 つの例を示します。それは、多段階の算術、大学レベルの試験の受験、および単語の意図された意味の特定です。
いずれの場合も、言語モデルは、特定のしきい値に達するまで、つまりパフォーマンスが急上昇するまで、モデル サイズにはほとんど依存せず、パフォーマンスが低下します。
十分な規模のモデルの場合、これらのタスクのパフォーマンスが非ランダムになるだけです。たとえば、算術およびマルチタスク NLU タスク ( FLOP の 1 秒あたりの浮動小数点演算のトレーニングなど) ) は 10 の 22 乗を超え、コンテキスト タスク内の単語のトレーニング FLOP は 10 の 24 乗を超えます。
「緊急」プロンプト戦略
「緊急」機能の 2 番目のカテゴリには、言語モデルの機能を強化するプロンプト戦略が含まれます。
プロンプト戦略は、さまざまなタスクに適用できるプロンプトの幅広いパラダイムです。これらは、小規模なモデルで障害が発生した場合に「緊急」とみなされ、十分に大きなモデルでのみ使用できます。
思考連鎖プロンプトは、「緊急」プロンプト戦略の典型的な例であり、プロンプト モデルは最終的な答えを与える前に一連の中間ステップを生成します。
思考連鎖プロンプトを使用すると、言語モデルは、複数ステップの数学の文章題など、複雑な推論を必要とするタスクを実行できます。
モデルは明示的なトレーニングなしで思考連鎖推論の能力を獲得できることに注目する価値があります。下の図は思考連鎖プロンプトの例を示しています。
#思考連鎖プロンプトの実証結果は次のとおりです。
小規模なモデルの場合、思考連鎖プロンプトを適用することは、たとえば、難しい数学である GSM8K に適用する場合、標準プロンプトよりも優れているわけではありません。文章問題のベンチマーク。
ただし、大規模モデルの場合、思考チェーン プロンプトは GSM8K で 57% の解決率を達成し、テストのパフォーマンスが大幅に向上しました。
「創発」能力を研究する意義
では、「創発」能力を研究する意義とは何でしょうか?
大規模な言語モデルにおける「新たな」機能を特定することは、この現象と将来のモデル機能への潜在的な影響を理解するための第一歩です。
たとえば、「緊急」のスモールショット ヒンティング機能と戦略は事前トレーニングで明示的にエンコードされていないため、研究者は現在のスモールショット ヒンティング機能の全範囲を把握していない可能性があります。言語モデル。
さらに、さらなる拡張により、より大規模なモデルに「緊急」機能が提供される可能性があるかどうかという問題も非常に重要です。
- なぜ「緊急」能力が現れるのですか?
- 特定の機能が登場すると、言語モデルの新しい現実世界への応用が可能になるでしょうか?
- コンピューティング リソースは高価であるため、スケーラビリティを向上させることなく、他の手段 (より優れたモデル アーキテクチャやトレーニング手法など) で新しい機能を利用できるでしょうか?
研究者らは、これらの疑問はまだ解明されていないと言っています。
しかし、NLP の分野が発展し続けるにつれて、スケーリングによって生成される「緊急」機能を含む、言語モデルの動作を分析して理解することが非常に重要になります。
以上がパラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されているの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック

DeepSeekは、特定のデータベースまたはシステムでのみ検索する独自の検索エンジンであり、より速く、より正確です。それを使用する場合、ユーザーはドキュメントを読み、さまざまな検索戦略を試し、ユーザーエクスペリエンスに関するヘルプを求めてフィードバックを求めて、利点を最大限に活用することをお勧めします。

この記事では、SESAME Open Exchange(gate.io)Webバージョンの登録プロセスとGate Tradingアプリを詳細に紹介します。 Web登録であろうとアプリの登録であろうと、公式Webサイトまたはアプリストアにアクセスして、本物のアプリをダウンロードし、ユーザー名、パスワード、電子メール、携帯電話番号、その他の情報を入力し、電子メールまたは携帯電話の確認を完了する必要があります。

Bybit Exchangeリンクを直接ダウンロードしてインストールできないのはなぜですか? BYBITは、ユーザーにトレーディングサービスを提供する暗号通貨交換です。 Exchangeのモバイルアプリは、次の理由でAppStoreまたはGooglePlayを介して直接ダウンロードすることはできません。1。AppStoreポリシーは、AppleとGoogleがApp Storeで許可されているアプリケーションの種類について厳しい要件を持つことを制限しています。暗号通貨交換アプリケーションは、金融サービスを含み、特定の規制とセキュリティ基準を必要とするため、これらの要件を満たしていないことがよくあります。 2。法律と規制のコンプライアンス多くの国では、暗号通貨取引に関連する活動が規制または制限されています。これらの規制を遵守するために、BYBITアプリケーションは公式Webサイトまたはその他の認定チャネルを通じてのみ使用できます

アプリをダウンロードしてアカウントの安全を確保するために、正式なチャネルを選択することが重要です。

Gate.ioは、幅広い暗号資産と取引ペアを提供する主要な暗号通貨交換です。 gate.ioの登録は非常に簡単です。公式ウェブサイトにアクセスするか、「登録」をクリックし、登録フォームに入力し、電子メールを確認し、2因子検証(2FA)を設定する必要があります。登録を完了します。 gate.ioを使用すると、ユーザーは安全で便利な暗号通貨取引体験を楽しむことができます。

Binance Webサイトログインポータルの最新バージョンにアクセスするには、これらの簡単な手順に従ってください。公式ウェブサイトに移動し、右上隅の[ログイン]ボタンをクリックします。既存のログインメソッドを選択してください。「登録」してください。登録済みの携帯電話番号または電子メールとパスワードを入力し、認証を完了します(モバイル検証コードやGoogle Authenticatorなど)。検証が成功した後、Binance公式WebサイトLogin Portalの最新バージョンにアクセスできます。

このガイドは、AndroidおよびiOSシステムに適した公式Bitget Exchangeアプリの詳細なダウンロードとインストール手順を提供します。このガイドは、公式ウェブサイト、App Store、Google Playなど、複数の権威ある情報源からの情報を統合し、ダウンロードおよびアカウント管理中の考慮事項を強調しています。ユーザーは、App Store、公式WebサイトAPKダウンロード、公式Webサイトジャンプ、完全な登録、ID検証、セキュリティ設定など、公式チャネルからアプリをダウンロードできます。さらに、ガイドはよくある質問や考慮事項をカバーします。
