目次
「緊急」プロンプト戦略
「創発」能力を研究する意義
ホームページ テクノロジー周辺機器 AI パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

Apr 11, 2023 pm 11:16 PM
グーグル 研究

大規模な言語モデルは、トレーニングされていないことを実行できるため、ある種の魔法があるように見え、メディアや研究者からの誇大広告や注目の的となっています。

大規模な言語モデルを拡張すると、小規模なモデルでは利用できない新しい機能が現れることがあります。「創造性」に似たこの属性は「創発」機能と呼ばれ、私たちを表します。一般的な人工知能への大きな一歩を踏み出しました。

現在、Google、スタンフォード、ディープマインド、ノースカロライナ大学の研究者たちは、大規模言語モデルにおける「創発」機能を研究しています。

パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

#デコーダーによってプロンプトが表示される DALL-E #魔法の「緊急」能力

自然言語処理 (NLP) は、大量のテキスト データでトレーニングされた言語モデルによって革命をもたらしました。言語モデルをスケールアップすると、多くの場合、さまざまなダウンストリーム NLP タスクのパフォーマンスとサンプル効率が向上します。

多くの場合、小規模なモデルのパフォーマンス傾向を推定することで、大規模な言語モデルのパフォーマンスを予測できます。たとえば、言語モデルの複雑さに対するスケールの影響は、7 桁以上にわたって実証されています。

ただし、他の一部のタスクのパフォーマンスは、予想どおりには改善されませんでした。

たとえば、GPT-3 論文は、複数桁の加算を実行する言語モデルの能力が、100M から 13B パラメータまでのモデルに対して平坦なスケーリング曲線を持ち、ほぼランダムであることを示していますが、 1 つのノードでパフォーマンスが飛躍的に低下します。

パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

#NLP 研究における言語モデルの使用が増加していることを考えると、予期せず発生する可能性のあるこれらの機能をよりよく理解することが重要です。

Machine Learning Research (TMLR) に掲載された最近の論文「大規模言語モデルの創発力」では、研究者らは数十の拡張言語モデルによって生み出される「創発力」を実証しました。能力の。

この「緊急」機能の存在により、追加のスケーリングによって言語モデルの機能の範囲をさらに拡大できるかどうかという疑問が生じます。

パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

# 特定のヒントや微調整方法は、大規模なモデルでのみ改善をもたらします

# 「緊急」プロンプト タスク

最初に、プロンプト タスクに表示される可能性のある「緊急」アビリティについて説明します。

このタイプのタスクでは、事前トレーニングされた言語モデルが次の単語を予測するタスクを実行するように求められ、応答を完了することでタスクを実行します。

さらに微調整を行わなくても、言語モデルはトレーニング中には見ら​​れなかったタスクを実行できることがよくあります。

#特定のスケールのしきい値で、タスクのパフォーマンスがランダムからランダムを超えるパフォーマンスに予期せず急上昇する場合、タスクを「緊急」タスクと呼びます。 パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

以下に、「緊急」のパフォーマンスを伴うプロンプト タスクの 3 つの例を示します。それは、多段階の算術、大学レベルの試験の受験、および単語の意図された意味の特定です。

いずれの場合も、言語モデルは、特定のしきい値に達するまで、つまりパフォーマンスが急上昇するまで、モデル サイズにはほとんど依存せず、パフォーマンスが低下します。

パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

十分な規模のモデルの場合、これらのタスクのパフォーマンスが非ランダムになるだけです。たとえば、算術およびマルチタスク NLU タスク ( FLOP の 1 秒あたりの浮動小数点演算のトレーニングなど) ) は 10 の 22 乗を超え、コンテキスト タスク内の単語のトレーニング FLOP は 10 の 24 乗を超えます。

「緊急」プロンプト戦略

「緊急」機能の 2 番目のカテゴリには、言語モデルの機能を強化するプロンプト戦略が含まれます。

プロンプト戦略は、さまざまなタスクに適用できるプロンプトの幅広いパラダイムです。これらは、小規模なモデルで障害が発生した場合に「緊急」とみなされ、十分に大きなモデルでのみ使用できます。

思考連鎖プロンプトは、「緊急」プロンプト戦略の典型的な例であり、プロンプト モデルは最終的な答えを与える前に一連の中間ステップを生成します。

思考連鎖プロンプトを使用すると、言語モデルは、複数ステップの数学の文章題など、複雑な推論を必要とするタスクを実行できます。

モデルは明示的なトレーニングなしで思考連鎖推論の能力を獲得できることに注目する価値があります。下の図は思考連鎖プロンプトの例を示しています。

パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

#思考連鎖プロンプトの実証結果は次のとおりです。

パラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されている

小規模なモデルの場合、思考連鎖プロンプトを適用することは、たとえば、難しい数学である GSM8K に適用する場合、標準プロンプトよりも優れているわけではありません。文章問題のベンチマーク。

ただし、大規模モデルの場合、思考チェーン プロンプトは GSM8K で 57% の解決率を達成し、テストのパフォーマンスが大幅に向上しました。

「創発」能力を研究する意義

では、「創発」能力を研究する意義とは何でしょうか?

大規模な言語モデルにおける「新たな」機能を特定することは、この現象と将来のモデル機能への潜在的な影響を理解するための第一歩です。

たとえば、「緊急」のスモールショット ヒンティング機能と戦略は事前トレーニングで明示的にエンコードされていないため、研究者は現在のスモールショット ヒンティング機能の全範囲を把握していない可能性があります。言語モデル。

さらに、さらなる拡張により、より大規模なモデルに「緊急」機能が提供される可能性があるかどうかという問題も非常に重要です。

  • なぜ「緊急」能力が現れるのですか?
  • 特定の機能が登場すると、言語モデルの新しい現実世界への応用が可能になるでしょうか?
  • コンピューティング リソースは高価であるため、スケーラビリティを向上させることなく、他の手段 (より優れたモデル アーキテクチャやトレーニング手法など) で新しい機能を利用できるでしょうか?

研究者らは、これらの疑問はまだ解明されていないと言っています。

しかし、NLP の分野が発展し続けるにつれて、スケーリングによって生成される「緊急」機能を含む、言語モデルの動作を分析して理解することが非常に重要になります。

以上がパラメータがわずかに向上し、パフォーマンス指数が爆発します! Google:大規模な言語モデルには「謎のスキル」が隠されているの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Deepseekをコメントする方法 Deepseekをコメントする方法 Feb 19, 2025 pm 05:42 PM

DeepSeekは、強力な情報を取得することですが、その不利な点は遅いことです。

DeepSeekを検索する方法 DeepSeekを検索する方法 Feb 19, 2025 pm 05:39 PM

DeepSeekは、特定のデータベースまたはシステムでのみ検索する独自の検索エンジンであり、より速く、より正確です。それを使用する場合、ユーザーはドキュメントを読み、さまざまな検索戦略を試し、ユーザーエクスペリエンスに関するヘルプを求めてフィードバックを求めて、利点を最大限に活用することをお勧めします。

セサミオープンドア交換Webページ登録リンクゲートトレーディングアプリ登録Webサイト最新 セサミオープンドア交換Webページ登録リンクゲートトレーディングアプリ登録Webサイト最新 Feb 28, 2025 am 11:06 AM

この記事では、SESAME Open Exchange(gate.io)Webバージョンの登録プロセスとGate Tradingアプリを詳細に紹介します。 Web登録であろうとアプリの登録であろうと、公式Webサイトまたはアプリストアにアクセスして、本物のアプリをダウンロードし、ユーザー名、パスワード、電子メール、携帯電話番号、その他の情報を入力し、電子メールまたは携帯電話の確認を完了する必要があります。

Bybit Exchangeリンクを直接ダウンロードしてインストールできないのはなぜですか? Bybit Exchangeリンクを直接ダウンロードしてインストールできないのはなぜですか? Feb 21, 2025 pm 10:57 PM

Bybit Exchangeリンクを直接ダウンロードしてインストールできないのはなぜですか? BYBITは、ユーザーにトレーディングサービスを提供する暗号通貨交換です。 Exchangeのモバイルアプリは、次の理由でAppStoreまたはGooglePlayを介して直接ダウンロードすることはできません。1。AppStoreポリシーは、AppleとGoogleがApp Storeで許可されているアプリケーションの種類について厳しい要件を持つことを制限しています。暗号通貨交換アプリケーションは、金融サービスを含み、特定の規制とセキュリティ基準を必要とするため、これらの要件を満たしていないことがよくあります。 2。法律と規制のコンプライアンス多くの国では、暗号通貨取引に関連する活動が規制または制限されています。これらの規制を遵守するために、BYBITアプリケーションは公式Webサイトまたはその他の認定チャネルを通じてのみ使用できます

セサミオープンドアトレーディングプラットフォームダウンロードモバイルバージョンgateioトレーディングプラットフォームのダウンロードアドレス セサミオープンドアトレーディングプラットフォームダウンロードモバイルバージョンgateioトレーディングプラットフォームのダウンロードアドレス Feb 28, 2025 am 10:51 AM

アプリをダウンロードしてアカウントの安全を確保するために、正式なチャネルを選択することが重要です。

gate.io交換公式登録ポータル gate.io交換公式登録ポータル Feb 20, 2025 pm 04:27 PM

Gate.ioは、幅広い暗号資産と取引ペアを提供する主要な暗号通貨交換です。 gate.ioの登録は非常に簡単です。公式ウェブサイトにアクセスするか、「登録」をクリックし、登録フォームに入力し、電子メールを確認し、2因子検証(2FA)を設定する必要があります。登録を完了します。 gate.ioを使用すると、ユーザーは安全で便利な暗号通貨取引体験を楽しむことができます。

Binance Binance公式Webサイト最新バージョンログインポータル Binance Binance公式Webサイト最新バージョンログインポータル Feb 21, 2025 pm 05:42 PM

Binance Webサイトログインポータルの最新バージョンにアクセスするには、これらの簡単な手順に従ってください。公式ウェブサイトに移動し、右上隅の[ログイン]ボタンをクリックします。既存のログインメソッドを選択してください。「登録」してください。登録済みの携帯電話番号または電子メールとパスワードを入力し、認証を完了します(モバイル検証コードやGoogle Authenticatorなど)。検証が成功した後、Binance公式WebサイトLogin Portalの最新バージョンにアクセスできます。

2025年のBitgetの最新のダウンロードアドレス:公式アプリを取得する手順 2025年のBitgetの最新のダウンロードアドレス:公式アプリを取得する手順 Feb 25, 2025 pm 02:54 PM

このガイドは、AndroidおよびiOSシステムに適した公式Bitget Exchangeアプリの詳細なダウンロードとインストール手順を提供します。このガイドは、公式ウェブサイト、App Store、Google Playなど、複数の権威ある情報源からの情報を統合し、ダウンロードおよびアカウント管理中の考慮事項を強調しています。ユーザーは、App Store、公式WebサイトAPKダウンロード、公式Webサイトジャンプ、完全な登録、ID検証、セキュリティ設定など、公式チャネルからアプリをダウンロードできます。さらに、ガイドはよくある質問や考慮事項をカバーします。

See all articles