GPTから始まったIn-Context Learningの開発状況はどうなっているのでしょうか?このレビューで明らかになりました
言語モデルとコーパスのサイズが徐々に拡大するにつれて、大規模言語モデル (LLM) の可能性がさらに高まります。最近のいくつかの研究では、LLM がコンテキスト内学習 (ICL) を使用して、数学的推論の問題を解決するなど、さまざまな複雑なタスクを実行できることが示されています。
北京大学、上海 AI 研究所、カリフォルニア大学サンタバーバラ校の 10 人の研究者が最近、ICL 研究の現在の進捗状況を詳細にまとめた、インコンテキスト学習に関する総説論文を発表しました。
#論文アドレス: https://arxiv.org/pdf/2301.00234v1.pdf
インコンテキスト学習の中心的な考え方は類推学習です。次の図は、言語モデルが意思決定を行うために ICL をどのように使用するかを示しています。
まず、ICL ではデモンストレーション コンテキストを形成するためにいくつかの例が必要であり、これらの例は通常、自然言語テンプレートで記述されます。次に、ICL はクエリの質問をプレゼンテーション コンテキストに関連付けてプロンプトを形成し、それを予測用の言語モデルにフィードします。逆勾配を使用してモデル パラメーターを更新する必要がある教師あり学習のトレーニング フェーズとは異なり、ICL ではパラメーターの更新が必要ないため、事前トレーニングされた言語モデルが予測タスクを直接実行でき、モデルはデモンストレーションで隠れたパターンを学習することが期待されます。例を確認し、それに基づいて意思決定を行うことで、正しい予測を行うことができます。
新しいパラダイムとして、ICL には多くの魅力的な利点があります。まず、デモの例は自然言語形式で書かれており、大規模な言語モデルに関連する解釈可能なインターフェイスを提供します。このパラダイムにより、デモンストレーションの例やテンプレートを変更することで、人間の知識を言語モデルに組み込むことが容易になります (Liu et al., 2022; Lu et al., 2022; Wu et al., 2022; Wei et al., 2022c)。第二に、コンテキスト内学習は、類推による人間の学習の意思決定プロセスに似ています。第三に、教師ありトレーニングと比較して、ICL はトレーニング不要の学習フレームワークです。これにより、モデルを新しいタスクに適応させるための計算コストが大幅に削減されるだけでなく、サービスとしての言語モデル (LMaaS、Sun et al.、2022) が可能になり、大規模な現実世界のタスクに簡単に適用できるようになります。
ICL には大きな期待があるにもかかわらず、そのパフォーマンスを含め、検討する価値のある問題がまだ多くあります。たとえば、元の GPT-3 モデルには特定の ICL 機能がありますが、一部の研究では、この機能は事前トレーニング中の適応によって大幅に向上できることがわかっています。さらに、ICL のパフォーマンスは、プロンプト テンプレート、状況に応じたサンプルの選択、サンプルの順序などの特定の設定に影響されます。また、ICLの作用メカニズムは合理的であるように見えますが、まだ十分に明らかではなく、その作用メカニズムを事前に説明できる研究は多くありません。
このレビュー ペーパーでは、ICL の強力なパフォーマンスは次の 2 つの段階に依存していると結論付けています。
- 大規模な言語モデルの ICL 機能を育成する トレーニングフェーズ;
- 大規模な言語モデルが特定のタスクのデモンストレーションに基づいて予測を行う推論フェーズ。
トレーニング フェーズでは、言語モデルは、左から右への生成などの言語モデリングの目標に従って直接トレーニングされます。これらのモデルは特にコンテキスト内学習用に最適化されていませんが、ICL の機能は依然として驚くべきものです。既存の ICL 研究は基本的に、よく訓練された言語モデルに基づいています。
推論段階では、入力ラベルと出力ラベルが解釈可能な自然言語テンプレートで表されるため、ICL のパフォーマンスを複数の観点から最適化できます。このレビュー ペーパーでは、詳細な説明と比較を提供し、デモンストレーションに適切な例を選択し、さまざまなタスクに対する特定のスコアリング方法を設計します。
このレビュー ペーパーの一般的な内容と構造を以下の図に示します。これには、ICL の正式な定義 (§3)、ウォームアップ方法 (§4)、プロンプト設計戦略 ( §5 ) およびスコアリング関数 (§6)。
さらに、§7 では、ICL の背後にある仕組みを解明するという現在の取り組みについての洞察が得られます。さらに、§8 では、ICL に関する有用な評価とリソースが提供され、§9 では、ICL の有効性を実証する潜在的な応用シナリオが紹介されています。最後に、§10 では、ICL 分野の既存の課題と潜在的な方向性を要約し、この分野のさらなる発展のための参考資料を提供します。
興味のある読者は、論文の原文を読んで研究の詳細を学ぶことができます。
以上がGPTから始まったIn-Context Learningの開発状況はどうなっているのでしょうか?このレビューで明らかになりましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。
