ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

数日前、OpenAI はメジャー アップデートを行い、2 つの新しいテキスト埋め込みモデルを含む 5 つの新しいモデルを一度に発表しました。

埋め込みとは、自然言語やコードなどで概念を表すために数値シーケンスを使用することです。これらは、機械学習モデルやその他のアルゴリズムがコンテンツ間の関係をより深く理解し、クラスタリングや検索などのタスクを実行しやすくするのに役立ちます。

一般に、より大きな埋め込みモデル (取得のためにベクトル メモリに保存されたものなど) を使用すると、より多くのコスト、計算能力、メモリ、およびストレージ リソースが消費されます。ただし、OpenAI によって開始された 2 つのテキスト埋め込みモデルは、異なるオプションを提供します。 まず、text-embedding-3-small モデルは小さいですが効率的なモデルです。リソースが限られた環境でも使用でき、テキスト埋め込みタスクを処理するときに優れたパフォーマンスを発揮します。 一方、text-embedding-3-large モデルはより大きく、より強力です。このモデルは、より複雑なテキスト埋め込みタスクを処理し、より正確で詳細な埋め込み表現を提供できます。ただし、このモデルを使用するには、より多くのコンピューティング リソースとストレージ スペースが必要になります。 したがって、特定のニーズとリソースの制約に応じて、コストとパフォーマンスの関係のバランスをとるために適切なモデルを選択できます。

両方の新しい埋め込みモデルは、開発者が埋め込みのパフォーマンスとコストをトレードオフできるトレーニング手法を使用して実行されます。具体的には、開発者は、埋め込みを次元 API パラメーターに渡すことで、概念的表現のプロパティを失うことなく、埋め込みのサイズを短縮できます。たとえば、MTEB ベンチマークでは、text-embedding-3-large はサイズ 256 に短縮できますが、それでも短縮されていない text-embedding-ada-002 埋め込み (サイズ 1536) よりも優れたパフォーマンスを発揮します。このようにして、開発者は特定のニーズに基づいて適切な埋め込みモデルを選択でき、パフォーマンス要件を満たすだけでなくコストも制御できます。

#このテクノロジーのアプリケーションは非常に柔軟です。たとえば、最大 1024 次元の埋め込みのみをサポートするベクター データ ストアを使用する場合、開発者は最適な埋め込みモデル text-embedding-3-large を選択し、次元 API に値 1024 を指定することで埋め込み次元を 3072 から変更できます。パラメータ。1024 に短縮されます。これを行うとある程度の精度が犠牲になる可能性がありますが、より小さいベクトル サイズを取得できます。

OpenAI が使用する「短縮エンベディング」手法は、その後、研究者の間で広く注目を集めました。

この手法は、2022年5月の論文で提案された「マトリョーシカ表現学習」手法と同じであることが判明しました。

OpenAI の新しい埋め込みモデルの更新の背後に、@adityakusupati らが提案したクールな埋め込み表現が隠されています。テクノロジー。

そして、MRL の作成者の 1 人である Aditya Kusupati 氏も次のように述べています。「OpenAI は、検索と RAG 用の v3 組み込み API でデフォルトで MRL を使用します! 他のモデルやサービスもすぐに追いつくはずです」 ."

それでは、MRL とは一体何でしょうか?効果はどうですか？すべては以下の 2022 年の論文に記載されています。

#MRL 論文紹介

• ##論文タイトル: マトリョーシカ表現学習
• 論文リンク: https://arxiv.org/pdf/2205.13147.pdf

研究者が提起した疑問は、異なるコンピューティング リソースを使用する複数の下流タスクに適応するように柔軟な表現方法を設計できるかということです。

MRL は、O (log (d)) 個の低次元ベクトルをネストされた方法で明示的に最適化することで、同じ高次元ベクトル内の異なる容量の表現を学習します。そのため、マトリョーシカ「ロシア語」という名前が付けられました。マトリョーシカ人形」。 MRL は既存の表現パイプラインに適応でき、コンピューター ビジョンや自然言語処理の多くの標準タスクに簡単に拡張できます。

図 1 は、MRL の中心的なアイデアと、学習されたマトリョーシカ表現の適応展開セットアップを示しています。

最初のm 次元 (m∈[d]) は、追加のトレーニング コストを必要とせず、独立してトレーニングされた m 次元表現と同じくらい正確な、情報が豊富な低次元ベクトルです。 Matryoshka 表現の情報内容は次元の増加とともに増加し、大規模なトレーニングや追加の展開オーバーヘッドを必要とせずに、粗い表現から細かい表現までを形成します。 MRL は、ベクトルの特性評価に必要な柔軟性と多重忠実度を提供し、精度と計算量の間で最適に近いトレードオフを保証します。これらの利点により、MRL は精度と計算上の制約に基づいて適応的に導入できます。

この作業では、現実世界の ML システムの 2 つの主要な構成要素である大規模な分類と検索に焦点を当てます。

研究者らは分類のために適応カスケードを使用し、MRL によってトレーニングされたモデルによって生成された可変サイズ表現を使用したため、特定の精度を達成するのに必要な時間が大幅に短縮されました。たとえば、ImageNet-1K では、MRL 適応分類により、ベースラインと同じ精度で表現サイズが最大 14 倍削減されます。

同様に、研究者は適応検索システムでも MRL を使用しています。クエリが与えられると、クエリ埋め込みの最初のいくつかの次元が検索候補をフィルタリングするために使用され、その後、さらに多くの次元が検索セットの順序を変更するために使用されます。このアプローチの簡単な実装では、標準の埋め込みベクトルを使用した単一検索システムと比較して、FLOPS で理論上の速度の 128 倍、実測時間の 14 倍を達成します。MRL の検索精度は単一検索の精度に匹敵することに注意することが重要です (セクション 4.3.1)。

最後に、MRL は表現ベクトルを粗いものから細かいものまで明示的に学習するため、直感的には異なる次元間で共有される必要があります。より多くの意味情報 (図 5) 。これはロングテール連続学習設定に反映されており、元の埋め込みと同じくらい堅牢でありながら、精度を最大 2% 向上させることができます。さらに、MRL は粒度が粗いため、粒度が細かいため、インスタンスの分類のしやすさや情報のボトルネックを分析する方法としても使用できます。

研究の詳細については、論文の原文を参照してください。

以上がネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。