01Wang が独自に開発したフル ナビゲーション マップ ベクトル データベースが権威あるリストの 1 位 6 位を独占

3 月 11 日、011Wang は、フル ナビゲーション グラフに基づく新しいベクトル データベース「Descartes」のリリースを発表しました。このデータベースは、権威あるリスト ANN-Benchmarks の 6 つのデータセット評価で 1 位を獲得しました。

AI時代の情報検索技術としても知られるベクトルデータベースは、検索拡張生成（RAG）の中核技術の1つです。大規模モデルのアプリケーション開発者にとって、ベクトル データベースは非常に重要なインフラストラクチャであり、大規模モデルのパフォーマンスにある程度の影響を与えます。

国際的に権威ある評価プラットフォーム ANN-Benchmarks のオフライン テストで、Zero One Everything Descartes ベクトル データベースは 6 つのデータセット評価の中で第 1 位にランクされました。前のリストの業界 1 位と比べてパフォーマンスが向上しており、一部のデータ セットでは 2 倍以上のパフォーマンス向上が見られます。

Zero One Everything によると、デカルト ベクトル データベースは近い将来正式に発売される AI 製品に使用され、開発者にも提供される予定です将来的にはツールと組み合わせて使用​​できます。

#Vector データベースが AI 2.0 インフラストラクチャになる

資本市場の支持を獲得

大規模モデルに代表されるAI 2.0時代の到来により、写真、動画、自然言語などマルチモーダルな非構造化データの量が急増し、構造化データの処理に使用される従来の方法とは異なります。ベクトル データベースは、ベクトル化された非構造化データを保存、管理、クエリ、取得するために特別に使用されます。これは、大規模モデルからいつでも呼び出すことができる外部メモリ ディスクのようなもので、「長期メモリ」 (ラージ モデル メモリとも呼ばれます) を形成します。海馬」。

# 大規模なモデルには当然 4 つの欠陥があります。ベクトル データベースは、あらゆる問題点を正確に解決できるオーダーメイドの「特効薬」のようなものです。

• #リアルタイム情報: 大規模なモデルはトレーニングに時間がかかり、更新が遅く、最新の情報を反映できません。締め切り」の知識を試すチャレンジ。ベクターデータベースは軽量な更新機構を採用しており、最新の情報を素早く補充できます。
• プライバシー保護: ユーザーのセキュリティ データとプライバシー データは、大規模なモデルのトレーニングに直接提供されるべきではありません。そうしないと漏洩のリスクがあります。ベクトル データは中間キャリアとして機能することでプライバシーを侵害します。推論段階での情報伝達に問題があり、保護が困難。
• 錯視補正: 大規模なモデルでは、推論の歪みや幻覚現象がよく見られますが、このような問題は、ベクトル データベースが提供する豊富な知識参照を通じて効果的に補正および軽減できます。
• 推論効率: 大規模モデルの推論コストは高くなります。ベクトル データベースをキャッシュ メカニズムとして使用すると、クエリ リクエストごとに複雑な推論計算を再実行する必要がなくなります。 、コンピューティングリソースを大幅に節約します。

AI 2.0 によって始まった技術の変化とプラットフォームの変化により、ベクトル データベースの役割がさらに強化されました。 Google、Microsoft、Metaなどの大手メーカーから関連製品が次々と登場し、Zilliz、Pinecone、Weaviate、Qdrantなどのスタートアップも登場している。 2023年、OpenAIのベクターデータベースパートナーであるPineconeは1億3,800万米ドルのシリーズB資金調達を完了し、国内の新興企業Fabarta ArcNeuralも数億元のプレAラウンドの資金調達を完了した。

権威あるリストへの挑戦

6 つの評価で 1 位を獲得

#ANN-Benchmarks は、業界で最も権威のあるベクトル データベース パフォーマンス テスト ツールであり、さまざまな実際のデータ セットにおけるさまざまなアルゴリズムのパフォーマンスを示すことができます。

次の 6 つの評価データ セットは、glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist をカバーしています。 784-ユークリッド、gist-960-ユークリッドの 6 つの主要なデータ セット、横軸はリコールを表し、縦軸は QPS (1 秒あたりに処理されるリクエストの数) を表します。曲線の位置が右上隅に近づくほど、アルゴリズムのパフォーマンスが向上します。ゼロ万 デカルト ベクトル データベースは、6 つのデータセット評価すべてで最高位にランクされます。

##

「スループット QPS」は、情報のクエリ処理能力を測定するための重要な指標です。検索システム (検索エンジンやデータベースなど)。元のリストの TOP1 に基づいて、Zero-One Thousand Things Cartesian Vector Database は大幅なパフォーマンスの向上を達成しました。一部のデータ セットでは、パフォーマンスが 2 倍以上向上しました。gist-960-euclidean データ セットの次元では、大幅に向上しました。リストの元の TOP1 を上回る 286%。

##: Poly Herigid Cartesial Pig データベースと元のリスト TOP1 QPS パフォーマンスの比較

##技術的公開

興味深いのは、デカルトがどのようにして上記の優れたパフォーマンスを達成したのかということです。

ご存知のとおり、RAG は検索と生成を組み合わせたテクノロジーであり、大量のデータからクエリされた情報を取得することで言語モデルの生成機能を強化します。従来の検索方法と同様に、本質的に、RAG ベクトル検索は主に 2 つの主要な問題を解決します:

1. 特定のインデックス構造を確立することにより、検索検査の候補セットを削減します。

##2. 単一ベクトルの計算の複雑さを軽減します。

ゼロ ワン サウザンド デカルト ベクトル データベースは、複雑なクエリの処理、検索効率の向上、データ ストレージの最適化において、業界に比べて大きな比較優位性を持っています。最初の質問に対する答えとして、Zero One World チームには 2 人の主要なキラーがいます:

• 最先端のフルナビゲーションマップテクノロジー。 業界の現状は、主にハッシュ、KD-Tree、VP-Tree などの手法を使用しています。ナビゲーション効果の精度が十分ではなく、クロップ強度も十分ではありません。Zero が開発したグローバル多層サムネイル ナビゲーション技術One Wish と地図上の座標系ナビゲーションは、精度を確保するだけでなく、多数の無関係なベクトルをクリップすることもできます。
• 業界のギャップを埋める初の適応近隣選択戦略。 01Wuxing が独自に開発した適応隣接選択戦略は、これまで実際の topk または固定エッジ選択戦略のみに依存していた制限を打ち破り、新しい戦略により、各ノードがノードの分布特性に基づいて最適なものを動的に選択できるようになります。隣接エッジはより速くターゲット ベクトルに近づくため、RAG ベクトル検索パフォーマンスが 15% ～ 30% 向上します。

2 番目の質問に答えると、Zero One Wish は RAG を強化するために 2 レベルの量子化スキームを採用しています。 Zero One Thousand は、2 レベルの量子化を使用して計算の複雑さを軽減します。同時に、カラムナ ストレージは SIMD の同時実行機能を最大限に活用して、ハードウェア機能をさらに活用します。従来の PQ テーブル ルックアップと比較して、パフォーマンスが 2 ～ 3 倍に大幅に向上します。 。

さらに、Zero-One Everything には、デカルト ベクトル データベースのパフォーマンスを向上させるためのインデックス構造の最適化や接続性の保証などのフルスタック ベクトル テクノロジ ソリューションもあります。

フルスタック ベクター テクノロジー: より高い精度とより強力なパフォーマンス

上記を通じフルスタック ベクトル テクノロジのサポートにより、Zero-One Cartesian Vector Database は 6 つの評価で ANN ベンチマークの信頼できるリストのトップになっただけではありません。また、実際のアプリケーションシナリオでのより高い精度と強力なパフォーマンスなどの主要な利点もあります。

#Zero One Everything Cartesian Vector Database は現在、高性能ベクトル データベースに重点を置いています。高性能ベクトル データベースは、通常、数千万以下のスケールのベクトル データ セット (2,000 万の 128 次元浮動小数点ベクトルなど) を指します。一般的に、高性能ベクトル データベースは、毎日の 80 ～ 90 パーセントを簡単に処理できます。たとえば、企業顧客によるプライベート ドメインのナレッジ ベースやインテリジェントな顧客サービス システムの構築を支援し、自動運転の分野では、高性能ベクトル データベースの使用により自動運転モデル​​のトレーニングを高速化できます。

#Zero One All 高性能ベクトル データベースには次の利点があります。

• # #超高精度: マルチレイヤーのサムネイルと座標系に基づいて、レイヤー間のナビゲーションと地図上の方向ナビゲーションが実現され、グラフの接続性も保証され、99% 以上の精度を達成します。パフォーマンス、精度は業界レベルを大幅に上回っています。
• 超高性能: 効率的なエッジ選択とトリミング技術、数千万ミリ秒のデータベース応答。

電子商取引の推奨シナリオを例に挙げると、棚にある商品の数は数千万にもなり、各商品は次のようになります。ベクトルで表現します。ライブラリ内のベクトルの数がそれほど多くなくても、電子商取引のユーザー ベースが非常に大きく、ピーク時の 1 秒あたりのユーザー リクエストの数が非常に多い場合は、数十万、さらには数百万 QPS に達する可能性があります。 。高性能のベクトル データベースを使用すると、電子商取引シナリオにおける検索サービスと広告サービスの推奨効果が効果的に向上し、誰もが購入せずにはいられないようになります。

#Zero Yiwu 氏は、デカルト ベクトル データベースは RAG に基づいたチームの最初の試みであり、近い将来リリースされる AI 生産性向上製品で効果的に使用されるだろうと述べました。将来的には、各主要モデルがある程度最適化された後、ベクトル データベースの能力が各主要モデルの上限を決定する可能性があります。 Zero One Wish は、より良いテクノロジーとエクスペリエンスをユーザーに提供するために、今後も研究開発と共有に注力していきます。

以上が01Wang が独自に開発したフル ナビゲーション マップ ベクトル データベースが権威あるリストの 1 位 6 位を独占の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。