01Wang が独自に開発したフルナビゲーションマップベクトルデータベースが権威あるリストの 1 位 6 位を独占-AI-php.cn

3 月 11 日、011Wang は、フルナビゲーショングラフに基づく新しいベクトルデータベース「Descartes」のリリースを発表しました。このデータベースは、権威あるリスト ANN-Benchmarks の 6 つのデータセット評価で 1 位を獲得しました。

AI時代の情報検索技術としても知られるベクトルデータベースは、検索拡張生成（RAG）の中核技術の1つです。大規模モデルのアプリケーション開発者にとって、ベクトルデータベースは非常に重要なインフラストラクチャであり、大規模モデルのパフォーマンスにある程度の影響を与えます。

国際的に権威ある評価プラットフォーム ANN-Benchmarks のオフラインテストで、Zero One Everything Descartes ベクトルデータベースは 6 つのデータセット評価の中で第 1 位にランクされました。前のリストの業界 1 位と比べてパフォーマンスが向上しており、一部のデータセットでは 2 倍以上のパフォーマンス向上が見られます。

Zero One Everything によると、デカルトベクトルデータベースは近い将来正式に発売される AI 製品に使用され、開発者にも提供される予定です将来的にはツールと組み合わせて使用できます。

#Vector データベースが AI 2.0 インフラストラクチャになる

資本市場の支持を獲得

大規模モデルに代表されるAI 2.0時代の到来により、写真、動画、自然言語などマルチモーダルな非構造化データの量が急増し、構造化データの処理に使用される従来の方法とは異なります。ベクトルデータベースは、ベクトル化された非構造化データを保存、管理、クエリ、取得するために特別に使用されます。これは、大規模モデルからいつでも呼び出すことができる外部メモリディスクのようなもので、「長期メモリ」 (ラージモデルメモリとも呼ばれます) を形成します。海馬」。

# 大規模なモデルには当然 4 つの欠陥があります。ベクトルデータベースは、あらゆる問題点を正確に解決できるオーダーメイドの「特効薬」のようなものです。

#リアルタイム情報: 大規模なモデルはトレーニングに時間がかかり、更新が遅く、最新の情報を反映できません。締め切り」の知識を試すチャレンジ。ベクターデータベースは軽量な更新機構を採用しており、最新の情報を素早く補充できます。
プライバシー保護: ユーザーのセキュリティデータとプライバシーデータは、大規模なモデルのトレーニングに直接提供されるべきではありません。そうしないと漏洩のリスクがあります。ベクトルデータは中間キャリアとして機能することでプライバシーを侵害します。推論段階での情報伝達に問題があり、保護が困難。
錯視補正: 大規模なモデルでは、推論の歪みや幻覚現象がよく見られますが、このような問題は、ベクトルデータベースが提供する豊富な知識参照を通じて効果的に補正および軽減できます。
推論効率: 大規模モデルの推論コストは高くなります。ベクトルデータベースをキャッシュメカニズムとして使用すると、クエリリクエストごとに複雑な推論計算を再実行する必要がなくなります。、コンピューティングリソースを大幅に節約します。

AI 2.0 によって始まった技術の変化とプラットフォームの変化により、ベクトルデータベースの役割がさらに強化されました。 Google、Microsoft、Metaなどの大手メーカーから関連製品が次々と登場し、Zilliz、Pinecone、Weaviate、Qdrantなどのスタートアップも登場している。 2023年、OpenAIのベクターデータベースパートナーであるPineconeは1億3,800万米ドルのシリーズB資金調達を完了し、国内の新興企業Fabarta ArcNeuralも数億元のプレAラウンドの資金調達を完了した。

権威あるリストへの挑戦

6 つの評価で 1 位を獲得

#ANN-Benchmarks は、業界で最も権威のあるベクトルデータベースパフォーマンステストツールであり、さまざまな実際のデータセットにおけるさまざまなアルゴリズムのパフォーマンスを示すことができます。

次の 6 つの評価データセットは、glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist をカバーしています。 784-ユークリッド、gist-960-ユークリッドの 6 つの主要なデータセット、横軸はリコールを表し、縦軸は QPS (1 秒あたりに処理されるリクエストの数) を表します。曲線の位置が右上隅に近づくほど、アルゴリズムのパフォーマンスが向上します。ゼロ万デカルトベクトルデータベースは、6 つのデータセット評価すべてで最高位にランクされます。

01Wang が独自に開発したフルナビゲーションマップベクトルデータベースが権威あるリストの 1 位 6 位を独占

「スループット QPS」は、情報のクエリ処理能力を測定するための重要な指標です。検索システム (検索エンジンやデータベースなど)。元のリストの TOP1 に基づいて、Zero-One Thousand Things Cartesian Vector Database は大幅なパフォーマンスの向上を達成しました。一部のデータセットでは、パフォーマンスが 2 倍以上向上しました。gist-960-euclidean データセットの次元では、大幅に向上しました。リストの元の TOP1 を上回る 286%。

01Wang が独自に開発したフルナビゲーションマップベクトルデータベースが権威あるリストの 1 位 6 位を独占

##: Poly Herigid Cartesial Pig データベースと元のリスト TOP1 QPS パフォーマンスの比較

##技術的公開

興味深いのは、デカルトがどのようにして上記の優れたパフォーマンスを達成したのかということです。

ご存知のとおり、RAG は検索と生成を組み合わせたテクノロジーであり、大量のデータからクエリされた情報を取得することで言語モデルの生成機能を強化します。従来の検索方法と同様に、本質的に、RAG ベクトル検索は主に 2 つの主要な問題を解決します:

1. 特定のインデックス構造を確立することにより、検索検査の候補セットを削減します。

##2. 単一ベクトルの計算の複雑さを軽減します。

ゼロワンサウザンドデカルトベクトルデータベースは、複雑なクエリの処理、検索効率の向上、データストレージの最適化において、業界に比べて大きな比較優位性を持っています。最初の質問に対する答えとして、Zero One World チームには 2 人の主要なキラーがいます:

最先端のフルナビゲーションマップテクノロジー。 業界の現状は、主にハッシュ、KD-Tree、VP-Tree などの手法を使用しています。ナビゲーション効果の精度が十分ではなく、クロップ強度も十分ではありません。Zero が開発したグローバル多層サムネイルナビゲーション技術One Wish と地図上の座標系ナビゲーションは、精度を確保するだけでなく、多数の無関係なベクトルをクリップすることもできます。
業界のギャップを埋める初の適応近隣選択戦略。 01Wuxing が独自に開発した適応隣接選択戦略は、これまで実際の topk または固定エッジ選択戦略のみに依存していた制限を打ち破り、新しい戦略により、各ノードがノードの分布特性に基づいて最適なものを動的に選択できるようになります。隣接エッジはより速くターゲットベクトルに近づくため、RAG ベクトル検索パフォーマンスが 15% ～ 30% 向上します。

2 番目の質問に答えると、Zero One Wish は RAG を強化するために 2 レベルの量子化スキームを採用しています。 Zero One Thousand は、2 レベルの量子化を使用して計算の複雑さを軽減します。同時に、カラムナストレージは SIMD の同時実行機能を最大限に活用して、ハードウェア機能をさらに活用します。従来の PQ テーブルルックアップと比較して、パフォーマンスが 2 ～ 3 倍に大幅に向上します。。

さらに、Zero-One Everything には、デカルトベクトルデータベースのパフォーマンスを向上させるためのインデックス構造の最適化や接続性の保証などのフルスタックベクトルテクノロジソリューションもあります。

フルスタックベクターテクノロジー: より高い精度とより強力なパフォーマンス

上記を通じフルスタックベクトルテクノロジのサポートにより、Zero-One Cartesian Vector Database は 6 つの評価で ANN ベンチマークの信頼できるリストのトップになっただけではありません。また、実際のアプリケーションシナリオでのより高い精度と強力なパフォーマンスなどの主要な利点もあります。

#Zero One Everything Cartesian Vector Database は現在、高性能ベクトルデータベースに重点を置いています。高性能ベクトルデータベースは、通常、数千万以下のスケールのベクトルデータセット (2,000 万の 128 次元浮動小数点ベクトルなど) を指します。一般的に、高性能ベクトルデータベースは、毎日の 80 ～ 90 パーセントを簡単に処理できます。たとえば、企業顧客によるプライベートドメインのナレッジベースやインテリジェントな顧客サービスシステムの構築を支援し、自動運転の分野では、高性能ベクトルデータベースの使用により自動運転モデルのトレーニングを高速化できます。

#Zero One All 高性能ベクトルデータベースには次の利点があります。

# #超高精度: マルチレイヤーのサムネイルと座標系に基づいて、レイヤー間のナビゲーションと地図上の方向ナビゲーションが実現され、グラフの接続性も保証され、99% 以上の精度を達成します。パフォーマンス、精度は業界レベルを大幅に上回っています。
超高性能: 効率的なエッジ選択とトリミング技術、数千万ミリ秒のデータベース応答。

電子商取引の推奨シナリオを例に挙げると、棚にある商品の数は数千万にもなり、各商品は次のようになります。ベクトルで表現します。ライブラリ内のベクトルの数がそれほど多くなくても、電子商取引のユーザーベースが非常に大きく、ピーク時の 1 秒あたりのユーザーリクエストの数が非常に多い場合は、数十万、さらには数百万 QPS に達する可能性があります。。高性能のベクトルデータベースを使用すると、電子商取引シナリオにおける検索サービスと広告サービスの推奨効果が効果的に向上し、誰もが購入せずにはいられないようになります。

#Zero Yiwu 氏は、デカルトベクトルデータベースは RAG に基づいたチームの最初の試みであり、近い将来リリースされる AI 生産性向上製品で効果的に使用されるだろうと述べました。将来的には、各主要モデルがある程度最適化された後、ベクトルデータベースの能力が各主要モデルの上限を決定する可能性があります。 Zero One Wish は、より良いテクノロジーとエクスペリエンスをユーザーに提供するために、今後も研究開発と共有に注力していきます。

以上が01Wang が独自に開発したフルナビゲーションマップベクトルデータベースが権威あるリストの 1 位 6 位を独占の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。