IndeksIVFFlat y IndeksIVFPQ-Tutorial Python-php.cn

IndexIVFFlat y IndexIVFPQ

ここでは、IndexIVFFlat インデックスと IndexIVFPQ インデックスの比較と、それらの使用のためのいくつかの代替案を示します。

比較: IndexIVFFlat と IndexIVFPQ

特徴

Characteristic	IndexIVFFlat	IndexIVFPQ
Storage Type	Stores vectors in their original form.	Utilizes product quantization (PQ) to compress vectors.
Precision	High precision, as it performs exact searches within cells.	May sacrifice some precision for compression, but still provides good results.
Search Speed	Slower on large datasets due to exhaustive search.	Faster, especially on large sets, thanks to reduced search space.
Memory Usage	Consumes more memory as it stores all vectors without compression.	Consumes significantly less memory due to compression (up to 97% less).
Configuration	Simpler, only requires defining the number of cells (nlist).	Requires defining both the number of cells (nlist) and code size (code_size).
Training	Needs to be trained to create cells before adding data.	Also requires training, but the process is more complex due to quantization.

IndexIVFFlat インデックスIVFPQ ストレージの種類ベクトルを元の形式で保存します。積量子化 (PQ) を利用してベクトルを圧縮します。精度セル内で正確な検索を実行するため、高精度です。圧縮のために精度がある程度犠牲になる可能性がありますが、それでも良好な結果が得られます。検索速度徹底的な検索のため、大規模なデータセットでは速度が低下します。検索スペースが削減されたため、特に大規模なセットで高速化されました。メモリ使用量すべてのベクトルを圧縮せずに保存するため、より多くのメモリを消費します。圧縮により消費メモリが大幅に削減されます (最大 97% 削減)。構成より簡単で、セルの数 (nlist) を定義するだけで済みます。セル数 (nlist) とコードサイズ (code_size) の両方を定義する必要があります。トレーニングデータを追加する前にセルを作成するようにトレーニングする必要があります。これもトレーニングが必要ですが、量子化によりプロセスがより複雑になります。テーブル>

Kebaikan dan Keburukan

Kebaikan IndexIVFFlat

Ketepatan: Memberikan hasil yang tepat apabila mencari dalam setiap sel.
Kesederhanaan: Mudah difahami dan dikonfigurasikan.

Keburukan IndexIVFFlat

Kelajuan: Boleh menjadi sangat perlahan dengan volum data yang besar.
Penggunaan Memori: Tidak mengoptimumkan penggunaan memori, yang boleh menjadi masalah dengan set data yang besar.

Kebaikan IndexIVFPQ

Kelajuan: Jauh lebih pantas dalam carian disebabkan ruang carian yang berkurangan.
Kecekapan Memori: Mengurangkan penggunaan memori dengan ketara, membolehkan pengendalian set data yang lebih besar.

Keburukan IndexIVFPQ

Ketepatan: Mungkin terdapat sedikit kehilangan ketepatan akibat mampatan.
Kerumitan: Konfigurasi dan latihan adalah lebih kompleks berbanding IndexIVFFlat.

Alternatif

IndexFlatL2
- Melakukan carian menyeluruh tanpa pemampatan. Sesuai untuk set data kecil yang memerlukan ketepatan maksimum.
IndexPQ
- Menggunakan pengkuantitian produk sahaja tanpa pengelompokan. Berguna apabila keseimbangan antara kelajuan dan ketepatan diperlukan, tetapi pengelompokan tidak diperlukan.
IndexIVFScalarQuantizer
- Menggabungkan indeks terbalik dengan pengkuantitian skalar, menawarkan pendekatan berbeza untuk mengurangkan penggunaan memori dan meningkatkan kelajuan.
IndexIVFPQR
- Varian yang menggabungkan IVF dan PQ dengan pemeringkatan semula berasaskan kod, menawarkan keseimbangan antara kelajuan dan ketepatan yang dipertingkatkan.
Indeks Komposit
- Gunakan index_factory untuk mencipta indeks komposit yang menggabungkan berbilang teknik (cth., OPQ IVF PQ) untuk mengoptimumkan lagi prestasi.

Alternatif ini membolehkan menyesuaikan penyelesaian kepada keperluan yang berbeza dari segi ketepatan, kelajuan dan penggunaan memori mengikut kes khusus yang ditangani.

Petikan:
[1] https://github.com/facebookresearch/faiss/wiki/Faiss-indexes/9df19586b3a75e4cb1c2fb915f2c695755a599b8
[2] https://ai.plainenglish.io/speeding-up-similarity-search-in-recommender-systems-with-faiss-advanced-concepts-part-ii-95e796a7db74?gi=ce57aff1a0c4
[3] https://www.pinecone.io/learn/series/faiss/faiss-tutorial/
[4] https://faiss.ai/cpp_api/struct/structfaiss_1_1IndexIVFFlat.html
[5] https://unfoldai.com/effortless-large-scale-image-retrieval-with-faiss-a-hands-on-tutorial/
[6] https://www.pinecone.io/learn/series/faiss/product-quantization/
[7] https://www.pinecone.io/learn/series/faiss/composite-indexes/
[8] https://github.com/facebookresearch/faiss/issues/1113

En Español, Soy Español, tetapi por respeto a la comunidad, pongo primero la traduccion al inglés.

Aquí tienes una comparación entre los índices IndexIVFFlat e IndexIVFPQ, junto con algunas alternativas for su uso:

Perbandingan: IndexIVFFlat lwn. IndexIVFPQ

Karakteristik

Característica	IndexIVFFlat	IndexIVFPQ
Tipo de Almacenamiento	Almacena vectores en su forma original.	Utiliza cuantización de producto (PQ) para comprimir vectores.
Precisión	Alta precisión, ya que realiza búsquedas exactas dentro de las celdas.	Puede sacrificar algo de precisión por la compresión, pero aún proporciona buenos resultados.
Velocidad de Búsqueda	Más lento en grandes conjuntos de datos debido a la búsqueda exhaustiva.	Más rápido, especialmente en grandes conjuntos, gracias a la reducción del espacio de búsqueda.
Uso de Memoria	Consume más memoria porque almacena todos los vectores sin compresión.	Consume significativamente menos memoria debido a la compresión (hasta 97% menos).
Configuración	Más simple, solo requiere definir el número de celdas (nlist).	Requiere definir tanto el número de celdas (nlist) como el tamaño del código (code_size).
Entrenamiento	Necesita ser entrenado para crear las celdas antes de añadir datos.	También necesita entrenamiento, pero el proceso es más complejo debido a la cuantización.

IndexIVFFlat IndexIVFPQ Tipo de Almacenamiento Almacena vectores en su forma original. Utiliza cuantización de producto (PQ) untuk comprimir vectores. Ketepatan Alta precisión, ya que realiza búsquedas exactas dentro de las celdas. Puede sacrificar algo de precisión por la compresión, tetapi aún proporciona buenos resultdos. Velocidad de Búsqueda Más lento en grandes conjuntos de data debido a la búsqueda exhaustiva. Más rápido, especialmente en grandes conjuntos, gracias a la reducción del espacio de búsqueda. Uso de Memoria Menggunakan más memoria porque almacena todos los vectores sin compresión. Menggunakan significativamente menos memoria debido a la compresión (hasta 97% menos). Konfigurasi Más simple, solo requiere definir el número de celdas (nlist). Memerlukan definir tanto el número de celdas (nlist) como el tamaño del código (code_size). Entrenamiento Memerlukan ser entrenado untuk mencipta celdas antes de añadir data. Tambien memerlukan entrenamiento, tetapi el proceso es más complejo debido a la cuantización.

장점과 단점

IndexIVFFlat의 장점

정밀도: 각 셀을 검색할 때 정확한 결과를 제공합니다.
단순성: 이해하고 구성하기 쉽습니다.

IndexIVFFlat의 단점

속도: 대용량 데이터의 경우 매우 느릴 수 있습니다.
메모리 사용량: 메모리 사용량을 최적화하지 않으므로 대용량 데이터 세트에서 문제가 될 수 있습니다.

IndexIVFPQ의 장점

속도: 검색 공간이 줄어들어 검색 속도가 훨씬 빨라집니다.
메모리 효율성: 메모리 사용량을 대폭 줄여 더 큰 데이터 세트를 처리할 수 있습니다.

IndexIVFPQ의 단점

정확도: 압축으로 인해 정확도가 약간 떨어질 수 있습니다.
복잡성: 구성 및 교육이 IndexIVFFlat보다 더 복잡합니다.

대안

IndexFlatL2
- 압축하지 않고 전체 검색을 수행합니다. 최대의 정밀도가 요구되는 소규모 데이터 세트에 이상적입니다.
IndexPQ
- 그룹화 없이 제품 양자화만 사용하세요. 속도와 정밀도 사이의 균형이 필요할 때 유용하지만 그룹화가 필요하지 않습니다.
IndexIVFScalarQuantizer
- 역 인덱스와 스칼라 양자화를 결합하여 메모리 사용량을 줄이고 속도를 향상시키는 색다른 접근 방식을 제공합니다.
색인IVFPQR
- IVF와 PQ를 코드 기반 재순위와 결합하여 속도와 향상된 정확도 사이의 균형을 제공하는 변형입니다.
복합 인덱스
- index_factory를 사용하면 여러 기술(예: OPQ IVF PQ)을 결합하여 성능을 더욱 최적화하는 복합 인덱스를 생성할 수 있습니다.

이러한 대안을 사용하면 해결하려는 특정 사례에 따라 정밀도, 속도 및 메모리 사용량 측면에서 다양한 요구에 맞게 솔루션을 조정할 수 있습니다.

인용:
[1] https://www.pinecone.io/learn/series/faiss/faiss-tutorial/
[2] https://www.pinecone.io/learn/series/faiss/product-Quantization/
[3] https://www.pinecone.io/learn/series/faiss/composite-indexes/
[4] https://github.com/facebookresearch/faiss/wiki/Faiss-indexes/9df19586b3a75e4cb1c2fb915f2c695755a599b8
[5] https://faiss.ai/cpp_api/struct/structfaiss_1_1IndexIVFFlat.html
[6] https://pub.towardsai.net/unlocking-the-power-of-efficient-Vector-search-in-rag-applications-c2e3a0c551d5?gi=71a82e3ea10e
[7] https://www.pingcap.com/article/mastering-faiss-Vector-database-a-beginners-handbook/
[8] https://wangzwhu.github.io/home/file/acmmm-t-part3-ann.pdf
[9] https://github.com/alonsoir/ubiquitous-carnival/blob/main/contextual-data-faiss-IndexIVFPQ.py
[10] https://github.com/alonsoir/ubiquitous-carnival/blob/main/contextual-data-faiss-indexivfFlat.py

Atas ialah kandungan terperinci IndeksIVFFlat y IndeksIVFPQ. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!