Bagaimana cara mengira dan menyimpan vektor yang dibenamkan dengan langchain?

Memanfaatkan Langchain dan Embeddings Vektor untuk Pengambilan Kandungan yang Dipertingkatkan

Artikel sebelumnya meliputi pemuatan data dan teknik pemisahan untuk pengekstrakan kandungan yang berkaitan dengan pertanyaan. Artikel ini menyelidiki pengambilan data canggih menggunakan embeddings vektor dengan langchain, membolehkan carian lebih cepat, lebih tepat, dan intuitif.

Konsep Utama:

• Teks Embeddings: Memahami bagaimana perkataan dan ayat diwakili sebagai vektor berangka untuk menangkap makna semantik.
• Langchain & Hugging Face: Aplikasi praktikal Langchain dan memeluk model embedding muka untuk mengira dan membandingkan embeddings ayat.
• Pangkalan Data Vektor & ANN: Penyimpanan dan pengambilan dokumen yang cekap menggunakan pangkalan data vektor dan menghampiri algoritma jiran terdekat.
• Pengindeksan Langchain: Menguasai mod pengindeksan Langchain untuk menguruskan kemas kini dokumen dan penghapusan dalam pangkalan data vektor.

Jadual Kandungan:

• Embeddings ayat
• Membina dokumen Langchain
• Embeddings dengan Langchain
• Menggunakan kedai vektor
• Teknik Pengindeksan
• Soalan yang sering ditanya

Embeddings ayat: ulasan cepat

Untuk memproses teks secara komputasi, ia mesti ditukar menjadi format berangka. Kata embeddings mewakili kata -kata sebagai vektor, menangkap hubungan semantik (sinonim lebih dekat, antonim lebih jauh). Pembasmian kalimat, dikira menggunakan model Sentenbert (rangkaian Siam), melanjutkannya kepada ayat -ayat.

Membuat dokumen Langchain

Prasyarat: Pasang langchain_openai , langchain-huggingface , langchain-chroma , langchain , dan langchain_community . Konfigurasikan kunci API OpenAI anda.

 PIP Pasang Langchain_Openai Langchain-Huggingface Langchain-Chroma Langchain Langchain_Community

Contoh:

Kami akan menggunakan ayat dan kategori sampel untuk menggambarkan penciptaan dokumen Langchain.

 dari langchain_core.documents Document Document
# ... (selebihnya kod tetap sama) 

Bekerja dengan Embeddings di Langchain

Mari kita mulakan model embedding dan menjana embeddings.

 Import OS
dari dotenv import load_dotenv
# ... (selebihnya kod tetap sama)

Heatmaps Persamaan Cosine menggambarkan hubungan kalimat.

 import numpy sebagai np
Import Seaborn sebagai SNS
# ... (selebihnya kod tetap sama) 

Kesamaan kosin antara ayat dan pertanyaan mengenal pasti ayat yang paling relevan. Model sumber terbuka dari muka memeluk juga boleh digunakan.

Menggunakan kedai vektor untuk mendapatkan semula yang cekap

Untuk dataset yang besar, membandingkan embeddings pertanyaan dengan setiap penyembuhan dokumen tidak cekap. Anggaran algoritma jiran terdekat (ANN) dalam pangkalan data vektor menyediakan penyelesaian.

 dari langchain_chroma import chroma
# ... (selebihnya kod tetap sama)

Kod ini menunjukkan menambah, mengambil, dan memadam dokumen dari kedai vektor. Penggunaan langsung chromadb juga ditunjukkan.

Menguasai Teknik Pengindeksan

Pengindeksan Langchain menggunakan pengurus rekod untuk mengesan entri pangkalan data, menghalang penyertaan pendua dan membolehkan kemas kini dan penghapusan yang cekap. Tiga mod wujud: None , Incremental , dan Full .

 Dari Langchain.Indexes Import SQLRecordManager, Indeks
# ... (selebihnya kod tetap sama)

Contohnya menggambarkan cara menambah, mengemas kini, dan memadam dokumen menggunakan mod pengindeksan yang berbeza.

Kesimpulan

Artikel ini mempamerkan pengambilan kandungan yang efisien menggunakan Langchain dan Vector Embeddings. Gabungan model penyembuhan dan pangkalan data vektor membolehkan pengambilan kandungan yang tepat dan berskala. Ciri -ciri pengindeksan Langchain mengoptimumkan pengurusan pangkalan data. Artikel masa depan akan meneroka kaedah pengambilan kandungan untuk LLMS.

Soalan yang sering ditanya

S1: Apakah embedding teks dan kepentingan mereka?

A1: Embeddings teks adalah perwakilan berangka yang menangkap makna semantik, membolehkan pemprosesan teks pengiraan dan perbandingan persamaan.

S2: Bagaimanakah bantuan Langchain dalam membenamkan penciptaan dan penggunaan?

A2: Langchain memudahkan penyembuhan model permulaan, pengiraan, dan perbandingan persamaan untuk pengambilan kandungan yang cekap.

S3: Apakah peranan pangkalan data vektor dalam pengambilan kandungan?

A3: Pangkalan data vektor menyimpan dan cepat mengambil dokumen yang relevan menggunakan algoritma Ann, meningkatkan skalabilitas.

S4: Bagaimanakah pengindeksan Langchain meningkatkan pengurusan pangkalan data?

A4: Pengindeksan Langchain, menggunakan pengurus rekod, dengan cekap mengendalikan kemas kini dan penghapusan dokumen, memastikan ketepatan dan prestasi pangkalan data.

Atas ialah kandungan terperinci Bagaimana cara mengira dan menyimpan vektor yang dibenamkan dengan langchain?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!