Cara dengan mudah menggunakan enjin carian generatif tempatan menggunakan verifai

artikel ini memperincikan kemas kini yang signifikan kepada Projek Verifai, enjin carian generatif sumber terbuka. Sebelum ini memberi tumpuan kepada data bioperubatan (Verifai Biomed, boleh diakses di https://www.php.cn/link/ae8e20f2c7accb995afbe0f507856c17 enjin dari fail tempatan. Ini memberi kuasa kepada individu, organisasi, dan perusahaan untuk membina penyelesaian carian tersuai.

Ciri -ciri utama dan seni bina:

seni bina Verifai Core terdiri daripada tiga komponen utama:

1. Pengindeksan: Menggunakan OpenSearch untuk pengindeksan leksikal dan qdrant untuk pengindeksan semantik (menggunakan model embedding muka pelukan). Pendekatan dua ini memastikan perwakilan dokumen yang komprehensif. Skrip pengindeksan menyokong pelbagai jenis fail (PDF, Word, PowerPoint, Text, Markdown).

2. Generasi Retrieval-Augmented (RAG): Menggabungkan hasil dari carian leksikal OpenSearch dan carian semantik QDrant (menggunakan persamaan produk dot). Hasil yang digabungkan memaklumkan kepada model bahasa besar yang dipilih (LLM). LLM lalai adalah versi Mistral yang digunakan secara tempatan, tetapi pengguna boleh menentukan orang lain (Openai API, Azure API, dan lain-lain, melalui VLLM, Ollama, atau NVIDIA NIMS).

3. Enjin Pengesahan: Komponen penting yang memeriksa jawapan yang dihasilkan terhadap dokumen sumber, meminimumkan halusinasi.

Persediaan dan Pemasangan:

1. mengklon repositori:

   git clone https://github.com/nikolamilosevic86/verifAI.git

2. Buat persekitaran python:

   python -m venv verifai; source verifai/bin/activate

Pasang Dependencies:

3. Konfigurasikan verifai: pip install -r verifAI/backend/requirements.txt konfigurasi fail

   (berdasarkan
) yang menyatakan kelayakan pangkalan data (postgresql), openSearch, qdrant, llm butiran (Path, kekunci API, nama penyebaran), Embedding Model , dan nama indeks.

4. .env Pasang datastores: .env.local.example

   (memerlukan docker).

5. Fail indeks: python install_datastores.py

   (mis.,
).

6. python index_files.py <path-to-directory-with-files></path-to-directory-with-files> Jalankan backend: python index_files.py test_data

7. Jalankan frontend: navigasi ke client-gui/verifai-ui, jalan npm install, kemudian npm start.

Sumbangan dan Pembangunan Masa Depan:

Verifai adalah projek sumber terbuka yang mengalu-alukan sumbangan. Projek ini pada mulanya dibiayai oleh Projek Carian Internet Generasi Seterusnya (Kesatuan Eropah) dan dibangunkan dengan kerjasama Institut Penyelidikan dan Pembangunan Perisikan Buatan Serbia dan Bayer A.G. Pembangunan selanjutnya berterusan, dengan tumpuan untuk memperluaskan keupayaan dan kebolehgunaannya. Sumbangan digalakkan melalui permintaan tarik, laporan pepijat, dan permintaan ciri. Lawati https://www.php.cn/link/d16c19f1f2ab8361fda1f625ce3ff26a Untuk maklumat lanjut.

Atas ialah kandungan terperinci Cara dengan mudah menggunakan enjin carian generatif tempatan menggunakan verifai. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!