DeepSeek-R1 Rag Chatbot dengan Chroma, Ollama, dan Gradio

Tutorial ini menunjukkan membina chatbot Generasi Augmented Generasi (RAG) menggunakan DeepSeek-R1 dan Langchain. Chatbot menjawab soalan berdasarkan asas pengetahuan, dalam kes ini, sebuah buku mengenai asas -asas LLM. Proses ini memanfaatkan carian vektor efisien DeepSeek-R1 untuk respons yang tepat dan kontekstual yang relevan, disampaikan melalui antara muka gradio yang mesra pengguna.

Kekuatan DeepSeek-R1, termasuk pengambilan prestasi tinggi, kedudukan relevan halus, keberkesanan kos (disebabkan oleh pelaksanaan tempatan), integrasi mudah dengan Chroma, dan keupayaan luar talian, menjadikannya ideal untuk aplikasi ini.

Tutorial dibahagikan kepada langkah -langkah yang jelas:

1. Prasyarat: Memastikan perpustakaan yang diperlukan (Langchain, Chromadb, Gradio, Ollama, Pymupdf) dipasang.

2. Memuatkan PDF: Menggunakan pymupdfloader dari Langchain untuk mengekstrak teks dari "Asas LLMS" pdf.

3. Teks Chunking: Memisahkan teks yang diekstrak ke dalam ketulan yang lebih kecil dan bertindih menggunakan untuk pengambilan konteks yang lebih baik. RecursiveCharacterTextSplitter

4. Generasi Embedding: Menjana embeddings untuk setiap bahagian menggunakan Ollamaembeddings dengan DeepSeek-R1. Parallelization melalui mempercepatkan proses ini. Nota: Tutorial menyebutkan keupayaan untuk menentukan saiz model DeepSeek-R1 yang berbeza (7b, 8b, 14b, dan lain-lain). ThreadPoolExecutor

5. Menyimpan Embeddings dalam Chroma: Menyimpan embeddings dan ketulan teks yang sepadan dalam pangkalan data vektor Chroma untuk mendapatkan semula yang cekap. Tutorial menyoroti membuat dan/atau memadam koleksi untuk mengelakkan konflik.

6. Inisialisasi Retriever: Menyediakan Chroma Retriever, menggunakan embeddings DeepSeek-R1 untuk pemprosesan pertanyaan.

7. Paip RAG (pengambilan semula konteks): Fungsi mengambil potongan teks yang relevan berdasarkan soalan pengguna. retrieve_context

8. Meminta DeepSeek-R1: Format Format soalan pengguna dan konteks yang diambil, menghantarnya ke DeepSeek-R1 melalui Ollama, dan membersihkan respons untuk persembahan. query_deepseek

9. Antara Muka Vadio:

Mewujudkan antara muka interaktif menggunakan Vadio, membolehkan pengguna memasukkan soalan dan menerima jawapan dari saluran paip RAG.

Pengoptimuman:

Tutorial mencadangkan beberapa pengoptimuman, termasuk menyesuaikan saiz bahagian, menggunakan model DeepSeek-R1 yang lebih kecil, mengintegrasikan Faiss untuk dataset yang lebih besar, dan pemprosesan batch untuk generasi embedding.

Kesimpulan: Tutorial berjaya menunjukkan membina chatbot RAG tempatan yang berfungsi, mempamerkan kuasa DeepSeek-R1 untuk pengambilan maklumat yang cekap dan tepat. Pautan ke sumber DeepSeek lebih lanjut disediakan.

Atas ialah kandungan terperinci DeepSeek-R1 Rag Chatbot dengan Chroma, Ollama, dan Gradio. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!