Membina Sistem Resolusi Pertanyaan Berasaskan RAG dengan Langchain

Butiran artikel ini membina sistem generasi pengambilan semula (RAG) untuk resolusi pertanyaan yang cekap, menggunakan Langchain, Chromadb, dan Crewai. Secara manual mengendalikan jumlah pertanyaan yang besar yang dihadapi oleh perniagaan moden tidak cekap. Penyelesaian berkuasa AI ini menawarkan respons yang cepat, tepat, dan berskala.

Jadual Kandungan

• Mengapa sistem resolusi pertanyaan AI yang berkuasa?
• Memahami aliran kerja kain
• Membina Sistem Resolusi Pertanyaan Berasaskan Rag
• Butiran pelaksanaan
• Peningkatan masa depan
• Kesimpulan
• Soalan yang sering ditanya

Mengapa sistem resolusi pertanyaan AI yang berkuasa?

Tanggapan pertanyaan manual adalah perlahan dan tidak konsisten. Perniagaan memerlukan akses maklumat yang cepat dan tepat untuk memenuhi jangkaan pelanggan. Sistem AI mengautomasikan proses ini, meningkatkan produktiviti dan membuat keputusan di pelbagai sektor (sokongan pelanggan, jualan, kewangan, penjagaan kesihatan, e-dagang).

Memahami aliran kerja kain

Sistem RAG beroperasi dalam tiga fasa:

1. Pengindeksan: Dokumen diproses, dipotong, ditukar menjadi embeddings vektor menggunakan model AI, dan disimpan dalam pangkalan data vektor (misalnya, ChromAdb).
2. Pengambilan semula: Pertanyaan pengguna adalah vektor, dan sistem mencari pangkalan data untuk ketulan yang paling relevan.
3. Generasi: Ketulan yang diambil digabungkan dengan pertanyaan asal, dan model bahasa yang besar (LLM) menghasilkan respons.

Membina Sistem Resolusi Pertanyaan Berasaskan Rag

Artikel ini menunjukkan sistem RAG yang dipermudahkan untuk menjawab pertanyaan pelajar menggunakan ejen AI. Pemilihan data adalah penting; Penulis bereksperimen dengan pelbagai jenis data (slaid PowerPoint, Soalan Lazim, perbincangan masa lalu, subtitle video kursus) sebelum menetap di sari kata sebagai sumber yang paling berkesan untuk menyediakan kandungan berstruktur yang relevan.

Sistem ini terdiri daripada tiga komponen:

1. Pemprosesan Sarikata: Ekstrak dan memproses teks dari fail SRT, menyimpan embeddings dalam Chromadb.
2. Pengambilan semula: Mendapatkan bahan kursus yang berkaitan berdasarkan pertanyaan pelajar.
3. Ejen Menjawab Pertanyaan: Menggunakan Crewai untuk menghasilkan respons.

Butiran pelaksanaan

1. Import Perpustakaan: pysrt , langchain (Pemisahan Teks, Embeddings, Vectorstores), crewai , pandas , ast , os , tqdm diimport.

2. Persediaan Persekitaran: Kunci API Terbuka dan Nama Model ditetapkan sebagai pembolehubah persekitaran.

3. Mengekstrak dan menyimpan data sari kata: Sistem ini melangkah melalui folder kursus, mengekstrak teks dari fail SRT menggunakan pysrt , memotong teks menggunakan RecursiveCharacterTextSplitter , menghasilkan embeddings dengan OpenAIEmbeddings , dan menyimpannya dalam chromadb. Anggaran kos untuk penggunaan token dimasukkan.

4. Meminta dan bertindak balas terhadap pertanyaan pelajar: Fungsi retrieve_course_materials menggunakan carian kesamaan dalam kromadb untuk mendapatkan kandungan yang relevan, ditapis dengan kursus.

5. Melaksanakan ejen penjawab pertanyaan AI: Ejen Crewai ("Pakar Sokongan Pembelajaran") ditakrifkan dengan peranan khusus dan backstory. Tugas ditakrifkan untuk mengendalikan pertanyaan, menggabungkan konteks yang diambil dan perbincangan masa lalu. Contoh Crewai diasaskan, dan fungsi ( reply_to_query ) melangkah melalui pertanyaan pelajar dalam fail CSV, menghasilkan respons menggunakan ejen. Pengendalian ralat dimasukkan.

Peningkatan masa depan

• Menggabungkan sistem FAQ berstruktur.
• Tambah keupayaan pemprosesan imej.
• Meningkatkan Logik Boolean Lajur Imej.
• Terokai semantik chunking dan teknik chunking lain.

Kesimpulan

Sistem RAG ini, yang dibina dengan Langchain, Chromadb, dan Crewai, mengautomasikan sokongan pelajar dengan cekap. Ia meningkatkan skalabiliti, pengambilan semula, dan kualiti tindak balas. Penambahbaikan masa depan akan meningkatkan fungsi dan ketepatannya.

Soalan yang sering ditanya

Bahagian Soalan Lazim menjawab soalan mengenai Langchain, Chromadb, Crewai, Embeddings Openai, pemprosesan sari kata, mengendalikan pelbagai pertanyaan, dan penambahbaikan masa depan, mencerminkan kandungan asal.

Atas ialah kandungan terperinci Membina Sistem Resolusi Pertanyaan Berasaskan RAG dengan Langchain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!