Meningkatkan ketepatan LLM dengan pengambilan semula Generasi Tambahan (RAG) dan Reranking

Buka kunci kuasa LLM yang dipertingkatkan: Generasi Pengambilan semula (RAG) dan Reranking

Model bahasa yang besar (LLM) telah merevolusikan AI, tetapi batasan seperti halusinasi dan maklumat ketinggalan zaman menghalang ketepatan mereka. Generasi pengambilan semula (RAG) dan penyelesaian tawaran semula dengan mengintegrasikan LLM dengan pengambilan maklumat dinamik. Mari kita meneroka kombinasi yang kuat ini.

Mengapa RAG Meningkatkan LLMS?

llms cemerlang dalam pelbagai tugas NLP, seperti yang digambarkan di bawah:

taksonomi tugas bahasa yang dapat diselesaikan oleh llms | Iván Palomares

Walau bagaimanapun, LLMs kadang -kadang berjuang dengan tindak balas yang sesuai secara kontekstual, menghasilkan maklumat yang salah atau tidak masuk akal (halusinasi). Selain itu, pengetahuan mereka terhad oleh titik "pengetahuan pengetahuan" data latihan mereka. Sebagai contoh, LLM yang dilatih sebelum Januari 2024 tidak akan tahu tentang ketegangan selesema baru yang muncul pada bulan itu. LLMS LLMs kerap kali mahal. Rag menyediakan alternatif yang lebih cekap.

RAG memanfaatkan asas pengetahuan luaran untuk menambah pengetahuan dalaman LLM. Ini meningkatkan kualiti tindak balas, kaitan, dan ketepatan tanpa latihan semula yang berterusan. Aliran kerja kain adalah:

1. pertanyaan: Soalan pengguna diterima.
2. Ambil: Sistem mengakses asas pengetahuan, mengenal pasti dokumen yang relevan.
3. menjana: LLM menggabungkan pertanyaan dan dokumen yang diambil untuk merumuskan respons.

reranking: Mengoptimumkan pengambilan semula

Reranking Menapis dokumen yang diambil untuk mengutamakan maklumat yang paling relevan untuk pertanyaan dan konteks tertentu. Proses ini melibatkan:

1. Pengambilan awal: Sistem (mis., Menggunakan model ruang TF-IDF atau vektor) mengambil satu set dokumen.
2. reranking: Mekanisme yang lebih canggih mengemukakan semula dokumen -dokumen ini berdasarkan kriteria tambahan (keutamaan pengguna, konteks, algoritma lanjutan).

Proses reranking | Iván Palomares

Tidak seperti sistem pendahuluan, pengaliran semula memberi tumpuan kepada tindak balas pertanyaan masa nyata, bukan cadangan proaktif.

Nilai Reranking dalam LLMS yang dipertingkatkan dengan RAG

Reranking dengan ketara meningkatkan LLMs berkuasa rag. Selepas pengambilan dokumen awal, pengalihan semula memastikan LLM menggunakan maklumat yang paling penting dan berkualiti tinggi, meningkatkan ketepatan dan kaitan tindak balas, terutamanya dalam bidang khusus.

Jenis Reranker

Pelbagai pendekatan renanking wujud, termasuk:

• Multi-vektor Rerankers: Gunakan pelbagai perwakilan vektor untuk pemadanan persamaan yang lebih baik.
• Belajar pangkat (LTR): menggunakan pembelajaran mesin untuk mempelajari kedudukan optimum.
• Rerankers berasaskan Bert: memanfaatkan keupayaan pemahaman bahasa Bert.
• penguat pembelajaran penguat: Mengoptimumkan kedudukan berdasarkan data interaksi pengguna.
• ranker hibrid: menggabungkan pelbagai strategi.

Membina saluran paip kain dengan renanking (contoh Langchain)

Bahagian ini menunjukkan saluran paip RAG yang dipermudahkan dengan renanking menggunakan perpustakaan Langchain. (Kod lengkap yang terdapat dalam buku nota Google Colab - pautan yang ditinggalkan untuk keringkasan). Contohnya memproses fail teks, mewujudkan embeddings, menggunakan LLM OpenAI, dan menggabungkan fungsi semula adat berdasarkan persamaan kosinus. Kod ini mempamerkan kedua -dua versi tanpa reranking dan versi halus dengan pengaktifan semula diaktifkan.

Eksplorasi lanjut

RAG adalah kemajuan penting dalam teknologi LLM. Artikel ini meliputi peranan retanking dalam meningkatkan saluran paip RAG. Untuk menyelam yang lebih mendalam, meneroka sumber -sumber pada RAG, penambahbaikan prestasinya, dan keupayaan Langchain untuk pembangunan aplikasi LLM. (Pautan yang ditinggalkan untuk keringkasan).

Atas ialah kandungan terperinci Meningkatkan ketepatan LLM dengan pengambilan semula Generasi Tambahan (RAG) dan Reranking. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!