AUTORAG: Mengoptimumkan saluran paip RAG dengan automl sumber terbuka-AI-php.cn

Dalam beberapa bulan kebelakangan ini, generasi pengambilan semula (RAG) telah meroket populariti sebagai teknik yang kuat untuk menggabungkan model bahasa yang besar dengan pengetahuan luaran. Walau bagaimanapun, memilih saluran paip yang betul -betul -betul, model embedding, kaedah chunking, pendekatan menjawab soalan -boleh menjadi menakutkan. Dengan konfigurasi yang banyak, bagaimanakah anda dapat memastikan saluran paip mana yang terbaik untuk data anda dan kes penggunaan anda? Di sinilah Autorag masuk.

Objektif Pembelajaran

memahami asas -asas autorag dan bagaimana ia mengautomasikan pengoptimuman saluran paip RAG.
Ketahui bagaimana autorag secara sistematik menilai konfigurasi RAG yang berbeza untuk data anda.
meneroka ciri -ciri utama autorag, termasuk penciptaan data, percubaan saluran paip, dan penempatan.
Dapatkan pengalaman tangan dengan langkah demi langkah untuk menubuhkan dan menggunakan Autorag.
Cari Cara Menggunakan Pipeline RAG Terbaik Melakukan Menggunakan Aliran Kerja Automatik Autorag.

Artikel ini diterbitkan sebagai sebahagian daripada Blogathon Sains Data

Jadual Kandungan Apa itu Autorag? AUTORAG  Kesimpulan

Soalan -soalan yang sering ditanya

Apa itu Autorag?
Autorag adalah alat sumber terbuka, pembelajaran mesin automatik (AUTOML) yang difokuskan pada RAG. Ia secara sistematik menguji dan menilai komponen saluran paip RAG yang berbeza pada dataset anda sendiri untuk menentukan konfigurasi mana yang terbaik untuk kes penggunaan anda. Dengan menjalankan eksperimen secara automatik (dan mengendalikan tugas seperti penciptaan data, chunking, generasi dataset QA, dan penyebaran saluran paip), Autorag menjimatkan masa dan kerumitan.
mengapa autorag?
- Banyak saluran paip dan modul RAG : Terdapat banyak cara yang mungkin untuk mengkonfigurasi saiz chunking teks sistem RAG, embeddings, template prompt, modul retriever, dan lain -lain
- Eksperimen yang memakan masa : Menguji secara manual setiap saluran paip pada data anda sendiri adalah rumit. Kebanyakan orang tidak pernah melakukannya, bermakna mereka boleh kehilangan prestasi yang lebih baik atau kesimpulan yang lebih cepat.
- disesuaikan untuk data anda dan gunakan kes : tanda aras generik mungkin tidak mencerminkan seberapa baik saluran paip akan dilakukan pada korpus unik anda. Autorag menghilangkan tekaan dengan membiarkan anda menilai pada pasangan QA sebenar atau sintetik yang diperoleh dari data anda sendiri.
Ciri Utama
- Penciptaan data : Autorag membolehkan anda membuat data penilaian RAG dari dokumen mentah anda sendiri, fail PDF, atau sumber teks lain. Hanya memuat naik fail anda, menghirupnya ke dalam mentah. Pengoptimuman
- : Autorag Automasi menjalankan eksperimen (penalaan hyperparameter, pemilihan saluran paip, dan lain -lain) untuk menemui saluran paip RAG terbaik untuk data anda. Ia mengukur metrik seperti ketepatan, kaitan, dan ketepatan faktual terhadap dataset QA anda untuk menentukan persediaan yang berprestasi tinggi.
- : Sebaik sahaja anda telah mengenal pasti saluran paip terbaik, Autorag membuat penempatan langsung. Konfigurasi YAML tunggal boleh menggunakan saluran paip yang optimum dalam pelayan flask atau persekitaran lain pilihan anda.
Antara muka mesra pengguna Autorag dibina menggunakan Gradio, dan mudah untuk mencuba memeluk ruang muka. GUI interaktif bermakna anda tidak memerlukan kepakaran teknikal yang mendalam untuk menjalankan eksperimen ini -hanya ikuti langkah -langkah untuk memuat naik data, memilih parameter, dan menghasilkan hasil.

bagaimana autorag mengoptimumkan saluran paip rag

Dengan dataset QA anda di tangan, autorag secara automatik boleh:
- (mis., Berasaskan vektor, kata kunci, hibrid).
- dan strategi bertindih.
- (mis., Embeddings terbuka, memeluk transformer muka).
- untuk melihat yang menghasilkan jawapan yang paling tepat atau relevan. mengukur prestasi terhadap dataset QA anda menggunakan metrik seperti padanan tepat, skor F1, atau metrik khusus domain khusus.
- Senarai ranking konfigurasi saluran paip disusun oleh metrik prestasi.
- pandangan jelas ke mana modul atau parameter menghasilkan hasil terbaik untuk data anda.
- saluran paip terbaik yang dihasilkan secara automatik yang anda boleh menggunakan terus dari Autorag.
Menggunakan Pipeline Rag Terbaik

Apabila anda sudah bersedia untuk pergi secara langsung, Autorag Streamline Deployment:
- Konfigurasi YAML tunggal : menghasilkan fail YAML yang menerangkan komponen saluran paip anda (retriever, embedder, model penjana, dan lain -lain).
- Jalankan pada pelayan Flask : Hos saluran paip terbaik anda pada aplikasi flask berasaskan tempatan atau awan untuk integrasi mudah dengan stack perisian anda yang sedia ada.
- : Secara alternatif, gunakan ruang muka yang memeluk dengan antara muka gradio untuk demo tidak, demo interaktif saluran paip anda.
mari kita lihat sekarang mengapa anda harus mencuba Autorag:
- dengan membiarkan autorag mengendalikan pengangkat berat untuk menilai konfigurasi RAG yang banyak.
- dengan saluran paip yang dioptimumkan untuk data dan keperluan unik anda.
- dengan Gradio untuk memeluk ruang muka untuk demo cepat atau penyebaran pengeluaran.
- dan didorong oleh komuniti, jadi anda boleh menyesuaikan atau melanjutkannya untuk memenuhi keperluan tepat anda.
Bermula
- Terokai kod sumber, dokumentasi, dan contoh komuniti.
- : Demo berasaskan Gradio tersedia untuk anda memuat naik fail, membuat data QA, dan bereksperimen dengan konfigurasi saluran paip yang berbeza.
- : Sebagai projek sumber terbuka, Autorag mengalu-alukan PRS, laporan isu, dan cadangan ciri.
langkah demi langkah langkah autorag

aliran kerja penciptaan data, menggabungkan tangkapan skrin yang anda kongsi. Panduan ini akan membantu anda menghuraikan PDFS, memotong data anda, menghasilkan dataset QA, dan menyediakannya untuk eksperimen RAG selanjutnya.

Langkah 1: Masukkan kunci API Openai anda
- Buka antara muka Autorag.
- Dalam bahagian "Autorag Data Penciptaan" (Screenshot #1), anda akan melihat petunjuk meminta kunci API Openai anda.
- tampal kekunci API anda di dalam kotak teks dan tekan Enter.
- Setelah dimasukkan, status harus berubah dari "tidak ditetapkan" kepada "sah" (atau serupa), mengesahkan kunci telah diiktiraf.
Nota: Autorag tidak menyimpan atau log kunci API anda.

anda juga boleh memilih bahasa pilihan anda (Bahasa Inggeris, 한국어, 日本語) dari sebelah kanan.

Langkah 2: Mengurangkan fail pdf anda
- tatal ke "1.Parse fail pdf anda" (Screenshot #2).
- Klik "Muat naik fail" untuk memilih satu atau lebih dokumen PDF dari komputer anda. Contoh tangkapan skrin menunjukkan fail pdf 2.1 mb bernama 66EB856E019E ... ic ... pdf.
- Pilih kaedah parsing dari dropdown.
- Pilihan biasa termasuk pdfminer, pdfplumber, dan pymupdf.
- Setiap parser mempunyai kekuatan dan batasan, jadi pertimbangkan untuk menguji pelbagai kaedah jika anda menghadapi masalah parsing.
- Klik "Run Parsing" (atau butang tindakan yang setara). Autorag akan membaca PDF anda dan mengubahnya menjadi fail raw.parquet tunggal.
- Pantau kotak teks untuk kemas kini kemajuan.
- Apabila parsing selesai, klik "Muat turun Raw.parquet" untuk menyimpan hasilnya secara tempatan atau ke ruang kerja anda.
Petua: Fail Raw.parquet adalah data teks yang dihuraikan anda. Anda boleh memeriksanya dengan mana -mana alat yang menyokong parket jika diperlukan.

Langkah 3: Bahagian Raw.parquet anda
Pilih kaedah chunking:
- token : ketulan dengan bilangan token yang ditentukan.
- ayat : Pecahan teks dengan sempadan kalimat.
- semantik : mungkin menggunakan pendekatan berasaskan embedding untuk teks yang sama secara semantik.
- Rekursif : boleh bahagian pada pelbagai peringkat untuk segmen lebih banyak.
sekarang tetapkan saiz bahagian dengan gelangsar (mis., 256 token) dan tumpang tindih (mis., 32 token). Tumpang tindih membantu memelihara konteks di seluruh sempadan.
- Run Chunking ".
- TextBox untuk pengesahan atau kemas kini status.

Kenapa chunking?

Chunking memecahkan teks anda ke dalam kepingan yang boleh diurus bahawa kaedah pengambilan semula dapat dikendalikan dengan cekap. Ia mengimbangi konteks dengan kaitan supaya sistem RAG anda tidak melebihi had token atau fokus topik cair.

Langkah 4: Buat dataset QA dari corpus.parquet

dalam "3. Buat dataset QA dari bahagian corpus.parquet anda "(screenshot #4), muat naik atau pilih corpus.parquet anda.

Pilih kaedah QA:

Default : Pendekatan asas yang menghasilkan pasangan Q & A.

cepat : mengutamakan kelajuan dan mengurangkan kos, mungkin dengan mengorbankan detail yang lebih kaya.

Advanced : Boleh menghasilkan lebih banyak pasangan Q & A yang kaya dengan konteks tetapi boleh menjadi lebih mahal atau lebih perlahan.

Pilih Model untuk Penciptaan Data:

Contoh pilihan termasuk GPT-4O-Mini atau GPT-4O (antara muka anda mungkin menyenaraikan model tambahan).

Model yang dipilih menentukan kualiti dan gaya soalan dan jawapan.

Bilangan pasangan QA:
slider biasanya berjalan dari 20 hingga 150. Untuk larian pertama, simpannya kecil (mis., 20 atau 30) untuk mengehadkan kos.

saiz batch untuk model terbuka:

Default kepada 16, yang bermaksud 16 Q & A pasangan setiap permintaan batch. Menurunkannya jika anda melihat kesilapan kadar had.

Klik "
Run QA Penciptaan
". Kemas kini status muncul dalam kotak teks. pernah selesai,
muat turun
qa.parquet untuk mengambil dataset Q & A yang dibuat secara automatik. Amaran Kos: Menjana data Q & A memanggil API OpenAI, yang menanggung yuran penggunaan. Pantau penggunaan anda di halaman pengebilan terbuka jika anda merancang untuk menjalankan kelompok besar.

Langkah 5: Menggunakan dataset QA anda
sekarang bahawa anda mempunyai:

corpus.parquet (data dokumen chunked anda)

qa.parquet (pasangan Q & A dihasilkan secara automatik)

anda boleh memberi makan kepada aliran kerja penilaian dan pengoptimuman Autorag:

Menilai konfigurasi RAG berganda
-test pengambilan yang berbeza, saiz bahagian, dan model embedding untuk melihat kombinasi mana yang terbaik menjawab soalan -soalan dalam qa.parquet.
Metrik prestasi metrik
(perlawanan tepat, F1, atau kriteria khusus domain) untuk mengenal pasti saluran paip yang optimum.
Deploy
saluran paip terbaik anda melalui satu fail config yaml -autorag boleh berputar pelayan flask atau titik akhir lain.

~~Langkah 6: Sertai senarai Waitlist Studio Penciptaan Data (Pilihan)~~

Jika anda ingin menyesuaikan dataset QA yang dihasilkan secara automatik-menyunting soalan, menapis topik tertentu, atau menambah garis panduan khusus domain-Autorag menawarkan studio penciptaan data. Daftar untuk senarai tunggu secara langsung di antara muka dengan mengklik "Sertai Data Penciptaan Studio Waitlist."
Kesimpulan

Autorag menawarkan pendekatan yang diselaraskan dan automatik untuk mengoptimumkan saluran paip generasi pengambilan semula (RAG), menjimatkan masa dan usaha yang berharga dengan menguji konfigurasi yang berbeza yang disesuaikan dengan dataset khusus anda. Dengan memudahkan penciptaan data, chunking, generasi dataset QA, dan penyebaran saluran paip, Autorag memastikan anda dapat dengan cepat mengenal pasti persediaan RAG yang paling berkesan untuk kes penggunaan anda. Dengan antara muka dan integrasi yang mesra pengguna dengan model OpenAI, Autorag menyediakan kedua-dua pengguna baru dan berpengalaman sebagai alat yang boleh dipercayai untuk meningkatkan prestasi sistem RAG dengan cekap.
Takeaways Key

Autorag mengautomasikan proses mengoptimumkan saluran paip RAG untuk prestasi yang lebih baik.

Ia membolehkan pengguna membuat dan menilai dataset tersuai yang disesuaikan dengan keperluan data mereka.

alat ini memudahkan penggunaan saluran paip terbaik dengan hanya satu konfigurasi yaml.

Sumber sumber terbuka Autorag memupuk penambahbaikan dan penyesuaian yang didorong oleh komuniti.

Soalan Lazim

Q1. Apa itu Autorag, dan mengapa ia berguna?
a. Autorag adalah alat automo sumber terbuka untuk mengoptimumkan saluran paip generasi pengambilan semula (RAG) dengan mengautomasikan eksperimen konfigurasi.
Q2. Kenapa saya perlu menyediakan kunci API OpenAI?
a. Autorag menggunakan model OpenAI untuk menjana pasangan Q & A sintetik, yang penting untuk menilai prestasi saluran paip RAG.
Q3. Apakah fail raw.parquet, dan bagaimana ia dicipta?
~~a. Apabila anda memuat naik PDFS, Autorag mengekstrak teks ke dalam fail parket padat untuk pemprosesan yang cekap. Q4. Kenapa saya perlu memotong teks parsed saya, dan apakah corpus.parquet?~~
~~a. Chunking memecahkan fail teks besar ke segmen yang lebih kecil dan boleh diperolehi. Output disimpan dalam corpus.parquet untuk prestasi RAG yang lebih baik.~~
Q5. Bagaimana jika PDF saya dilindungi kata laluan atau diimbas?
a. PDF yang disulitkan atau berasaskan imej memerlukan penyingkiran kata laluan atau pemprosesan OCR sebelum mereka boleh digunakan dengan Autorag.
Q6. Berapakah kos untuk menjana pasangan Q & A?
a. Kos bergantung kepada saiz korpus, bilangan pasangan Q & A, dan pilihan model OpenAI. Mulakan dengan kelompok kecil untuk menganggarkan perbelanjaan.
Media yang ditunjukkan dalam artikel ini tidak dimiliki oleh Analytics Vidhya dan digunakan pada budi bicara penulis.

Atas ialah kandungan terperinci AUTORAG: Mengoptimumkan saluran paip RAG dengan automl sumber terbuka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!