AUTORAG: Mengoptimumkan saluran paip RAG dengan automl sumber terbuka

Dalam beberapa bulan kebelakangan ini, generasi pengambilan semula (RAG) telah meroket populariti sebagai teknik yang kuat untuk menggabungkan model bahasa yang besar dengan pengetahuan luaran. Walau bagaimanapun, memilih saluran paip yang betul -betul -betul, model embedding, kaedah chunking, pendekatan menjawab soalan -boleh menjadi menakutkan. Dengan konfigurasi yang banyak, bagaimanakah anda dapat memastikan saluran paip mana yang terbaik untuk data anda dan kes penggunaan anda? Di sinilah Autorag masuk.

Objektif Pembelajaran

• memahami asas -asas autorag dan bagaimana ia mengautomasikan pengoptimuman saluran paip RAG.
• Ketahui bagaimana autorag secara sistematik menilai konfigurasi RAG yang berbeza untuk data anda.
• meneroka ciri -ciri utama autorag, termasuk penciptaan data, percubaan saluran paip, dan penempatan.
• Dapatkan pengalaman tangan dengan langkah demi langkah untuk menubuhkan dan menggunakan Autorag.
• Cari Cara Menggunakan Pipeline RAG Terbaik Melakukan Menggunakan Aliran Kerja Automatik Autorag.

Artikel ini diterbitkan sebagai sebahagian daripada Blogathon Sains Data

Jadual Kandungan Apa itu Autorag? AUTORAG ​​ Kesimpulan

Soalan -soalan yang sering ditanya

• Apa itu Autorag?
• Autorag adalah alat sumber terbuka, pembelajaran mesin automatik (AUTOML) yang difokuskan pada RAG. Ia secara sistematik menguji dan menilai komponen saluran paip RAG yang berbeza pada dataset anda sendiri untuk menentukan konfigurasi mana yang terbaik untuk kes penggunaan anda. Dengan menjalankan eksperimen secara automatik (dan mengendalikan tugas seperti penciptaan data, chunking, generasi dataset QA, dan penyebaran saluran paip), Autorag menjimatkan masa dan kerumitan.

  mengapa autorag?

  • Banyak saluran paip dan modul RAG : Terdapat banyak cara yang mungkin untuk mengkonfigurasi saiz chunking teks sistem RAG, embeddings, template prompt, modul retriever, dan lain -lain
  • Eksperimen yang memakan masa : Menguji secara manual setiap saluran paip pada data anda sendiri adalah rumit. Kebanyakan orang tidak pernah melakukannya, bermakna mereka boleh kehilangan prestasi yang lebih baik atau kesimpulan yang lebih cepat.
  • disesuaikan untuk data anda dan gunakan kes : tanda aras generik mungkin tidak mencerminkan seberapa baik saluran paip akan dilakukan pada korpus unik anda. Autorag menghilangkan tekaan dengan membiarkan anda menilai pada pasangan QA sebenar atau sintetik yang diperoleh dari data anda sendiri.

  Ciri Utama

  • Penciptaan data : Autorag membolehkan anda membuat data penilaian RAG dari dokumen mentah anda sendiri, fail PDF, atau sumber teks lain. Hanya memuat naik fail anda, menghirupnya ke dalam mentah. Pengoptimuman
  • : Autorag Automasi menjalankan eksperimen (penalaan hyperparameter, pemilihan saluran paip, dan lain -lain) untuk menemui saluran paip RAG terbaik untuk data anda. Ia mengukur metrik seperti ketepatan, kaitan, dan ketepatan faktual terhadap dataset QA anda untuk menentukan persediaan yang berprestasi tinggi.
  Penyebaran
  • : Sebaik sahaja anda telah mengenal pasti saluran paip terbaik, Autorag membuat penempatan langsung. Konfigurasi YAML tunggal boleh menggunakan saluran paip yang optimum dalam pelayan flask atau persekitaran lain pilihan anda.
  dibina dengan gradio pada memeluk ruang muka

  Antara muka mesra pengguna Autorag dibina menggunakan Gradio, dan mudah untuk mencuba memeluk ruang muka. GUI interaktif bermakna anda tidak memerlukan kepakaran teknikal yang mendalam untuk menjalankan eksperimen ini -hanya ikuti langkah -langkah untuk memuat naik data, memilih parameter, dan menghasilkan hasil.

  bagaimana autorag mengoptimumkan saluran paip rag

  Dengan dataset QA anda di tangan, autorag secara automatik boleh:

  Uji pelbagai jenis retriever
  • (mis., Berasaskan vektor, kata kunci, hibrid).
  Terokai saiz bahagian yang berbeza
  • dan strategi bertindih.
  Menilai model embedding
  • (mis., Embeddings terbuka, memeluk transformer muka).
  Tune Template Prompt
  • untuk melihat yang menghasilkan jawapan yang paling tepat atau relevan. mengukur prestasi terhadap dataset QA anda menggunakan metrik seperti padanan tepat, skor F1, atau metrik khusus domain khusus.
  Setelah eksperimen selesai, anda akan mempunyai:
  • Senarai ranking konfigurasi saluran paip disusun oleh metrik prestasi.
  • pandangan jelas ke mana modul atau parameter menghasilkan hasil terbaik untuk data anda.
  • saluran paip terbaik yang dihasilkan secara automatik yang anda boleh menggunakan terus dari Autorag.

  Menggunakan Pipeline Rag Terbaik

  Apabila anda sudah bersedia untuk pergi secara langsung, Autorag Streamline Deployment:

  • Konfigurasi YAML tunggal : menghasilkan fail YAML yang menerangkan komponen saluran paip anda (retriever, embedder, model penjana, dan lain -lain).
  • Jalankan pada pelayan Flask : Hos saluran paip terbaik anda pada aplikasi flask berasaskan tempatan atau awan untuk integrasi mudah dengan stack perisian anda yang sedia ada.
  gradio/memeluk ruang muka
  • : Secara alternatif, gunakan ruang muka yang memeluk dengan antara muka gradio untuk demo tidak, demo interaktif saluran paip anda.
  mengapa menggunakan Autorag?

  mari kita lihat sekarang mengapa anda harus mencuba Autorag:

  Simpan masa
  • dengan membiarkan autorag mengendalikan pengangkat berat untuk menilai konfigurasi RAG yang banyak.
  Meningkatkan Prestasi
  • dengan saluran paip yang dioptimumkan untuk data dan keperluan unik anda.
  Integrasi Lancar
  • dengan Gradio untuk memeluk ruang muka untuk demo cepat atau penyebaran pengeluaran.
  sumber terbuka
  • dan didorong oleh komuniti, jadi anda boleh menyesuaikan atau melanjutkannya untuk memenuhi keperluan tepat anda.
  Autorag sudah berjalan di GitHub -menyertai komuniti dan lihat bagaimana alat ini dapat merevolusikan aliran kerja RAG anda.

  Bermula

  Semak Autorag pada GitHub:
  • Terokai kod sumber, dokumentasi, dan contoh komuniti.
  Cuba demo Autorag pada memeluk ruang muka
  • : Demo berasaskan Gradio tersedia untuk anda memuat naik fail, membuat data QA, dan bereksperimen dengan konfigurasi saluran paip yang berbeza.
  Sumbangan
  • : Sebagai projek sumber terbuka, Autorag mengalu-alukan PRS, laporan isu, dan cadangan ciri.
  Autorag menghilangkan tekaan dari sistem RAG bangunan dengan mengautomasikan penciptaan data, percubaan saluran paip, dan penempatan. Sekiranya anda mahukan cara yang cepat dan boleh dipercayai untuk mencari konfigurasi kain terbaik untuk data anda, berikan Autorag putaran dan biarkan hasilnya bercakap untuk diri mereka sendiri.

  langkah demi langkah langkah autorag

  aliran kerja penciptaan data, menggabungkan tangkapan skrin yang anda kongsi. Panduan ini akan membantu anda menghuraikan PDFS, memotong data anda, menghasilkan dataset QA, dan menyediakannya untuk eksperimen RAG selanjutnya.

  Langkah 1: Masukkan kunci API Openai anda

  • Buka antara muka Autorag.
  • Dalam bahagian "Autorag Data Penciptaan" (Screenshot #1), anda akan melihat petunjuk meminta kunci API Openai anda.
  • tampal kekunci API anda di dalam kotak teks dan tekan Enter.
  • Setelah dimasukkan, status harus berubah dari "tidak ditetapkan" kepada "sah" (atau serupa), mengesahkan kunci telah diiktiraf.

  Nota: Autorag tidak menyimpan atau log kunci API anda.

  anda juga boleh memilih bahasa pilihan anda (Bahasa Inggeris, 한국어, 日本語) dari sebelah kanan.

  Langkah 2: Mengurangkan fail pdf anda

  • tatal ke "1.Parse fail pdf anda" (Screenshot #2).
  • Klik "Muat naik fail" untuk memilih satu atau lebih dokumen PDF dari komputer anda. Contoh tangkapan skrin menunjukkan fail pdf 2.1 mb bernama 66EB856E019E ... ic ... pdf.
  • Pilih kaedah parsing dari dropdown.
  • Pilihan biasa termasuk pdfminer, pdfplumber, dan pymupdf.
  • Setiap parser mempunyai kekuatan dan batasan, jadi pertimbangkan untuk menguji pelbagai kaedah jika anda menghadapi masalah parsing.
  • Klik "Run Parsing" (atau butang tindakan yang setara). Autorag akan membaca PDF anda dan mengubahnya menjadi fail raw.parquet tunggal.
  • Pantau kotak teks untuk kemas kini kemajuan.
  • Apabila parsing selesai, klik "Muat turun Raw.parquet" untuk menyimpan hasilnya secara tempatan atau ke ruang kerja anda.

  Petua: Fail Raw.parquet adalah data teks yang dihuraikan anda. Anda boleh memeriksanya dengan mana -mana alat yang menyokong parket jika diperlukan.

  

  Langkah 3: Bahagian Raw.parquet anda
  Pindah ke "2. Bahagian Raw.parquet anda "(Screenshot #3).
  Jika anda menggunakan langkah sebelumnya, anda boleh memilih "Gunakan Raw.parquet sebelumnya" untuk memuatkan fail secara automatik. Jika tidak, klik "Muat naik" untuk membawa fail anda sendiri.

  Pilih kaedah chunking:

  • token : ketulan dengan bilangan token yang ditentukan.
  • ayat : Pecahan teks dengan sempadan kalimat.
  • semantik : mungkin menggunakan pendekatan berasaskan embedding untuk teks yang sama secara semantik.
  • Rekursif : boleh bahagian pada pelbagai peringkat untuk segmen lebih banyak.
  sekarang tetapkan saiz bahagian dengan gelangsar (mis., 256 token) dan tumpang tindih (mis., 32 token). Tumpang tindih membantu memelihara konteks di seluruh sempadan.
  Klik "
  • Run Chunking ".
  Tonton
  • TextBox untuk pengesahan atau kemas kini status.
  Selepas siap, "" untuk mendapatkan dataset baru anda.

Kenapa chunking?

Chunking memecahkan teks anda ke dalam kepingan yang boleh diurus bahawa kaedah pengambilan semula dapat dikendalikan dengan cekap. Ia mengimbangi konteks dengan kaitan supaya sistem RAG anda tidak melebihi had token atau fokus topik cair.

Langkah 4: Buat dataset QA dari corpus.parquet

dalam "3. Buat dataset QA dari bahagian corpus.parquet anda "(screenshot #4), muat naik atau pilih corpus.parquet anda.

Pilih kaedah QA:

• Default : Pendekatan asas yang menghasilkan pasangan Q & A.
• cepat : mengutamakan kelajuan dan mengurangkan kos, mungkin dengan mengorbankan detail yang lebih kaya.
• Advanced : Boleh menghasilkan lebih banyak pasangan Q & A yang kaya dengan konteks tetapi boleh menjadi lebih mahal atau lebih perlahan.

Pilih Model untuk Penciptaan Data:

Contoh pilihan termasuk GPT-4O-Mini atau GPT-4O (antara muka anda mungkin menyenaraikan model tambahan).
Model yang dipilih menentukan kualiti dan gaya soalan dan jawapan.

Bilangan pasangan QA:

slider biasanya berjalan dari 20 hingga 150. Untuk larian pertama, simpannya kecil (mis., 20 atau 30) untuk mengehadkan kos.

saiz batch untuk model terbuka:

Default kepada 16, yang bermaksud 16 Q & A pasangan setiap permintaan batch. Menurunkannya jika anda melihat kesilapan kadar had.

Klik "

Run QA Penciptaan

". Kemas kini status muncul dalam kotak teks. pernah selesai,

muat turun

qa.parquet untuk mengambil dataset Q & A yang dibuat secara automatik. Amaran Kos: Menjana data Q & A memanggil API OpenAI, yang menanggung yuran penggunaan. Pantau penggunaan anda di halaman pengebilan terbuka jika anda merancang untuk menjalankan kelompok besar.

Langkah 5: Menggunakan dataset QA anda

sekarang bahawa anda mempunyai:

corpus.parquet (data dokumen chunked anda)

qa.parquet (pasangan Q & A dihasilkan secara automatik)
• anda boleh memberi makan kepada aliran kerja penilaian dan pengoptimuman Autorag:

Menilai konfigurasi RAG berganda

-test pengambilan yang berbeza, saiz bahagian, dan model embedding untuk melihat kombinasi mana yang terbaik menjawab soalan -soalan dalam qa.parquet.
• Metrik prestasi metrik
(perlawanan tepat, F1, atau kriteria khusus domain) untuk mengenal pasti saluran paip yang optimum.
• Deploy
saluran paip terbaik anda melalui satu fail config yaml -autorag boleh berputar pelayan flask atau titik akhir lain.

Langkah 6: Sertai senarai Waitlist Studio Penciptaan Data (Pilihan)

Jika anda ingin menyesuaikan dataset QA yang dihasilkan secara automatik-menyunting soalan, menapis topik tertentu, atau menambah garis panduan khusus domain-Autorag menawarkan studio penciptaan data. Daftar untuk senarai tunggu secara langsung di antara muka dengan mengklik "Sertai Data Penciptaan Studio Waitlist."

Kesimpulan
Autorag menawarkan pendekatan yang diselaraskan dan automatik untuk mengoptimumkan saluran paip generasi pengambilan semula (RAG), menjimatkan masa dan usaha yang berharga dengan menguji konfigurasi yang berbeza yang disesuaikan dengan dataset khusus anda. Dengan memudahkan penciptaan data, chunking, generasi dataset QA, dan penyebaran saluran paip, Autorag memastikan anda dapat dengan cepat mengenal pasti persediaan RAG yang paling berkesan untuk kes penggunaan anda. Dengan antara muka dan integrasi yang mesra pengguna dengan model OpenAI, Autorag menyediakan kedua-dua pengguna baru dan berpengalaman sebagai alat yang boleh dipercayai untuk meningkatkan prestasi sistem RAG dengan cekap.

Takeaways Key

Autorag mengautomasikan proses mengoptimumkan saluran paip RAG untuk prestasi yang lebih baik.
• Ia membolehkan pengguna membuat dan menilai dataset tersuai yang disesuaikan dengan keperluan data mereka.
• alat ini memudahkan penggunaan saluran paip terbaik dengan hanya satu konfigurasi yaml.
• Sumber sumber terbuka Autorag memupuk penambahbaikan dan penyesuaian yang didorong oleh komuniti.
Soalan Lazim

Q1. Apa itu Autorag, dan mengapa ia berguna?

a. Autorag adalah alat automo sumber terbuka untuk mengoptimumkan saluran paip generasi pengambilan semula (RAG) dengan mengautomasikan eksperimen konfigurasi.

Q2. Kenapa saya perlu menyediakan kunci API OpenAI?

a. Autorag menggunakan model OpenAI untuk menjana pasangan Q & A sintetik, yang penting untuk menilai prestasi saluran paip RAG.

Q3. Apakah fail raw.parquet, dan bagaimana ia dicipta?

a. Apabila anda memuat naik PDFS, Autorag mengekstrak teks ke dalam fail parket padat untuk pemprosesan yang cekap. Q4. Kenapa saya perlu memotong teks parsed saya, dan apakah corpus.parquet?

a. Chunking memecahkan fail teks besar ke segmen yang lebih kecil dan boleh diperolehi. Output disimpan dalam corpus.parquet untuk prestasi RAG yang lebih baik.

Q5. Bagaimana jika PDF saya dilindungi kata laluan atau diimbas?

a. PDF yang disulitkan atau berasaskan imej memerlukan penyingkiran kata laluan atau pemprosesan OCR sebelum mereka boleh digunakan dengan Autorag.

Q6. Berapakah kos untuk menjana pasangan Q & A?

a. Kos bergantung kepada saiz korpus, bilangan pasangan Q & A, dan pilihan model OpenAI. Mulakan dengan kelompok kecil untuk menganggarkan perbelanjaan.

Media yang ditunjukkan dalam artikel ini tidak dimiliki oleh Analytics Vidhya dan digunakan pada budi bicara penulis.

Atas ialah kandungan terperinci AUTORAG: Mengoptimumkan saluran paip RAG dengan automl sumber terbuka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!