Sistem Rag untuk Penalaran AI dengan Model Sulingan DeepSeek R1

DeepSeek R1: Model Bahasa Sumber Terbuka Revolusioner

DeepSeek, permulaan AI Cina, melancarkan Deepseek R1 pada Januari 2025, model bahasa sumber terbuka yang mencabar model terkemuka seperti Openai's O1. Campuran unik campuran-of-experts (MOE) yang unik, pembelajaran tetulang, dan penekanan pada penalaran membezakannya. Mempunyai 671 bilion parameter, ia bijak mengaktifkan hanya 37 bilion setiap permintaan, mengoptimumkan kecekapan pengiraan. Deepseek R1's Advanced Resconse disuling ke dalam model sumber terbuka yang lebih kecil dan boleh diakses seperti Llama dan Qwen, yang disempurnakan dengan menggunakan data yang dihasilkan oleh model DeepSeek R1 utama.

Butir-butir tutorial ini membina sistem Generasi Augmented Generasi (RAG) yang menggunakan model DeepSeek-R1-Distill-Llama-8B-A Llama 3.1 8b model yang disesuaikan dengan data yang dihasilkan oleh R1.

Objektif Pembelajaran Utama:

Genggam Seni Bina, Inovasi, dan Teknik Pembelajaran Deepseek R1.

Memahami Peranan Pengoptimuman Dasar Relatif Kumpulan (GRPO) dalam meningkatkan penalaran.
Menganalisis prestasi dan kecekapan penanda aras DeepSeek R1 berbanding pesaing.
Melaksanakan sistem RAG menggunakan model llama dan qwen sulingan Deepseek R1.
(artikel ini adalah sebahagian daripada Blogathon Sains Data.)

Jadual Kandungan:

Memperkenalkan DeepSeek R1

ciri -ciri membezakan DeepSeek R1
pembelajaran tetulang di deepseek r1
GRPO in Deepseek R1
prestasi penanda aras DeepSeek R1
Model sulingan DeepSeek R1
Membina sistem RAG dengan DeepSeek-R1-Distill-Qwen-1.5b
Kesimpulan
Soalan Lazim
Memperkenalkan DeepSeek R1:

DeepSeek R1 dan pendahulunya, DeepSeek R1-Zero, adalah model penalaran perintis. Deepseek R1-Zero, dilatih semata-mata melalui pembelajaran tetulang berskala besar (RL) tanpa penyelidikan yang diselia (SFT), mempamerkan kebolehan penalaran yang mengagumkan. Walau bagaimanapun, ia mengalami masalah pembacaan dan bahasa pencampuran. DeepSeek R1 menangani batasan-batasan ini dengan menggabungkan data "permulaan sejuk" sebelum RL, menyediakan asas yang mantap untuk tugas-tugas penalaran dan bukan munasabah.

Ciri -ciri membezakan DeepSeek R1:

Senibina dan Kecekapan Lanjutan DeepSeek R1 Menetapkan semula prestasi AI.

Inovasi utama termasuk:

• MOE Architecture: Tidak seperti model Transformer Standard, Arkitek MOE DeepSeek R1 mengaktifkan hanya 37 bilion parameter 671 bilionnya setiap permintaan, meningkatkan kecekapan dan mengurangkan kos.
• Pembelajaran Penguatkuasaan: RL meningkatkan keupayaan penalaran, menghapuskan keperluan untuk model fungsi nilai yang berasingan, menyelaraskan penalaan halus.
• keberkesanan kos: Dilatih menggunakan sumber yang lebih sedikit (2,000 NVIDIA GPU, ~ $ 5.6 juta) daripada projek yang setanding, ia menawarkan kos API yang jauh lebih rendah.
Prestasi penanda aras unggul:
• DeepSeek R1 secara konsisten mengatasi pesaing mengenai ketepatan dan ujian persentil (mis., 79.8% pada AIME 2024, 96.3% pada codeforces). Skalabiliti:
versi "sulingan" (1.5B hingga 70B parameter) Pastikan kebolehaksesan di pelbagai perkakasan.
• Pengendalian konteks yang panjang:
menyokong token 128k, menguruskan tugas-tugas yang kaya dengan konteks.
Pembelajaran Penguatkuasaan di DeepSeek R1:

Penggunaan inovatif DeepSeek R1 RL mewakili peralihan paradigma dari kaedah tradisional. Ia memanfaatkan:

Pure RL:

terutamanya bergantung pada RL, memintas penalaan halus yang diselia biasa.

• evolusi diri: Memperbaiki prestasi melalui percubaan dan kesilapan berulang.
• Ketepatan & Format Ganjaran: Ganjaran ramalan yang tepat dan respons berstruktur yang baik.
• pemikiran rantaian (COT): menyatakan proses penalaran langkah demi langkah.
• Kecekapan: mengutamakan kualiti data berbanding kuantiti semata -mata.
• gabungan RL dan SFT: menggabungkan data "permulaan sejuk" berkualiti tinggi dengan RL dan SFT untuk output yang koheren.
• grpo dalam deepseek R1:
GRPO (pengoptimuman dasar relatif kumpulan) meningkatkan penalaran LLM. Ia bertambah baik dengan PPO dengan menghapuskan keperluan untuk model fungsi nilai.

Langkah -langkah GRPO termasuk: output pensampelan, pemarkahan ganjaran, pengiraan kelebihan (relatif kepada purata kumpulan), dan pengoptimuman dasar.

prestasi penanda aras DeepSeek R1:

keputusan penanda aras yang mengagumkan DeepSeek R1 termasuk:

math-500: 97.3% (melampaui Openai's O1-1217).

swe-bench disahkan:

49.2%.
• aime 2024:
setanding dengan OpenAI OpenAI-O1-1217.
Model sulingan DeepSeek R1:
• Pengetahuan DeepSeek R1 disuling ke dalam model yang lebih kecil menggunakan dataset 800,000 contoh Deepseek R1 yang dihasilkan. Ini membolehkan pemindahan keupayaan pemikiran yang cekap kepada model seperti Llama dan Qwen.

  Membina sistem RAG dengan deepseek-r1-distill-qwen-1.5b:

  Kesimpulan:

  DeepSeek R1 menandakan kemajuan yang signifikan dalam penalaran model bahasa, menggunakan RL tulen dan teknik inovatif untuk prestasi dan kecekapan unggul. Model sulingnya menjadikan penalaran maju boleh diakses dengan pelbagai aplikasi yang lebih luas.

  Soalan -soalan yang sering ditanya:

  (Bahagian ini akan mengandungi jawapan kepada soalan yang sering ditanya mengenai DeepSeek R1, sama dengan teks asal.)

  (nota: URL imej kekal tidak berubah.)

Atas ialah kandungan terperinci Sistem Rag untuk Penalaran AI dengan Model Sulingan DeepSeek R1. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!