Bagaimana Membina Sistem Rag Menggunakan DeepSeek R1?-AI-php.cn

Saya telah membaca banyak tentang ejen RAG dan AI, tetapi dengan pelepasan model baru seperti DeepSeek V3 dan Deepseek R1, nampaknya kemungkinan membina sistem RAG yang cekap telah bertambah baik, menawarkan ketepatan pengambilan yang lebih baik, keupayaan penalaran yang dipertingkatkan, dan arkitek yang lebih berskala untuk aplikasi dunia nyata. Penyepaduan mekanisme pengambilan yang lebih canggih, peningkatan pilihan penalaan halus, dan keupayaan multi-modal mengubah bagaimana agen AI berinteraksi dengan data. Ia menimbulkan persoalan sama ada pendekatan kain tradisional masih menjadi cara terbaik ke hadapan atau jika seni bina yang lebih baru dapat memberikan penyelesaian yang lebih efisien dan kontekstual. Sistem pengambilan semula (RAG)

sistem telah merevolusikan cara model AI berinteraksi dengan data dengan menggabungkan pendekatan berasaskan pengambilan semula dan generatif untuk menghasilkan tindak balas yang lebih tepat dan konteks. Dengan kedatangan

DeepSeek R1

, model sumber terbuka yang dikenali untuk kecekapan dan keberkesanan kosnya, membina sistem RAG yang berkesan telah menjadi lebih mudah dan praktikal. Dalam artikel ini, kami sedang membina sistem RAG menggunakan DeepSeek R1. Jadual Kandungan Apakah DeepSeek R1?

Apakah DeepSeek R1?

adalah model AI sumber terbuka yang dibangunkan dengan matlamat menyediakan keupayaan penalaran dan pengambilan yang berkualiti tinggi di sebahagian kecil daripada kos model proprietari seperti tawaran OpenAI. Ia mempunyai lesen MIT, menjadikannya secara komersil dan sesuai untuk pelbagai aplikasi. Juga, model yang kuat ini, membolehkan anda melihat katil tetapi Openai O1 dan O1-Mini tidak menunjukkan sebarang token.
Untuk mengetahui bagaimana DeepSeek R1 mencabar model Openai O1: DeepSeek R1 vs Openai O1: Mana yang lebih cepat, lebih murah dan lebih bijak?

1. Keupayaan Penalaran Lanjutan

: DeepSeek-R1 memancarkan penalaran seperti manusia dengan menganalisis dan memproses langkah-langkah langkah demi langkah sebelum mencapai kesimpulan. Pendekatan ini meningkatkan keupayaan sistem untuk mengendalikan pertanyaan yang kompleks, terutamanya di kawasan yang memerlukan kesimpulan logik, penalaran matematik, dan tugas pengekodan.

2. Kebolehcapaian sumber terbuka

: Dikeluarkan di bawah lesen MIT, DeepSeek-R1 adalah sumber terbuka sepenuhnya, yang membolehkan pemaju akses tidak terhad kepada modelnya. Keterbukaan ini memudahkan penyesuaian, penalaan halus, dan integrasi ke dalam pelbagai aplikasi tanpa kekangan yang sering dikaitkan dengan model proprietari.

3. Prestasi yang kompetitif : Ujian penanda aras menunjukkan bahawa DeepSeek-R1 melakukan setanding dengan, atau bahkan melampaui, model terkemuka seperti Openai's O1 dalam tugas yang melibatkan penalaran, matematik, dan pengekodan. Tahap prestasi ini memastikan bahawa sistem RAG yang dibina dengan DeepSeek-R1 dapat memberikan respons yang berkualiti tinggi dan tepat merentasi pertanyaan yang pelbagai dan mencabar.

4. Ketelusan dalam Proses Pemikiran : DeepSeek-R1 menggunakan metodologi "rantai-of-shought", menjadikan langkah-langkah penalarannya dapat dilihat semasa kesimpulan. Ketelusan ini membantu menyahpepijat dan memperbaiki sistem semasa membina kepercayaan pengguna dengan memberikan pandangan yang jelas ke dalam proses membuat keputusan.

5. Keberkesanan Kos : Sifat sumber terbuka DeepSeek-R1 menghapuskan yuran pelesenan, dan seni bina yang cekap mengurangkan keperluan sumber pengiraan. Faktor-faktor ini menyumbang kepada penyelesaian yang lebih kos efektif untuk organisasi yang ingin melaksanakan sistem RAG yang canggih tanpa menanggung perbelanjaan yang ketara.

Mengintegrasikan DeepSeek-R1 ke dalam sistem RAG memberikan gabungan kuat kebolehan penalaran, ketelusan, prestasi, dan kecekapan kos, menjadikannya pilihan yang menarik untuk pemaju dan organisasi yang bertujuan untuk meningkatkan keupayaan AI mereka.
Langkah -langkah untuk membina sistem RAG menggunakan DeepSeek R1

skrip adalah saluran paip generasi pengambilan semula (RAG) yang:

memuatkan dan memproses dokumen PDF dengan memisahkannya ke halaman dan mengeluarkan teks.

menyimpan perwakilan vektor teks dalam pangkalan data (ChromAdb).

mengambil semula kandungan yang relevan menggunakan carian persamaan apabila pertanyaan diminta.

menggunakan LLM (model DeepSeek) untuk menghasilkan respons berdasarkan teks yang diambil.

Pasang prasyarat

Muat turun Ollama: Klik di sini untuk memuat turun

untuk pengguna Linux: jalankan arahan berikut di terminal anda:

curl -fsSL https://ollama.com/install.sh | sh
Salin selepas log masuk
Salin selepas log masuk
selepas ini menarik DeepSeek R1: 1.5b menggunakan:

ollama pull deepseek-r1:1.5b
Salin selepas log masuk
Salin selepas log masuk
ini akan mengambil sedikit masa untuk memuat turun:

ollama pull deepseek-r1:1.5b pulling manifest pulling aabd4debf0c8... 100% ▕████████████████▏ 1.1 GB pulling 369ca498f347... 100% ▕████████████████▏ 387 B pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB pulling f4d24e9138dd... 100% ▕████████████████▏ 148 B pulling a85fe2a2e58e... 100% ▕████████████████▏ 487 B verifying sha256 digest writing manifest success
Salin selepas log masuk
Salin selepas log masuk
Setelah melakukan ini, buka buku nota Jupyter anda dan mulakan dengan bahagian pengekodan:

1. Pasang ketergantungan

Sebelum berlari, skrip memasang perpustakaan Python yang diperlukan:

Langchain → Rangka Kerja untuk Bangunan Aplikasi Menggunakan Model Bahasa Besar (LLMS).

Langchain-Openai → Menyediakan Integrasi dengan Perkhidmatan Terbuka.

langchain-community → menambah sokongan untuk pelbagai pemuat dan utiliti dokumen.

Langchain-Chroma → Membolehkan integrasi dengan ChromAdb, pangkalan data vektor.

2. Masukkan Kunci API Terbuka

Untuk mengakses model penyembuhan OpenAI, skrip menggesa pengguna untuk memasuki kunci API mereka menggunakan Getpass (). Ini menghalang mendedahkan kelayakan dalam teks biasa.
3. Sediakan pembolehubah persekitaran

skrip
menyimpan kekunci API sebagai pemboleh ubah persekitaran. Ini membolehkan bahagian lain kod untuk mengakses Perkhidmatan Terbuka tanpa kelayakan Hardcoding , yang meningkatkan keselamatan.
4. Inisialisasi Embeddings Openai

Skrip memulakan model embedding terbuka yang dipanggil "teks-embedding-3-kecil". Model ini
menukarkan teks ke dalam embeddings vektor , yang merupakan perwakilan berangka dimensi tinggi dari makna teks. Lembutan ini kemudiannya digunakan untuk membandingkan dan mengambil kandungan serupa .
5. Muatkan dan pecahkan dokumen PDF

fail pdf (agenticai.pdf) adalah
dimuatkan dan dibahagikan kepada halaman . Setiap teks halaman diekstrak, yang membolehkan lebih kecil dan lebih mudah diuruskan ketulan teks daripada memproses keseluruhan dokumen sebagai satu unit.
6. Buat dan simpan pangkalan data vektor

teks yang diekstrak dari pdf adalah
ditukar menjadi embeddings vektor .
Embeddings ini
disimpan dalam ChromAdb , pangkalan data vektor berprestasi tinggi .
Pangkalan data menggunakan
kesamaan kosinus , memastikan pengambilan teks yang cekap dengan tahap persamaan semantik yang tinggi.

7. Ambil teks yang sama menggunakan ambang persamaan

A dibuat menggunakan Chromadb, yang:

dokumen berdasarkan pertanyaan yang diberikan. hasil penapis berdasarkan ambang persamaan 0.3, yang bermaksud dokumen mestilah mempunyai kesamaan sekurang -kurangnya 30% untuk memenuhi syarat sebagai relevan.

dua pertanyaan ujian digunakan:

"Apakah ibukota lama India?"

- , yang menunjukkan bahawa dokumen yang disimpan tidak mengandungi maklumat yang relevan.
"Apa itu Agentic Ai?"
- , menunjukkan bahawa sistem boleh mengambil konteks yang bermakna.

skrip menetapkan saluran paip

, yang memastikan bahawa:

Pengambilan teks berlaku sebelum menghasilkan jawapan.

Respons Model adalah berdasarkan ketat pada kandungan yang diambil , mencegah halusinasi.

A digunakan untuk mengarahkan model untuk menghasilkan respons berstruktur.

10. Muatkan sambungan ke LLM (Model DeepSeek)

Daripada Openai's GPT, skrip

memuatkan DeepSeek-R1 (parameter 1.5B) , LLM yang kuat dioptimumkan untuk tugas-tugas berasaskan pengambilan semula.

11. Buat rantai berasaskan RAG

modul Langchain's

Retrieval digunakan untuk:

mengambil kandungan yang relevan dari pangkalan data vektor.
Format tindak balas berstruktur menggunakan template prompt.
menghasilkan jawapan ringkas dengan model DeepSeek.

12. Uji rantai kain

skrip menjalankan pertanyaan ujian:

"Beritahu perspektif pemimpin mengenai agentik ai"

llm menghasilkan tindak balas berasaskan fakta dengan ketat menggunakan konteks yang diambil.

Sistem

mengambil maklumat yang relevan dari pangkalan data .

kod untuk membina sistem rag menggunakan deepseek r1

inilah kod:

Pasang kebergantungan terbuka dan langchain

curl -fsSL https://ollama.com/install.sh | sh

Salin selepas log masuk

masukkan kunci AI API terbuka

ollama pull deepseek-r1:1.5b

Salin selepas log masuk

Pembolehubah Persekitaran Persediaan

ollama pull deepseek-r1:1.5b

pulling manifest
pulling aabd4debf0c8... 100% ▕████████████████▏ 1.1 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling a85fe2a2e58e... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success

Salin selepas log masuk

Buka model embedding AI

!pip install langchain==0.3.11
!pip install langchain-openai==0.2.12
!pip install langchain-community==0.3.11
!pip install langchain-chroma==0.1.4

Salin selepas log masuk

Buat vektor db dan berterusan pada cakera

from getpass import getpass
OPENAI_KEY = getpass('Enter Open AI API Key: ')

Salin selepas log masuk

persamaan dengan pengambilan ambang

import os
os.environ['OPENAI_API_KEY'] = OPENAI_KEY

Salin selepas log masuk

from langchain_openai import OpenAIEmbeddings
openai_embed_model = OpenAIEmbeddings(model='text-embedding-3-small')

Salin selepas log masuk

from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader('AgenticAI.pdf')
pages = loader.load_and_split()
texts = [doc.page_content for doc in pages]

from langchain_chroma import Chroma
chroma_db = Chroma.from_texts(
texts=texts,
collection_name='db_docs',
collection_metadata={"hnsw:space": "cosine"}, # Set distance function to cosine
embedding=openai_embed_model
)

Salin selepas log masuk

~~Bina rantai kain~~

Muatkan sambungan ke LLM

similarity_threshold_retriever = chroma_db.as_retriever(search_type="similarity_score_threshold",search_kwargs={"k": 3,"score_threshold": 0.3})

query = "what is the old capital of India?"
top3_docs = similarity_threshold_retriever.invoke(query)
top3_docs

Salin selepas log masuk

sintaks langchain untuk rantai kain

[]

Salin selepas log masuk

query = "What is Agentic AI?"
top3_docs = similarity_threshold_retriever.invoke(query)
top3_docs

Salin selepas log masuk

checkout artikel terperinci kami mengenai kerja dan perbandingan DeepSeek dengan model yang serupa: Bagaimana Membina Sistem Rag Menggunakan DeepSeek R1?

DeepSeek R1- Openai's O1 terbesar pesaing di sini!

Kesimpulan

Membina sistem RAG menggunakan

DeepSeek R1

menyediakan cara yang kos efektif dan berkuasa untuk meningkatkan pengambilan dokumen dan penjanaan tindak balas. Dengan sifat sumber terbuka dan keupayaan penalaran yang kuat, ia adalah alternatif yang hebat untuk penyelesaian proprietari. Perniagaan dan pemaju boleh memanfaatkan fleksibiliti untuk membuat aplikasi yang didorong oleh AI yang disesuaikan dengan keperluan mereka.

~~Ingin membina aplikasi menggunakan DeepSeek? Semak kursus DeepSeek percuma kami hari ini!~~

Atas ialah kandungan terperinci Bagaimana Membina Sistem Rag Menggunakan DeepSeek R1?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!