Berjalan Olmo-2 secara tempatan dengan Vission dan Langchain

Olmo 2: LLM sumber terbuka yang kuat untuk AI

boleh diakses

bidang pemprosesan bahasa semulajadi (NLP) telah melihat kemajuan pesat, terutamanya dengan model bahasa yang besar (LLM). Walaupun model proprietari telah didominasi secara historis, alternatif sumber terbuka dengan cepat menutup jurang. Olmo 2 mewakili lonjakan yang ketara ke hadapan, menawarkan prestasi yang setanding dengan model sumber tertutup sambil mengekalkan ketelusan dan akses sepenuhnya. Artikel ini menyelidiki Olmo 2, meneroka latihan, prestasi, dan aplikasi praktikalnya.

Titik pembelajaran utama:

• memahami kepentingan sumber terbuka LLMS dan sumbangan Olmo 2 kepada penyelidikan AI.
• memahami seni bina, kaedah latihan, dan hasil penanda aras Olmo 2.
• Membezakan antara arkitek model terbuka, sebahagian terbuka, dan terbuka sepenuhnya.
• belajar untuk menjalankan Olmo 2 secara tempatan menggunakan Gradio dan Langchain.
• Bina aplikasi chatbot menggunakan Olmo 2 dengan contoh kod python.

(artikel ini adalah sebahagian daripada Blogathon Sains Data.)

Jadual Kandungan:

• Keperluan untuk LLMS sumber terbuka
• memperkenalkan Olmo 2
• Dekonstruksi Latihan Olmo 2
• meneroka keupayaan Olmo 2
• membina chatbot dengan Olmo 2
• Kesimpulan
• Soalan Lazim

Permintaan untuk LLMS sumber terbuka

Penguasaan awal LLMS proprietari menimbulkan kebimbangan mengenai kebolehcapaian, ketelusan, dan kecenderungan. LLM sumber terbuka menangani isu-isu ini dengan memupuk kerjasama dan membolehkan pengawasan, pengubahsuaian, dan penambahbaikan. Pendekatan terbuka ini penting untuk memajukan bidang dan memastikan akses yang saksama kepada teknologi LLM.

Projek OLMO Institut Allen Institute for AI (AI2) mencontohkan komitmen ini. Olmo 2 melampaui hanya melepaskan berat model; Ia menyediakan data latihan, kod, resipi latihan, pusat pemeriksaan pertengahan, dan model yang disalurkan. Pelepasan komprehensif ini menggalakkan kebolehulangan dan inovasi selanjutnya.

Memahami Olmo 2

Olmo 2 meningkat dengan ketara pada pendahulunya, Olmo-0424. Model parameter 7B dan 13B menunjukkan prestasi yang setanding dengan, atau melebihi, model terbuka yang sama, walaupun menyaingi model berat terbuka seperti Llama 3.1 pada tanda aras akademik Inggeris-pencapaian yang luar biasa memandangkan flop latihan yang dikurangkan.

Penambahbaikan utama termasuk:

• Keuntungan prestasi yang besar: Olmo-2 (7b dan 13b) menunjukkan peningkatan yang ketara terhadap model Olmo yang terdahulu, menunjukkan kemajuan dalam seni bina, data, atau metodologi latihan.
• Kompetitif dengan Map-Neo-7b: Olmo-2, terutamanya versi 13b, mencapai skor yang setanding dengan Map-Neo-7b, garis dasar yang kuat di kalangan model terbuka sepenuhnya.

kaedah latihan Olmo 2

seni bina Olmo 2 dibina pada Olmo yang asal, menggabungkan penambahbaikan untuk kestabilan dan prestasi yang lebih baik. Proses latihan terdiri daripada dua peringkat:

1. Latihan Yayasan: Menggunakan dataset Olmo-Mix-1124 (kira-kira 3.9 trilion token dari pelbagai sumber terbuka) untuk menubuhkan asas yang mantap untuk pemahaman bahasa.
2. Refinement and Pengkhususan: menggunakan dataset Dolmino-Mix-1124, campuran data web yang berkualiti tinggi dan data khusus domain (kandungan akademik, forum Q & A, data arahan, buku kerja matematik), untuk memperbaiki pengetahuan dan kemahiran model. "Model Souping" terus meningkatkan pusat pemeriksaan akhir.

Tahap keterbukaan dalam LLMS

Sejak Olmo-2 adalah model terbuka sepenuhnya, mari kita jelaskan perbezaan antara tahap keterbukaan model yang berbeza:

model terbuka:
• hanya berat model yang dikeluarkan.
Model terbuka sebahagiannya:
• Lepaskan beberapa maklumat tambahan di luar berat, tetapi bukan gambaran lengkap proses latihan.
Model terbuka sepenuhnya:
• Menyediakan ketelusan lengkap, termasuk berat, data latihan, kod, resipi, dan pusat pemeriksaan. Ini membolehkan reproducibility penuh.
Jadual yang meringkaskan perbezaan utama disediakan di bawah.

Menjelajah dan menjalankan Olmo 2 tempatan

Olmo 2 mudah diakses. Arahan untuk memuat turun model dan data, bersama -sama dengan kod latihan dan metrik penilaian, tersedia. Untuk menjalankan Olmo 2 tempatan, gunakan Ollama. Selepas pemasangan, hanya jalankan ollama run olmo2:7b dalam baris arahan anda. Perpustakaan yang diperlukan (Langchain dan Gradio) boleh dipasang melalui PIP.

Membina chatbot dengan Olmo 2

Kod Python berikut menunjukkan membina chatbot menggunakan Olmo 2, Gradio, dan Langchain:

import gradio as gr
from langchain_core.prompts import ChatPromptTemplate
from langchain_ollama.llms import OllamaLLM

def generate_response(history, question):
    template = """Question: {question}

    Answer: Let's think step by step."""
    prompt = ChatPromptTemplate.from_template(template)
    model = OllamaLLM(model="olmo2")
    chain = prompt | model
    answer = chain.invoke({"question": question})
    history.append({"role": "user", "content": question})
    history.append({"role": "assistant", "content": answer})
    return history

with gr.Blocks() as iface:
    chatbot = gr.Chatbot(type='messages')
    with gr.Row():
        with gr.Column():
            txt = gr.Textbox(show_label=False, placeholder="Type your question here...")
    txt.submit(generate_response, [chatbot, txt], chatbot)

iface.launch()

Kod ini menyediakan antara muka chatbot asas. Aplikasi yang lebih canggih boleh dibina atas asas ini. Contoh output dan arahan ditunjukkan dalam artikel asal.

Kesimpulan

Olmo 2 mewakili sumbangan penting kepada ekosistem LLM sumber terbuka. Prestasi yang kuat, digabungkan dengan ketelusan penuhnya, menjadikannya alat yang berharga bagi penyelidik dan pemaju. Walaupun tidak unggul secara universal merentasi semua tugas, alam semulajadi terbuka memupuk kerjasama dan mempercepatkan kemajuan dalam bidang AI yang boleh diakses dan telus.

Takeaways utama:

• Model parameter 13B Olmo-2 menunjukkan prestasi yang sangat baik pada pelbagai tanda aras, mengatasi model terbuka yang lain.
• keterbukaan model penuh memudahkan pembangunan model yang lebih berkesan.
• Contoh chatbot mempamerkan kemudahan integrasi dengan Langchain dan Gradio.

Soalan Lazim (Soalan Lazim) (Soalan Lazim dari artikel asal dimasukkan di sini.)

(nota: URL imej kekal tidak berubah.)

Atas ialah kandungan terperinci Berjalan Olmo-2 secara tempatan dengan Vission dan Langchain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!