首頁 > 科技週邊 > 人工智慧 > 與Gradio和Langchain在本地運行Olmo-2

與Gradio和Langchain在本地運行Olmo-2

William Shakespeare
發布: 2025-03-06 10:55:08
原創
944 人瀏覽過

> olmo 2:功能強大的開源LLM,用於可訪問的AI

>自然語言處理領域(NLP)已經取得了迅速的進步,尤其是大型語言模型(LLMS)。儘管專有模型在歷史上一直占主導地位,但開源替代方案正在迅速縮小差距。 Olmo 2代表著一個重大的飛躍,提供的性能與封閉式模型相當,同時保持完全透明度和可訪問性。本文深入研究Olmo 2,探索其培訓,性能和實際應用。

密鑰學習點:

    掌握了開源LLM和Olmo 2對AI研究的重要性。
  • >了解Olmo 2的架構,培訓方法和基準結果。
  • 區分開放重量,部分打開和完全開放的模型體系結構。
  • 學習使用Gradio和Langchain在本地學習Olmo 2。
  • >使用python代碼示例的Olmo 2構建聊天機器人應用程序。
  • (本文是數據科學博客馬拉鬆的一部分。) 目錄的
  • 表:

需要開源LLMS

介紹Olmo 2

解構Olmo 2的培訓>

探索Olmo 2的功能
  • >使用Olmo 2
  • 構建聊天機器人
  • 結論
  • 常見問題
  • >
  • 開源LLMS
  • 的需求 專有LLM的最初主導地位引起了人們對可及性,透明度和偏見的擔憂。 開源LLM通過促進協作並允許進行審查,修改和改進來解決這些問題。 這種開放的方法對於推進該領域並確保公平訪問LLM技術至關重要。 艾倫AI研究所(AI2)的Olmo項目舉例說明了這一承諾。 Olmo 2不僅僅是簡單地釋放模型權重。它提供培訓數據,代碼,培訓配方,中間檢查點和指導調整的模型。這個全面的版本促進了可重複性和進一步的創新。
  • 理解Olmo 2

Olmo 2在其前身OLMO-0424上顯著改善。 它的7B和13B參數模型表明性能可與類似或超過類似的完全開放的模型相當,甚至可以與英語學術基准上的Llama 3.1(如Llama 3.1)相提並論,這是考慮到減少的培訓拖船的顯著成就。

關鍵改進包括:

  • 實質性績效提高: olmo-2(7b和13b)顯示出對早期Olmo模型的明顯改善,表明建築,數據或培訓方法的進步。 > 與MAP-NEO-7B競爭
  • olmo-2,尤其是13B版本,取得的分數可與Map-neo-7b相當,這是完全開放模型的強大基線。

Running OLMo-2 Locally with Gradio and LangChain> olmo 2的訓練方法

Olmo 2的架構建立在原始Olmo上,並結合了改進的穩定性和性能。 培訓過程包括兩個階段:

基礎培訓:

利用Olmo-Mix-1124數據集(大約3.9萬億個代幣,來自不同的開源來源)來為語言理解建立強大的基礎。
    >
  1. 改進和專業化:使用Dolmino-Mix-1124數據集,這是高質量的Web數據和特定領域的數據(學術內容,問答論壇,教學數據,數學工作簿)的精心策劃組合,以完善模型的知識和技能。 “模型湯”進一步增強了最終的檢查點。
  2. LLMS中的開放度

Running OLMo-2 Locally with Gradio and LangChain

>由於Olmo-2是一個完全開放的模型,因此讓我們澄清不同級別的模型開放度之間的區別:

>開放重量模型:

只發布模型權重。
    >
  • >部分打開的模型:>釋放一些其他信息以外的其他信息,但不是訓練過程的完整圖片。
  • >
  • 完全開放的模型:提供完整的透明度,包括權重,培訓數據,代碼,配方和檢查點。 這允許完全可重複性。
  • 總結了關鍵差異的表格。 >
  • 探索和運行Olmo 2本地

    >

    Olmo 2很容易訪問。 可以提供有關下載模型和數據以及培訓代碼和評估指標的說明。 要在本地運行Olmo 2,請使用Ollama。 安裝後,只需在命令行中運行ollama run olmo2:7b即可。 可以通過PIP安裝必要的庫(Langchain和Gradio)

    >

    >使用Olmo 2 構建聊天機器人

    以下Python代碼演示了使用Olmo 2,Gradio和Langchain構建聊天機器人:

import gradio as gr
from langchain_core.prompts import ChatPromptTemplate
from langchain_ollama.llms import OllamaLLM

def generate_response(history, question):
    template = """Question: {question}

    Answer: Let's think step by step."""
    prompt = ChatPromptTemplate.from_template(template)
    model = OllamaLLM(model="olmo2")
    chain = prompt | model
    answer = chain.invoke({"question": question})
    history.append({"role": "user", "content": question})
    history.append({"role": "assistant", "content": answer})
    return history

with gr.Blocks() as iface:
    chatbot = gr.Chatbot(type='messages')
    with gr.Row():
        with gr.Column():
            txt = gr.Textbox(show_label=False, placeholder="Type your question here...")
    txt.submit(generate_response, [chatbot, txt], chatbot)

iface.launch()
登入後複製
此代碼提供了基本的聊天機器人接口。 可以建立更複雜的應用程序。 原始文章中顯示了示例輸出和提示。

Running OLMo-2 Locally with Gradio and LangChain Running OLMo-2 Locally with Gradio and LangChain Running OLMo-2 Locally with Gradio and LangChainRunning OLMo-2 Locally with Gradio and LangChain

結論 Olmo 2

代表對開源LLM生態系統的重要貢獻。 它的強大性能以及其完整的透明度,使其成為研究人員和開發人員的寶貴工具。 儘管在所有任務中都不是普遍優越,但其開放性質卻促進了協作,並加速了可訪問且透明的AI領域的進步。

鑰匙要點:

    > olmo-2的13B參數模型在各種基准上展示了出色的性能,超過其他開放型號。
  • 完整的模型開放性促進了更有效模型的開發。
  • 聊天機器人示例展示了與Langchain和Gradio的集成的易度性。
  • >常見問題(常見問題解答)
(此處包括原始文章中的常見問題。)

(注意:圖像URL保持不變。)

>

以上是與Gradio和Langchain在本地運行Olmo-2的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板