OpenRAG:一款開源 GenAI 應用程序,可透過大型語言模型增強資料查詢

Mary-Kate Olsen
發布: 2024-10-22 14:17:02
原創
903 人瀏覽過

OpenRAG: An Open-Source GenAI Application to Supercharge Data Queries with Large Language Models

在人工智慧時代,企業和開發人員越來越多地利用大型語言模型 (LLM) 來簡化資料分析和客戶互動。 OpenRAG 是一款開源生成人工智慧 (GenAI) 應用程序,透過將法學碩士的靈活性與跨各種向量資料庫的高效資料查詢功能相結合,為用戶提供支援。無論您是處理 PDF、查詢大型資料集還是從儲存的資料中尋求見解,OpenRAG 都可以使用自然語言查詢與您的資料無縫互動。

OpenRAG 的主要特性

  1. 支援所有開源 LLM 模型 OpenRAG 旨在與各種開源 LLM 集成,讓用戶可以自由選擇最適合其獨特用例的模型。該平台的可擴展性允許未來擴展,確保用戶可以不受任何限制地利用人工智慧領域的最新進展。

  2. 多個開源向量資料庫整合 OpenRAG 已預先配置為支援流行的開源向量資料庫,例如 Chroma、FAISS 和 Qdrant。這些資料庫有助於高效能向量搜尋和檢索,確保使用者在查詢資料時獲得精確的結果。

  3. PDF 上傳和資料查詢OpenRAG 的一項突出功能是能夠上傳 PDF 檔案並將其轉換為結構化資料集合。這使得該應用程式對於處理大量基於 PDF 的資訊的專業人員非常有用。上傳 PDF 後,使用者可以使用自己選擇的法學碩士查詢內容,快速有效地提取見解。

  4. 持久集合名稱以實現可重用性 OpenRAG 為上傳的 PDF 分配唯一的集合名稱,允許用戶返回和查詢數據,而無需重新上傳相同的檔案。此功能可以節省時間並使資料管理更加無縫。

  5. 向量資料庫的一致性 用法 OpenRAG 透過將資料集合綁定到特定的向量資料庫來保持一致性。一旦選擇採集後,使用者就無法切換資料庫,確保每次資料檢索穩定且準確。

OpenRAG 入門

在深入人工智慧驅動的資料查詢世界之前,請確保滿足以下順利安裝的先決條件:

先決條件

Python 版本: 確保您安裝了 Python 3.9 或更高版本。
Qdrant Docker 映像: OpenRAG 與 Qdrant 集成,而映像應正在運行。確保本機上的連接埠 6333 可以存取。

安裝

  1. 複製儲存庫:

git 複製 https://github.com/yourrepo/openrag.git

  1. 建立虛擬環境:
python3 -m venv openrag-env
source openrag-env/bin/activate
登入後複製
  1. 安裝依賴項:

pip install -r requests.txt

  1. 下載 Spacy 語言模型:

python3 -m spacy download en_core_web_sm

  1. 運行應用程式:

uvicorn main:app --reload

Docker化以方便部署

對於喜歡使用 Docker 進行部署的開發人員,OpenRAG 可以容器化:

  1. 建置 Docker 映像:

docker build -t openrag-app .

  1. 運作容器:

docker run -d -p 8000:8000 openrag-app

應用程式運行後,透過瀏覽器中的 http://localhost:8000 存取它。

用法:透過 API 與 OpenRAG 交互

OpenRAG 的 API 優先架構使其能夠整合到各種前端應用程式中。以下是如何上傳 PDF 並透過 API 查詢其內容的範例:

上傳 PDF

curl -X POST "http://localhost:8000/upload" \
-H "accept: application/json" \
-H "Content-Type: multipart/form-data" \
-F "file=@yourfile.pdf" \
-F "model_name=GPT-3.5" \
-F "vector_db_name=qdrant"

登入後複製

開始聊天會話
上傳 PDF 後,您可以發起基於聊天的查詢:

curl -X POST "http://localhost:8000/chat" \
-H "Content-Type: application/json" \
-d '{
  "collection_name": "your_collection_name",
  "query": "your_query",
  "model_name": "GPT-3.5",
  "vector_db_name": "qdrant",
  "device": "cpu"
}'
登入後複製

OpenRAG 的擴充性
OpenRAG 的最大優勢之一是其可擴展性。雖然它可以使用 uvicorn 等工具在本地電腦上運行,但它已做好生產準備,並且可以使用雲端提供者、Docker 或 Kubernetes 進行部署。在生產環境中,OpenRAG 支援透過 Gunicorn 等工具進行擴展,為高流量用例提供強大的效能。

常見錯誤及解決方案
使用者在開發過程中可能會遇到以下常見錯誤:

類型錯誤:無法直接建立描述符。

要解決此問題,請考慮將 protobuf 套件降級到版本 3.20.x 或更低版本,或設定環境變數

PROTOCOL_BUFFERS_PYTHON_IMPLMENTATION=python

結論
對於希望利用法學碩士和向量資料庫的強大功能進行資料查詢和洞察的用戶來說,OpenRAG 是一種靈活的開源解決方案。無論您是開發人員、研究人員還是企業用戶,OpenRAG 都提供了以高效且直觀的方式處理您的資料的工具。

有關詳細的 API 文件和更多範例,請存取 OpenRAG 的 API 文件。

為 OpenRAG 做出貢獻
我們歡迎社區的貢獻!有關如何貢獻、提交問題或請求功能的詳細信息,請查看 CONTRIBUTING.md。

Github 儲存庫連結
開啟 Rag Repo

以上是OpenRAG:一款開源 GenAI 應用程序,可透過大型語言模型增強資料查詢的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:dev.to
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!