Stellen Sie große Sprachmodelle lokal auf 2 GB DAYU200 bereit

Implementierungsideen und -schritte

Portieren Sie das leichte LLM-Modellinferenz-Framework InferLLM auf das OpenHarmony-Standardsystem und kompilieren Sie eine Binärdatei, die auf OpenHarmony ausgeführt werden kann. Dieses Inferenz-Framework ist ein einfaches und effizientes LLM-CPU-Inferenz-Framework, das quantitative Modelle lokal in LLM bereitstellen kann.

Verwenden Sie OpenHarmony NDK, um die ausführbare InferLLM-Datei auf OpenHarmony zu kompilieren (verwenden Sie insbesondere das Cross-Compilation-Framework OpenHarmony Lycium und schreiben Sie dann einige Skripte. Speichern Sie es dann im tpc_c_cplusplusSIG-Warehouse.)

Stellen Sie das große Sprachmodell lokal bereit auf DAYU200

Kompilieren und erhalten Sie das InferLLM-Drittanbieter-Bibliothekskompilierungsprodukt

Laden Sie OpenHarmony SDK herunter, Download-Adresse:

http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList

Laden Sie dieses Warehouse herunter 59c wird im Verzeichnis tpc_c_cplusplus/thirdparty/InferLLM/ im Verzeichnis 63555be41d generiert. Darin sind 32-Bit- und 64-Bit-Bibliotheken von Drittanbietern kompiliert. (Die relevanten Kompilierungsergebnisse werden nicht in das USR-Verzeichnis unter dem Lycium-Verzeichnis gepackt.)

git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1

Schieben Sie die kompilierten Produkt- und Modelldateien zur Ausführung auf das Entwicklungsboard

Laden Sie die Modelldatei herunter: https://huggingface.co/kewin4933/InferLLM-Model/tree/main

Kompiliert die von InferLLM generierte ausführbare Lama-Datei libc++_shared.so im OpenHarmony SDK und die heruntergeladene Modelldatei chinese-alpaca-7b-q4.bin werden in den Ordner llama_file gepackt

# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM

InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build

für die Transplantation Die InferLLM-Drittanbieterbibliothek stellt ein großes Sprachmodell auf dem OpenHarmmony-Gerät rk3568 bereit, um den Mensch-Computer-Dialog zu realisieren. Der endgültige Laufeffekt ist etwas langsam, und das Popup des Mensch-Maschine-Dialogfelds ist ebenfalls etwas langsam. Bitte warten Sie geduldig.

Das obige ist der detaillierte Inhalt vonStellen Sie große Sprachmodelle lokal auf 2 GB DAYU200 bereit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!