目錄
實作想法與步驟
在DAYU200上本地部署大語言模型
編譯取得InferLLM三方函式庫編譯產物
下載OpenHarmony sdk,下載位址:
下載本倉庫
將編譯產物和模型檔案推送至開發板運行
首頁 科技週邊 人工智慧 在2GB DAYU200上本地部署大語言模型

在2GB DAYU200上本地部署大語言模型

Feb 07, 2024 pm 06:20 PM
大語言模型 鴻蒙 alpaca模型

在2GB DAYU200上本地部署大语言模型

實作想法與步驟

將輕量級LLM模型推理框架InferLLM移植到OpenHarmony標準系統,並編譯出可以在OpenHarmony上運行的二進位檔案。這個推理框架是一個簡單且有效率的LLM CPU推理框架,可以在本地部署LLM中的量化模型。

使用OpenHarmony NDK來編譯OpenHarmony上的InferLLM可執行檔(具體使用OpenHarmony lycium 交叉編譯框架,然後編寫一些腳本。然後把其存放在tpc_c_cplusplusSIG倉庫。)

在DAYU200上本地部署大語言模型

編譯取得InferLLM三方函式庫編譯產物

下載OpenHarmony sdk,下載位址:

http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList

下載本倉庫

##
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
登入後複製

# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
登入後複製
##取得InferLLM三方庫頭檔及產生的庫 

##在tpc_c_cplusplus/thirdparty/InferLLM/目錄下會產生InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目錄,該目錄下存在已編譯完成的32位元和64位元三方函式庫。 (相關編譯結果不會被打包進入lycium目錄下的usr目錄)。

InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build
登入後複製

將編譯產物和模型檔案推送至開發板運行

  • ##下載模型檔:https ://huggingface.co/kewin4933/InferLLM-Model/tree/main
  • 將編譯InferLLM產生的llama執行檔、OpenHarmony sdk中的libc _shared.so、下載好的模型檔案chinese-alpaca-7b-q4.bin 打包成資料夾llama_file
# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data
登入後複製
# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件(8GB大小的交换文件)fallocate -l 8G /data/ram_ohos# 设置文件权限,以确保所有用户可以读写该文件:chmod 777 /data/ram_ohos# 将文件设置为交换空间:mkswap /data/ram_ohos# 启用交换空间:swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率(不同平台显示的可用频率会有所不同)cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies# 将 CPU 调频模式切换为用户空间模式,这意味着用户程序可以手动控制 CPU 的工作频率,而不是由系统自动管理。这样可以提供更大的灵活性和定制性,但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4
登入後複製

#移植InferLLM三方庫在OpenHarmmony設備rk3568上部署大語言模型實現人機對話。最後運作效果有些慢,跳出人機對話框也有些慢,請耐心等待。

在2GB DAYU200上本地部署大语言模型

以上是在2GB DAYU200上本地部署大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1317
25
PHP教程
1268
29
C# 教程
1246
24
餘承東卸任華為終端BG CEO,何剛接任 餘承東卸任華為終端BG CEO,何剛接任 May 02, 2024 pm 04:01 PM

根據多家媒體報道,華為於4月30日下午內部發佈人事調整文件,宣布餘承東將卸任華為終端BGCEO一職。餘承東將仍保留終端BG董事長職位。原華為終端BG、營運長何剛將接任華為終端BGCEO職位。據透露,除了上述個人事變動調整外,該文件並無更多資訊。關於這次重大人事變動的背景及余承東卸任終端BGCEO之後新的業務重心,也未有進一步的說明。有消息來源表示,此次調整屬於常規的業務架構調整,讓餘承東有更多精力為消費者打造精品。餘承東出生於1969年,本科畢業於西北工業大學自動控制系,碩士畢業於清華大學,

本地使用Groq Llama 3 70B的逐步指南 本地使用Groq Llama 3 70B的逐步指南 Jun 10, 2024 am 09:16 AM

譯者|布加迪審校|重樓本文介紹如何使用GroqLPU推理引擎在JanAI和VSCode中產生超快速反應。每個人都致力於建立更好的大語言模型(LLM),例如Groq專注於AI的基礎設施方面。這些大模型的快速響應是確保這些大模型更快捷響應的關鍵。本教學將介紹GroqLPU解析引擎以及如何在筆記型電腦上使用API​​和JanAI本地存取它。本文也將把它整合到VSCode中,以幫助我們產生程式碼、重構程式碼、輸入文件並產生測試單元。本文將免費創建我們自己的人工智慧程式設計助理。 GroqLPU推理引擎簡介Groq

HarmonyOS NEXT 原生智慧開啟 AI 大模型時代的 OS 新體驗!華為小藝變身智能體 HarmonyOS NEXT 原生智慧開啟 AI 大模型時代的 OS 新體驗!華為小藝變身智能體 Jun 22, 2024 am 02:30 AM

AI大模型已經成為當下科技圈炙手可熱的話題,越來越多的企業開始佈置大模型能力,越來越多的產品開始強調AI。但從目前的體驗來看,市場上湧入的大部分AI產品,往往只是在應用層面簡單地整合了大模型應用,並未從底層實現系統性的AI技術變革。在HDC2024上,伴隨著HarmonyOSNEXT面向開發者和先鋒用戶開放Beta,華為向業界展示了什麼是真正的「原生智慧」——擁有系統級AI能力,AI不再只是手機的附加品,而是與作業系統深度融合,成為系統級的核心能力。據介紹,透過軟硬芯雲端整合,HarmonyO

七個很酷的GenAI & LLM技術性面試問題 七個很酷的GenAI & LLM技術性面試問題 Jun 07, 2024 am 10:06 AM

想了解更多AIGC的內容,請造訪:51CTOAI.x社群https://www.51cto.com/aigc/譯者|晶顏審校|重樓不同於網路上隨處可見的傳統問題庫,這些問題需要跳脫常規思維。大語言模型(LLM)在數據科學、生成式人工智慧(GenAI)和人工智慧領域越來越重要。這些複雜的演算法提升了人類的技能,並在許多產業中推動了效率和創新性的提升,成為企業保持競爭力的關鍵。 LLM的應用範圍非常廣泛,它可以用於自然語言處理、文字生成、語音辨識和推薦系統等領域。透過學習大量的數據,LLM能夠產生文本

小藝升級為智能體! HarmonyOS NEXT鴻蒙原生智慧開啟全新AI時代 小藝升級為智能體! HarmonyOS NEXT鴻蒙原生智慧開啟全新AI時代 Jun 22, 2024 am 01:56 AM

6月21日,華為開發者大會2024(HDC2024)再聚東莞松山湖。本屆大會上,最令人關注的莫過於HarmonyOSNEXT正式面向開發者和先鋒用戶啟動Beta,並全方位展示了HarmonyOSNEXT全場景、原生智能和原生安全三大「王炸」級創新特性。 HarmonyOSNEXT原生智慧:開啟全新AI時代放棄安卓框架之後,HarmonyOSNEXT成為真正獨立於安卓、iOS的作業系統,堪稱是一場史無前例的脫胎換骨。在其眾多新特性中,原生智能無疑是最能帶給用戶直覺感受與體驗升級的新特性

在OpenHarmony本地部署大語言模型 在OpenHarmony本地部署大語言模型 Jun 07, 2024 am 10:02 AM

本文將第二屆OpenHarmony技術大會上展示的《在OpenHarmony本地部署大語言模型》成果開源,開源位址:https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/InferLLM/docs/ hap_integrate.md。實作思路與步驟移植輕量級LLM模型推理架構InferLLM到OpenHarmony標準系統,編譯出能在OpenHarmony運作的二進位產物。 InferLLM是個簡單又有效率的L

華為純血鴻蒙生態最後一環!自研倉頡程式語言將首次亮相 華為純血鴻蒙生態最後一環!自研倉頡程式語言將首次亮相 Jun 21, 2024 pm 03:23 PM

6月21日消息,今天下午,華為開發者大會2024將正式揭幕。 「純血鴻蒙」HarmonyOSNEXT自然是重中之重,按照餘承東之前透露的規劃,今天下午就可能正式宣佈公測,普通消費者也能嚐鮮「純血鴻蒙」了。據爆料,首批支援的手機為Mate60系列和Pura70系列。值得注意的是,作為“純血鴻蒙”,HarmonyOSNEXT去掉了傳統的Linux核心和AOSP安卓開源程式碼,全端自研。據新浪科技最新報道稱,華為還將補齊鴻蒙生態的最後一環,在大

華為鴻蒙系統支援手機型號大揭秘(華為鴻蒙系統相容性強) 華為鴻蒙系統支援手機型號大揭秘(華為鴻蒙系統相容性強) May 05, 2024 pm 12:01 PM

人們對該系統的支援手機型號非常關注,隨著華為鴻蒙系統的發布。本文將詳細介紹華為鴻蒙系統支援的手機型號以及其特點和優勢。一:華為Mate系列-強大的旗艦機型自然也是首批支援鴻蒙系統的手機之一、華為Mate系列作為華為的旗艦機型。 Mate30或Mate20等型號,都可以透過系統升級來體驗鴻蒙系統帶來的新功能和最佳化,無論是Mate40。二:華為P系列-拍照強悍的影像手機華為P系列一直以來都以其出色的拍照能力而受到廣大用戶的追捧。用戶可以在拍照過程中享受更流暢和的操作體驗,好消息是,華為P系

See all articles