在2GB DAYU200上本地部署大語言模型
實作想法與步驟
將輕量級LLM模型推理框架InferLLM移植到OpenHarmony標準系統,並編譯出可以在OpenHarmony上運行的二進位檔案。這個推理框架是一個簡單且有效率的LLM CPU推理框架,可以在本地部署LLM中的量化模型。
使用OpenHarmony NDK來編譯OpenHarmony上的InferLLM可執行檔(具體使用OpenHarmony lycium 交叉編譯框架,然後編寫一些腳本。然後把其存放在tpc_c_cplusplusSIG倉庫。)
在DAYU200上本地部署大語言模型
編譯取得InferLLM三方函式庫編譯產物
下載OpenHarmony sdk,下載位址:
http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList
下載本倉庫
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
登入後複製
##取得InferLLM三方庫頭檔及產生的庫
# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
##在tpc_c_cplusplus/thirdparty/InferLLM/目錄下會產生InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目錄,該目錄下存在已編譯完成的32位元和64位元三方函式庫。 (相關編譯結果不會被打包進入lycium目錄下的usr目錄)。
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build
將編譯產物和模型檔案推送至開發板運行
- ##下載模型檔:https ://huggingface.co/kewin4933/InferLLM-Model/tree/main
- 將編譯InferLLM產生的llama執行檔、OpenHarmony sdk中的libc _shared.so、下載好的模型檔案chinese-alpaca-7b-q4.bin 打包成資料夾llama_file
# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data
# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件(8GB大小的交换文件)fallocate -l 8G /data/ram_ohos# 设置文件权限,以确保所有用户可以读写该文件:chmod 777 /data/ram_ohos# 将文件设置为交换空间:mkswap /data/ram_ohos# 启用交换空间:swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率(不同平台显示的可用频率会有所不同)cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies# 将 CPU 调频模式切换为用户空间模式,这意味着用户程序可以手动控制 CPU 的工作频率,而不是由系统自动管理。这样可以提供更大的灵活性和定制性,但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4
#移植InferLLM三方庫在OpenHarmmony設備rk3568上部署大語言模型實現人機對話。最後運作效果有些慢,跳出人機對話框也有些慢,請耐心等待。
以上是在2GB DAYU200上本地部署大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

根據多家媒體報道,華為於4月30日下午內部發佈人事調整文件,宣布餘承東將卸任華為終端BGCEO一職。餘承東將仍保留終端BG董事長職位。原華為終端BG、營運長何剛將接任華為終端BGCEO職位。據透露,除了上述個人事變動調整外,該文件並無更多資訊。關於這次重大人事變動的背景及余承東卸任終端BGCEO之後新的業務重心,也未有進一步的說明。有消息來源表示,此次調整屬於常規的業務架構調整,讓餘承東有更多精力為消費者打造精品。餘承東出生於1969年,本科畢業於西北工業大學自動控制系,碩士畢業於清華大學,

譯者|布加迪審校|重樓本文介紹如何使用GroqLPU推理引擎在JanAI和VSCode中產生超快速反應。每個人都致力於建立更好的大語言模型(LLM),例如Groq專注於AI的基礎設施方面。這些大模型的快速響應是確保這些大模型更快捷響應的關鍵。本教學將介紹GroqLPU解析引擎以及如何在筆記型電腦上使用API和JanAI本地存取它。本文也將把它整合到VSCode中,以幫助我們產生程式碼、重構程式碼、輸入文件並產生測試單元。本文將免費創建我們自己的人工智慧程式設計助理。 GroqLPU推理引擎簡介Groq

AI大模型已經成為當下科技圈炙手可熱的話題,越來越多的企業開始佈置大模型能力,越來越多的產品開始強調AI。但從目前的體驗來看,市場上湧入的大部分AI產品,往往只是在應用層面簡單地整合了大模型應用,並未從底層實現系統性的AI技術變革。在HDC2024上,伴隨著HarmonyOSNEXT面向開發者和先鋒用戶開放Beta,華為向業界展示了什麼是真正的「原生智慧」——擁有系統級AI能力,AI不再只是手機的附加品,而是與作業系統深度融合,成為系統級的核心能力。據介紹,透過軟硬芯雲端整合,HarmonyO

想了解更多AIGC的內容,請造訪:51CTOAI.x社群https://www.51cto.com/aigc/譯者|晶顏審校|重樓不同於網路上隨處可見的傳統問題庫,這些問題需要跳脫常規思維。大語言模型(LLM)在數據科學、生成式人工智慧(GenAI)和人工智慧領域越來越重要。這些複雜的演算法提升了人類的技能,並在許多產業中推動了效率和創新性的提升,成為企業保持競爭力的關鍵。 LLM的應用範圍非常廣泛,它可以用於自然語言處理、文字生成、語音辨識和推薦系統等領域。透過學習大量的數據,LLM能夠產生文本

6月21日,華為開發者大會2024(HDC2024)再聚東莞松山湖。本屆大會上,最令人關注的莫過於HarmonyOSNEXT正式面向開發者和先鋒用戶啟動Beta,並全方位展示了HarmonyOSNEXT全場景、原生智能和原生安全三大「王炸」級創新特性。 HarmonyOSNEXT原生智慧:開啟全新AI時代放棄安卓框架之後,HarmonyOSNEXT成為真正獨立於安卓、iOS的作業系統,堪稱是一場史無前例的脫胎換骨。在其眾多新特性中,原生智能無疑是最能帶給用戶直覺感受與體驗升級的新特性

本文將第二屆OpenHarmony技術大會上展示的《在OpenHarmony本地部署大語言模型》成果開源,開源位址:https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/InferLLM/docs/ hap_integrate.md。實作思路與步驟移植輕量級LLM模型推理架構InferLLM到OpenHarmony標準系統,編譯出能在OpenHarmony運作的二進位產物。 InferLLM是個簡單又有效率的L

6月21日消息,今天下午,華為開發者大會2024將正式揭幕。 「純血鴻蒙」HarmonyOSNEXT自然是重中之重,按照餘承東之前透露的規劃,今天下午就可能正式宣佈公測,普通消費者也能嚐鮮「純血鴻蒙」了。據爆料,首批支援的手機為Mate60系列和Pura70系列。值得注意的是,作為“純血鴻蒙”,HarmonyOSNEXT去掉了傳統的Linux核心和AOSP安卓開源程式碼,全端自研。據新浪科技最新報道稱,華為還將補齊鴻蒙生態的最後一環,在大

人們對該系統的支援手機型號非常關注,隨著華為鴻蒙系統的發布。本文將詳細介紹華為鴻蒙系統支援的手機型號以及其特點和優勢。一:華為Mate系列-強大的旗艦機型自然也是首批支援鴻蒙系統的手機之一、華為Mate系列作為華為的旗艦機型。 Mate30或Mate20等型號,都可以透過系統升級來體驗鴻蒙系統帶來的新功能和最佳化,無論是Mate40。二:華為P系列-拍照強悍的影像手機華為P系列一直以來都以其出色的拍照能力而受到廣大用戶的追捧。用戶可以在拍照過程中享受更流暢和的操作體驗,好消息是,華為P系
