Gunakan model bahasa besar secara tempatan pada 2GB DAYU200

Idea dan langkah pelaksanaan

Pindahkan rangka kerja inferens model LLM ringan InferLLM ke sistem standard OpenHarmony dan susun fail binari yang boleh dijalankan pada OpenHarmony. Rangka kerja inferens ini ialah rangka kerja inferens CPU LLM yang mudah dan cekap yang boleh menggunakan model kuantitatif dalam LLM secara tempatan.

Gunakan OpenHarmony NDK untuk menyusun fail boleh laku InferLLM pada OpenHarmony (khususnya gunakan rangka kerja kompilasi silang lycium OpenHarmony, dan kemudian tulis beberapa skrip. Kemudian simpannya dalam tpc_c_cplusplusSIG gudang besar.) Deployly the local language

pada DAYU200

Kompilasi dan dapatkan produk kompilasi perpustakaan pihak ketiga InferLLM

Muat turun OpenHarmony sdk, alamat muat turun:

http://ci.openharmony.cn/Ldaistlybuild/daily muat turun gudang ini 9c akan dijana dalam direktori tpc_c_cplusplus/thirdparty/InferLLM/ direktori 63555be41d, di mana menyusun pustaka pihak ketiga 32-bit dan 64-bit. (Hasil kompilasi yang berkaitan tidak akan dibungkus ke dalam direktori usr di bawah direktori lycium).

git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1

Tolak fail produk dan model yang disusun ke papan pembangunan untuk dijalankan

Muat turun fail model: https://huggingface.co/kewin4933/InferLLM-Model/tree/main

Akan menyusun fail boleh laku llama yang dijana oleh InferLLM, libc++_shared.so dalam OpenHarmony sdk, dan fail model yang dimuat turun chinese-alpaca-7b-q4.bin dibungkus ke dalam folder llama_file

rreee

untuk pemindahan Pustaka pihak ketiga InferLLM menggunakan model bahasa yang besar pada peranti OpenHarmmony rk3568 untuk merealisasikan dialog manusia-komputer. Kesan larian akhir adalah agak perlahan, dan pop timbul kotak dialog manusia-mesin juga agak perlahan. Sila tunggu dengan sabar.

Atas ialah kandungan terperinci Gunakan model bahasa besar secara tempatan pada 2GB DAYU200. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!