Périphériques technologiques
IA
Déployez des modèles de langage volumineux localement sur 2 Go DAYU200
Déployez des modèles de langage volumineux localement sur 2 Go DAYU200
Idées et étapes de mise en œuvre
Portez le cadre d'inférence de modèle LLM léger InferLLM vers le système standard OpenHarmony et compilez un fichier binaire qui peut s'exécuter sur OpenHarmony. Ce cadre d'inférence est un cadre d'inférence CPU LLM simple et efficace qui peut déployer localement des modèles quantitatifs dans LLM.
Utilisez OpenHarmony NDK pour compiler le fichier exécutable InferLLM sur OpenHarmony (utilisez spécifiquement le framework de compilation croisée OpenHarmony lycium, puis écrivez quelques scripts. Ensuite, stockez-le dans l'entrepôt tpc_c_cplusplusSIG.)
Déployez le grand modèle de langage localement sur DAYU200
Compilez et obtenez le produit de compilation de bibliothèque tierce InferLLM
Téléchargez le sdk OpenHarmony, adresse de téléchargement :
http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList
Téléchargez cet entrepôt
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
Obtenez le fichier d'en-tête de la bibliothèque tierce InferLLM et la bibliothèque générée
InferLLM-405d866e4c11b884a8072b4b3065 9c sera généré dans le répertoire tpc_c_cplusplus/thirdparty/InferLLM/ directory 63555be41d, dans lequel a compilé une bibliothèque tierce 32 bits et 64 bits. (Les résultats de compilation pertinents ne seront pas regroupés dans le répertoire usr sous le répertoire lycium).
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build
Poussez les fichiers de produit et de modèle compilés vers la carte de développement pour les exécuter
- Téléchargez le fichier de modèle : https://huggingface.co/kewin4933/InferLLM-Model/tree/main
- Compilera Le fichier exécutable lama généré par InferLLM, libc++_shared.so dans le SDK OpenHarmony, et le fichier modèle téléchargé chinois-alpaca-7b-q4.bin sont regroupés dans le dossier llama_file
# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data
# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件（8GB大小的交换文件）fallocate -l 8G /data/ram_ohos# 设置文件权限，以确保所有用户可以读写该文件：chmod 777 /data/ram_ohos# 将文件设置为交换空间：mkswap /data/ram_ohos# 启用交换空间：swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率（不同平台显示的可用频率会有所不同）cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies# 将 CPU 调频模式切换为用户空间模式，这意味着用户程序可以手动控制 CPU 的工作频率，而不是由系统自动管理。这样可以提供更大的灵活性和定制性，但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4
pour la transplantation La bibliothèque tierce InferLLM déploie un grand modèle de langage sur le périphérique OpenHarmmony rk3568 pour réaliser le dialogue homme-machine. L'effet d'exécution final est un peu lent et la fenêtre contextuelle de la boîte de dialogue homme-machine est également un peu lente. Veuillez patienter.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
Yu Chengdong quitte son poste de PDG de Huawei Terminal BG, He Gang prendra la relève
May 02, 2024 pm 04:01 PM
Selon plusieurs médias, Huawei a publié en interne un document d'ajustement du personnel dans l'après-midi du 30 avril, annonçant que Yu Chengdong quitterait son poste de PDG de Huawei Terminal BG. Yu Chengdong restera président de Terminal BG. He Gang, ancien directeur de l'exploitation de Huawei Terminal BG, assumera le poste de PDG de Huawei Terminal BG. Selon certaines informations, hormis les changements et ajustements personnels mentionnés ci-dessus, le document ne contient plus d'informations. Il n’y a pas d’explication supplémentaire sur le contexte de ce changement majeur de personnel et sur la nouvelle orientation commerciale de Yu Chengdong après avoir quitté son poste de PDG de Terminal BG. Certaines sources ont indiqué que cet ajustement est un ajustement de routine de la structure de l'entreprise, qui permettra à Yu Chengdong d'avoir plus d'énergie pour créer des produits de haute qualité pour les consommateurs. Yu Chengdong est né en 1969. Il est diplômé du département de contrôle automatique de l'Université polytechnique du Nord-Ouest avec une licence et une maîtrise de l'Université Tsinghua.
Guide étape par étape pour utiliser Groq Llama 3 70B localement
Jun 10, 2024 am 09:16 AM
Traducteur | Bugatti Review | Chonglou Cet article décrit comment utiliser le moteur d'inférence GroqLPU pour générer des réponses ultra-rapides dans JanAI et VSCode. Tout le monde travaille à la création de meilleurs grands modèles de langage (LLM), tels que Groq, qui se concentre sur le côté infrastructure de l'IA. Une réponse rapide de ces grands modèles est essentielle pour garantir que ces grands modèles réagissent plus rapidement. Ce didacticiel présentera le moteur d'analyse GroqLPU et comment y accéder localement sur votre ordinateur portable à l'aide de l'API et de JanAI. Cet article l'intégrera également dans VSCode pour nous aider à générer du code, à refactoriser le code, à saisir la documentation et à générer des unités de test. Cet article créera gratuitement notre propre assistant de programmation d’intelligence artificielle. Introduction au moteur d'inférence GroqLPU Groq
Sept questions d'entretien technique Cool GenAI et LLM
Jun 07, 2024 am 10:06 AM
Pour en savoir plus sur l'AIGC, veuillez visiter : 51CTOAI.x Community https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou est différent de la banque de questions traditionnelle que l'on peut voir partout sur Internet. nécessite de sortir des sentiers battus. Les grands modèles linguistiques (LLM) sont de plus en plus importants dans les domaines de la science des données, de l'intelligence artificielle générative (GenAI) et de l'intelligence artificielle. Ces algorithmes complexes améliorent les compétences humaines et stimulent l’efficacité et l’innovation dans de nombreux secteurs, devenant ainsi la clé permettant aux entreprises de rester compétitives. LLM a un large éventail d'applications. Il peut être utilisé dans des domaines tels que le traitement du langage naturel, la génération de texte, la reconnaissance vocale et les systèmes de recommandation. En apprenant de grandes quantités de données, LLM est capable de générer du texte
L'intelligence native HarmonyOS NEXT ouvre une nouvelle expérience de système d'exploitation à l'ère des grands modèles d'IA ! Huawei Xiaoyi se transforme en un corps intelligent
Jun 22, 2024 am 02:30 AM
Les grands modèles d'IA sont devenus un sujet brûlant dans le cercle technologique actuel. De plus en plus d'entreprises commencent à déployer des capacités de grands modèles et de plus en plus de produits commencent à mettre l'accent sur l'IA. Cependant, à en juger par l'expérience actuelle, la plupart des produits d'IA qui inondent le marché intègrent souvent simplement des applications de grands modèles au niveau de l'application et ne réalisent pas de changements technologiques systématiques de l'IA de bas en haut. Lors du HDC2024, avec l'ouverture d'HarmonyOSNEXT Beta aux développeurs et aux utilisateurs pionniers, Huawei a démontré à l'industrie ce qu'est la véritable « intelligence native » : avec des capacités d'IA au niveau du système, l'IA n'est plus seulement un module complémentaire pour les téléphones mobiles, mais est intégré avec Le système d'exploitation est profondément intégré et devient une fonctionnalité essentielle au niveau du système. Selon les rapports, grâce à l'intégration de logiciels, de matériel et de cloud central, HarmonyO
Déployer de grands modèles de langage localement dans OpenHarmony
Jun 07, 2024 am 10:02 AM
Cet article ouvrira en source les résultats du « Déploiement local de grands modèles de langage dans OpenHarmony » démontrés lors de la 2e conférence technologique OpenHarmony. Adresse : https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/. InferLLM/docs/hap_integrate.md. Les idées et les étapes de mise en œuvre consistent à transplanter le cadre d'inférence de modèle LLM léger InferLLM vers le système standard OpenHarmony et à compiler un produit binaire pouvant s'exécuter sur OpenHarmony. InferLLM est un L simple et efficace
Xiaoyi est devenu un agent intelligent ! L'intelligence native HarmonyOS NEXT Hongmeng ouvre une nouvelle ère de l'IA
Jun 22, 2024 am 01:56 AM
Le 21 juin, la Huawei Developer Conference 2024 (HDC2024) s'est à nouveau réunie au lac Songshan, à Dongguan. Lors de cette conférence, la chose la plus frappante est que HarmonyOSNEXT lance officiellement la version bêta pour les développeurs et les utilisateurs pionniers, et démontre de manière exhaustive les trois fonctionnalités innovantes « bouleversantes » d'HarmonyOSNEXT dans tous les scénarios, l'intelligence native et la sécurité native. Intelligence native HarmonyOSNEXT : ouvrir une nouvelle ère de l'IA Après avoir abandonné le framework Android, HarmonyOSNEXT est devenu un système d'exploitation véritablement indépendant d'Android et d'iOS, ce que l'on peut qualifier de renaissance sans précédent. Parmi ses nombreuses nouvelles fonctionnalités, l’intelligence native est sans aucun doute la nouvelle fonctionnalité qui peut le mieux apporter aux utilisateurs des sensations intuitives et des améliorations d’expérience.
Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble
Aug 08, 2024 am 07:02 AM
Cet après-midi, Hongmeng Zhixing a officiellement accueilli de nouvelles marques et de nouvelles voitures. Le 6 août, Huawei a organisé la conférence de lancement de nouveaux produits Hongmeng Smart Xingxing S9 et Huawei, réunissant la berline phare intelligente panoramique Xiangjie S9, le nouveau M7Pro et Huawei novaFlip, MatePad Pro 12,2 pouces, le nouveau MatePad Air, Huawei Bisheng With de nombreux nouveaux produits intelligents tous scénarios, notamment la série d'imprimantes laser X1, FreeBuds6i, WATCHFIT3 et l'écran intelligent S5Pro, des voyages intelligents, du bureau intelligent aux vêtements intelligents, Huawei continue de construire un écosystème intelligent complet pour offrir aux consommateurs une expérience intelligente du Internet de tout. Hongmeng Zhixing : Autonomisation approfondie pour promouvoir la modernisation de l'industrie automobile intelligente Huawei s'associe à ses partenaires de l'industrie automobile chinoise pour fournir
Le compte public « Programming Language Lab » du Huawei 2012 Lab a été renommé « Cangjie Programming Language »
Jun 18, 2024 pm 02:32 PM
Selon les informations de ce site Web du 17 juin, ce site Web a remarqué que le compte public officiel du Programming Language Lab sous Huawei 2012 Lab, "Programming Language Lab", a été renommé aujourd'hui "Cangjie Programming Language". La conférence des développeurs Huawei HDC2024 se tiendra à Dongguan du 21 au 23 juin. Dans le programme principal, il y aura un cours ouvert HarmonyOS sur le thème « [Kit de développement] Développement efficace et partage de pratiques des applications natives Hongmeng » le 22 juin. Dans la classe ouverte HarmonyOS, l'expert technique en chef de Huawei en langage de programmation partagera avec la Banque industrielle et commerciale de Chine et LeetCode « Le langage Cangjie aide au développement efficace des applications natives Harmony ». En 2020, Huawei a demandé l'enregistrement de la marque « Cangjie Language » en octobre 2021, en Chine.
