Périphériques technologiques
IA
Déployer de grands modèles de langage localement dans OpenHarmony
Déployer de grands modèles de langage localement dans OpenHarmony
Cet article ouvrira en source les résultats du « Déploiement local de grands modèles de langage dans OpenHarmony » démontrés lors de la 2e conférence sur la technologie OpenHarmony : https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob. /master/thirdparty /InferLLM/docs/hap_integrate.md.
Idées et étapes de mise en œuvre
Portez le cadre d'inférence de modèle LLM léger InferLLM vers le système standard OpenHarmony et compilez un produit binaire pouvant s'exécuter sur OpenHarmony.
InferLLM est un cadre d'inférence CPU LLM simple et efficace qui peut déployer localement des modèles de quantification dans LLM.
Utilisez OpenHarmony NDK pour compiler les exécutables InferLLM sur OpenHarmony.
Utilisez spécifiquement le framework de compilation croisée OpenHarmony lycium, puis écrivez quelques scripts. Stockez-le ensuite dans l'entrepôt tpc_c_cplusplusSIG.
Étapes de déploiement local d'un grand modèle de langage
Compilez et obtenez le produit compilé de la bibliothèque tierce InferLLM
Téléchargez le SDK OpenHarmony, adresse de téléchargement : http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList2.
Téléchargez cet entrepôt.
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
Obtenez le fichier d'en-tête de la bibliothèque tierce InferLLM et la bibliothèque générée générera le répertoire InferLLM-405d866e4c11b884a8072b4b30659c63555be41d dans le répertoire tpc_c_cplusplus/thirdparty/InferLLM/. 3 répertoire dans ce répertoire 2- bibliothèques tierces bits et 64 bits. (Les résultats de compilation pertinents ne seront pas regroupés dans le répertoire usr sous le répertoire lycium).
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build
Poussez le produit et le fichier de modèle compilés vers la carte de développement pour l'exécution
Téléchargez le fichier de modèle : https://huggingface.co/kewin4933/InferLLM-Model/tree/main.
Emballez le fichier exécutable de lama généré en compilant InferLLM, libc++_shared.so dans le SDK OpenHarmony et le fichier modèle téléchargé Chinese-alpaca-7b-q4.bin dans le dossier llama_file.
# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data
# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件（8GB大小的交换文件）fallocate -l 8G /data/ram_ohos# 设置文件权限，以确保所有用户可以读写该文件：chmod 777 /data/ram_ohos# 将文件设置为交换空间：mkswap /data/ram_ohos# 启用交换空间：swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率（不同平台显示的可用频率会有所不同）cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies# 将 CPU 调频模式切换为用户空间模式，这意味着用户程序可以手动控制 CPU 的工作频率，而不是由系统自动管理。这样可以提供更大的灵活性和定制性，但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4
Portez la bibliothèque tierce InferLLM et déployez le grand modèle de langage sur l'appareil OpenHarmmony rk3568 pour réaliser le dialogue homme-machine. L'effet d'exécution final est un peu lent et la fenêtre contextuelle de la boîte de dialogue homme-machine est également un peu lente. Veuillez patienter.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
Video Face Swap
Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
1671
14
1428
52
1329
25
1276
29
1256
24
Yu Chengdong quitte son poste de PDG de Huawei Terminal BG, He Gang prendra la relève
May 02, 2024 pm 04:01 PM
Selon plusieurs médias, Huawei a publié en interne un document d'ajustement du personnel dans l'après-midi du 30 avril, annonçant que Yu Chengdong quitterait son poste de PDG de Huawei Terminal BG. Yu Chengdong restera président de Terminal BG. He Gang, ancien directeur de l'exploitation de Huawei Terminal BG, assumera le poste de PDG de Huawei Terminal BG. Selon certaines informations, hormis les changements et ajustements personnels mentionnés ci-dessus, le document ne contient plus d'informations. Il n’y a pas d’explication supplémentaire sur le contexte de ce changement majeur de personnel et sur la nouvelle orientation commerciale de Yu Chengdong après avoir quitté son poste de PDG de Terminal BG. Certaines sources ont indiqué que cet ajustement est un ajustement de routine de la structure de l'entreprise, qui permettra à Yu Chengdong d'avoir plus d'énergie pour créer des produits de haute qualité pour les consommateurs. Yu Chengdong est né en 1969. Il est diplômé du département de contrôle automatique de l'Université polytechnique du Nord-Ouest avec une licence et une maîtrise de l'Université Tsinghua.
Guide étape par étape pour utiliser Groq Llama 3 70B localement
Jun 10, 2024 am 09:16 AM
Traducteur | Bugatti Review | Chonglou Cet article décrit comment utiliser le moteur d'inférence GroqLPU pour générer des réponses ultra-rapides dans JanAI et VSCode. Tout le monde travaille à la création de meilleurs grands modèles de langage (LLM), tels que Groq, qui se concentre sur le côté infrastructure de l'IA. Une réponse rapide de ces grands modèles est essentielle pour garantir que ces grands modèles réagissent plus rapidement. Ce didacticiel présentera le moteur d'analyse GroqLPU et comment y accéder localement sur votre ordinateur portable à l'aide de l'API et de JanAI. Cet article l'intégrera également dans VSCode pour nous aider à générer du code, à refactoriser le code, à saisir la documentation et à générer des unités de test. Cet article créera gratuitement notre propre assistant de programmation d’intelligence artificielle. Introduction au moteur d'inférence GroqLPU Groq
L'intelligence native HarmonyOS NEXT ouvre une nouvelle expérience de système d'exploitation à l'ère des grands modèles d'IA ! Huawei Xiaoyi se transforme en un corps intelligent
Jun 22, 2024 am 02:30 AM
Les grands modèles d'IA sont devenus un sujet brûlant dans le cercle technologique actuel. De plus en plus d'entreprises commencent à déployer des capacités de grands modèles et de plus en plus de produits commencent à mettre l'accent sur l'IA. Cependant, à en juger par l'expérience actuelle, la plupart des produits d'IA qui inondent le marché intègrent souvent simplement des applications de grands modèles au niveau de l'application et ne réalisent pas de changements technologiques systématiques de l'IA de bas en haut. Lors du HDC2024, avec l'ouverture d'HarmonyOSNEXT Beta aux développeurs et aux utilisateurs pionniers, Huawei a démontré à l'industrie ce qu'est la véritable « intelligence native » : avec des capacités d'IA au niveau du système, l'IA n'est plus seulement un module complémentaire pour les téléphones mobiles, mais est intégré avec Le système d'exploitation est profondément intégré et devient une fonctionnalité essentielle au niveau du système. Selon les rapports, grâce à l'intégration de logiciels, de matériel et de cloud central, HarmonyO
Sept questions d'entretien technique Cool GenAI et LLM
Jun 07, 2024 am 10:06 AM
Pour en savoir plus sur l'AIGC, veuillez visiter : 51CTOAI.x Community https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou est différent de la banque de questions traditionnelle que l'on peut voir partout sur Internet. nécessite de sortir des sentiers battus. Les grands modèles linguistiques (LLM) sont de plus en plus importants dans les domaines de la science des données, de l'intelligence artificielle générative (GenAI) et de l'intelligence artificielle. Ces algorithmes complexes améliorent les compétences humaines et stimulent l’efficacité et l’innovation dans de nombreux secteurs, devenant ainsi la clé permettant aux entreprises de rester compétitives. LLM a un large éventail d'applications. Il peut être utilisé dans des domaines tels que le traitement du langage naturel, la génération de texte, la reconnaissance vocale et les systèmes de recommandation. En apprenant de grandes quantités de données, LLM est capable de générer du texte
Xiaoyi est devenu un agent intelligent ! L'intelligence native HarmonyOS NEXT Hongmeng ouvre une nouvelle ère de l'IA
Jun 22, 2024 am 01:56 AM
Le 21 juin, la Huawei Developer Conference 2024 (HDC2024) s'est à nouveau réunie au lac Songshan, à Dongguan. Lors de cette conférence, la chose la plus frappante est que HarmonyOSNEXT lance officiellement la version bêta pour les développeurs et les utilisateurs pionniers, et démontre de manière exhaustive les trois fonctionnalités innovantes « bouleversantes » d'HarmonyOSNEXT dans tous les scénarios, l'intelligence native et la sécurité native. Intelligence native HarmonyOSNEXT : ouvrir une nouvelle ère de l'IA Après avoir abandonné le framework Android, HarmonyOSNEXT est devenu un système d'exploitation véritablement indépendant d'Android et d'iOS, ce que l'on peut qualifier de renaissance sans précédent. Parmi ses nombreuses nouvelles fonctionnalités, l’intelligence native est sans aucun doute la nouvelle fonctionnalité qui peut le mieux apporter aux utilisateurs des sensations intuitives et des améliorations d’expérience.
Déployer de grands modèles de langage localement dans OpenHarmony
Jun 07, 2024 am 10:02 AM
Cet article ouvrira en source les résultats du « Déploiement local de grands modèles de langage dans OpenHarmony » démontrés lors de la 2e conférence technologique OpenHarmony. Adresse : https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/. InferLLM/docs/hap_integrate.md. Les idées et les étapes de mise en œuvre consistent à transplanter le cadre d'inférence de modèle LLM léger InferLLM vers le système standard OpenHarmony et à compiler un produit binaire pouvant s'exécuter sur OpenHarmony. InferLLM est un L simple et efficace
Le dernier maillon de l'écosystème Hongmeng de sang pur de Huawei ! Le langage de programmation Cangjie auto-développé fera ses débuts
Jun 21, 2024 pm 03:23 PM
Selon les informations du 21 juin, cet après-midi, la Huawei Developer Conference 2024 sera officiellement ouverte. "Pure-blood Hongmeng" HarmonyOS NEXT est naturellement une priorité absolue. Selon le plan précédemment divulgué par Yu Chengdong, la version bêta publique pourrait être officiellement annoncée cet après-midi, et les consommateurs ordinaires peuvent également essayer "pur-blood Harmony". Selon certaines informations, les premiers téléphones mobiles pris en charge sont les séries Mate60 et Pura70. Il convient de noter qu'en tant que « Hongmeng de sang pur », HarmonyOSNEXT a supprimé le noyau Linux traditionnel et le code open source AOSP Android et a développé l'intégralité de la pile en interne. Selon le dernier rapport de Sina Technology, Huawei achèvera également le dernier maillon de l'écosystème Hongmeng et étendra sa présence dans le monde.
Le système Huawei Hongmeng prend en charge les modèles de téléphones mobiles révélés (le système Huawei Hongmeng a une forte compatibilité)
May 05, 2024 pm 12:01 PM
Les gens sont très préoccupés par les modèles de téléphones mobiles pris en charge par ce système, avec la sortie du système Huawei Hongmeng. Cet article présentera en détail les modèles de téléphones mobiles pris en charge par le système Huawei Hongmeng ainsi que leurs caractéristiques et avantages. 1 : Série Huawei Mate - le puissant modèle phare est naturellement l'un des premiers téléphones mobiles à prendre en charge le système Hongmeng. La série Huawei Mate est le modèle phare de Huawei. Pour les modèles tels que Mate30 ou Mate20, vous pouvez découvrir les nouvelles fonctions et optimisations apportées par le système Hongmeng grâce aux mises à niveau du système, qu'il s'agisse du Mate40. 2 : Série Huawei P - téléphone mobile à imagerie puissante La série Huawei P a toujours été recherchée par la majorité des utilisateurs pour ses excellentes capacités d'appareil photo. Les utilisateurs peuvent profiter d'une expérience de fonctionnement de plus en plus fluide pendant le processus de prise de photo. La bonne nouvelle est que la série Huawei P.
