Stellen Sie große Sprachmodelle lokal auf 2 GB DAYU200 bereit
Implementierungsideen und -schritte
Portieren Sie das leichte LLM-Modellinferenz-Framework InferLLM auf das OpenHarmony-Standardsystem und kompilieren Sie eine Binärdatei, die auf OpenHarmony ausgeführt werden kann. Dieses Inferenz-Framework ist ein einfaches und effizientes LLM-CPU-Inferenz-Framework, das quantitative Modelle lokal in LLM bereitstellen kann.
Verwenden Sie OpenHarmony NDK, um die ausführbare InferLLM-Datei auf OpenHarmony zu kompilieren (verwenden Sie insbesondere das Cross-Compilation-Framework OpenHarmony Lycium und schreiben Sie dann einige Skripte. Speichern Sie es dann im tpc_c_cplusplusSIG-Warehouse.)
Stellen Sie das große Sprachmodell lokal bereit auf DAYU200
Kompilieren und erhalten Sie das InferLLM-Drittanbieter-Bibliothekskompilierungsprodukt
Laden Sie OpenHarmony SDK herunter, Download-Adresse:
http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList
Laden Sie dieses Warehouse herunter 59c wird im Verzeichnis tpc_c_cplusplus/thirdparty/InferLLM/ im Verzeichnis 63555be41d generiert. Darin sind 32-Bit- und 64-Bit-Bibliotheken von Drittanbietern kompiliert. (Die relevanten Kompilierungsergebnisse werden nicht in das USR-Verzeichnis unter dem Lycium-Verzeichnis gepackt.)
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
Laden Sie die Modelldatei herunter: https://huggingface.co/kewin4933/InferLLM-Model/tree/main
# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
Nach dem Login kopieren
# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build
Das obige ist der detaillierte Inhalt vonStellen Sie große Sprachmodelle lokal auf 2 GB DAYU200 bereit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1375
52
Schritt-für-Schritt-Anleitung zur lokalen Verwendung von Groq Llama 3 70B
Jun 10, 2024 am 09:16 AM
Übersetzer |. Bugatti Review |. Chonglou Dieser Artikel beschreibt, wie man die GroqLPU-Inferenz-Engine verwendet, um ultraschnelle Antworten in JanAI und VSCode zu generieren. Alle arbeiten daran, bessere große Sprachmodelle (LLMs) zu entwickeln, beispielsweise Groq, der sich auf die Infrastrukturseite der KI konzentriert. Die schnelle Reaktion dieser großen Modelle ist der Schlüssel, um sicherzustellen, dass diese großen Modelle schneller reagieren. In diesem Tutorial wird die GroqLPU-Parsing-Engine vorgestellt und erläutert, wie Sie mithilfe der API und JanAI lokal auf Ihrem Laptop darauf zugreifen können. In diesem Artikel wird es auch in VSCode integriert, um uns dabei zu helfen, Code zu generieren, Code umzugestalten, Dokumentation einzugeben und Testeinheiten zu generieren. In diesem Artikel erstellen wir kostenlos unseren eigenen Programmierassistenten für künstliche Intelligenz. Einführung in die GroqLPU-Inferenz-Engine Groq
Yu Chengdong tritt als CEO von Huawei Terminal BG zurück, He Gang wird übernehmen
May 02, 2024 pm 04:01 PM
Mehreren Medienberichten zufolge hat Huawei am Nachmittag des 30. April intern ein Personalanpassungsdokument herausgegeben, in dem angekündigt wurde, dass Yu Chengdong als CEO von Huawei Terminal BG zurücktreten werde. Yu Chengdong bleibt Vorsitzender von Terminal BG. He Gang, der ehemalige Huawei Terminal BG und Chief Operating Officer, wird die Position des CEO von Huawei Terminal BG übernehmen. Berichten zufolge enthält das Dokument außer den oben genannten persönlichen Änderungen und Anpassungen keine weiteren Informationen. Es gibt keine weiteren Erklärungen zu den Hintergründen dieser großen Personalveränderung und zu Yu Chengdongs neuer Geschäftsausrichtung nach seinem Rücktritt als CEO von Terminal BG. Einige Quellen sagten, dass es sich bei dieser Anpassung um eine routinemäßige Anpassung der Geschäftsstruktur handelt, die es Yu Chengdong ermöglichen wird, mehr Energie für die Herstellung hochwertiger Produkte für Verbraucher zu haben. Yu Chengdong wurde 1969 geboren. Er schloss sein Studium an der Abteilung für automatische Steuerung der Northwestern Polytechnical University mit einem Bachelor-Abschluss und einem Master-Abschluss an der Tsinghua-Universität ab.
Sieben coole technische Interviewfragen für GenAI und LLM
Jun 07, 2024 am 10:06 AM
Um mehr über AIGC zu erfahren, besuchen Sie bitte: 51CTOAI.x Community https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou unterscheidet sich von der traditionellen Fragendatenbank, die überall im Internet zu sehen ist erfordert einen Blick über den Tellerrand hinaus. Large Language Models (LLMs) gewinnen in den Bereichen Datenwissenschaft, generative künstliche Intelligenz (GenAI) und künstliche Intelligenz zunehmend an Bedeutung. Diese komplexen Algorithmen verbessern die menschlichen Fähigkeiten, treiben Effizienz und Innovation in vielen Branchen voran und werden zum Schlüssel für Unternehmen, um wettbewerbsfähig zu bleiben. LLM hat ein breites Anwendungsspektrum und kann in Bereichen wie der Verarbeitung natürlicher Sprache, der Textgenerierung, der Spracherkennung und Empfehlungssystemen eingesetzt werden. Durch das Lernen aus großen Datenmengen ist LLM in der Lage, Text zu generieren
Die native Intelligenz von HarmonyOS NEXT eröffnet ein neues Betriebssystemerlebnis in der Ära der großen KI-Modelle! Huawei Xiaoyi verwandelt sich in einen smarten Körper
Jun 22, 2024 am 02:30 AM
Große KI-Modelle sind im aktuellen Technologiekreis zu einem heißen Thema geworden. Immer mehr Unternehmen beginnen, große Modellfunktionen einzusetzen, und immer mehr Produkte legen Wert auf KI. Den aktuellen Erfahrungen nach zu urteilen, integrieren die meisten KI-Produkte, die auf den Markt strömen, häufig lediglich große Modellanwendungen auf Anwendungsebene und realisieren keine systematischen Änderungen der KI-Technologie von unten nach oben. Auf der HDC2024 demonstrierte Huawei der Branche mit der Öffnung der HarmonyOSNEXT Beta für Entwickler und Pionieranwender, was wahre „native Intelligenz“ ist – mit KI-Fähigkeiten auf Systemebene ist KI nicht mehr nur ein Add-on für Mobiltelefone, sondern schon integriert mit Das Betriebssystem ist tief integriert und wird zu einer Kernfunktion auf Systemebene. Berichten zufolge kann HarmonyO durch die Integration von Software, Hardware und Kern-Cloud
Xiaoyi wurde zu einem intelligenten Agenten! Die native Intelligenz von HarmonyOS NEXT Hongmeng eröffnet eine neue KI-Ära
Jun 22, 2024 am 01:56 AM
Am 21. Juni fand erneut die Huawei Developer Conference 2024 (HDC2024) in Songshan Lake, Dongguan, statt. Das Auffälligste an dieser Konferenz ist, dass HarmonyOSNEXT offiziell die Betaversion für Entwickler und Pionierbenutzer startet und die drei „königsbrechenden“ innovativen Funktionen von HarmonyOSNEXT in allen Szenarien, nativer Intelligenz und nativer Sicherheit umfassend demonstriert. Native Intelligenz von HarmonyOSNEXT: Beginn einer neuen KI-Ära Nach der Abkehr vom Android-Framework ist HarmonyOSNEXT zu einem wirklich unabhängigen Betriebssystem unabhängig von Android und iOS geworden, was als beispiellose Wiedergeburt bezeichnet werden kann. Unter den vielen neuen Funktionen ist native Intelligenz zweifellos die neue Funktion, die den Benutzern am besten intuitive Gefühle und Erfahrungsverbesserungen vermitteln kann.
Stellen Sie große Sprachmodelle lokal in OpenHarmony bereit
Jun 07, 2024 am 10:02 AM
In diesem Artikel werden die Ergebnisse von „Local Deployment of Large Language Models in OpenHarmony“ auf der 2. OpenHarmony-Technologiekonferenz demonstriert. Open-Source-Adresse: https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/. InferLLM/docs/hap_integrate.md. Die Implementierungsideen und -schritte bestehen darin, das leichtgewichtige LLM-Modellinferenz-Framework InferLLM auf das OpenHarmony-Standardsystem zu übertragen und ein Binärprodukt zu kompilieren, das auf OpenHarmony ausgeführt werden kann. InferLLM ist ein einfaches und effizientes L
Hongmeng Smart Travel S9 und die umfassende Einführungskonferenz für neue Produkte wurden gemeinsam mit einer Reihe neuer Blockbuster-Produkte veröffentlicht
Aug 08, 2024 am 07:02 AM
Heute Nachmittag begrüßte Hongmeng Zhixing offiziell neue Marken und neue Autos. Am 6. August veranstaltete Huawei die Hongmeng Smart Xingxing S9 und die Huawei-Konferenz zur Einführung neuer Produkte mit umfassendem Szenario und brachte die Panorama-Smart-Flaggschiff-Limousine Xiangjie S9, das neue M7Pro und Huawei novaFlip, MatePad Pro 12,2 Zoll, das neue MatePad Air und Huawei Bisheng mit Mit vielen neuen Smart-Produkten für alle Szenarien, darunter die Laserdrucker der X1-Serie, FreeBuds6i, WATCHFIT3 und der Smart Screen S5Pro, von Smart Travel über Smart Office bis hin zu Smart Wear baut Huawei weiterhin ein Smart-Ökosystem für alle Szenarien auf, um Verbrauchern ein Smart-Erlebnis zu bieten Internet von allem. Hongmeng Zhixing: Huawei arbeitet mit chinesischen Partnern aus der Automobilindustrie zusammen, um die Modernisierung der Smart-Car-Industrie voranzutreiben
So verwenden Sie die AI-Cloud-Erweiterungsfunktion auf dem Huawei Pura70_Tutorial zur Verwendung der Huawei AI-Cloud-Erweiterung
Apr 26, 2024 pm 02:20 PM
Die KI-Cloud-Verbesserungsfunktion von Huawei ist eine praktische Funktion, die künstliche Intelligenz nutzt, um die Fotoqualität zu optimieren. Wie nutzt Huawei Pura70 KI-Cloud-Erweiterungsfunktionen? Freunde, die in Not sind, kommen Sie bitte vorbei und schauen Sie sich unten um. 1. Aktualisieren Sie auf die neueste Version: 1. Laden Sie die neueste Version herunter und installieren Sie sie: Hongmeng OS4.0.0.126. 2. Warten Sie, bis die Installation abgeschlossen ist, und Sie können die neuen Cloud-erweiterten Funktionen nutzen. 2. Aktivieren Sie den Cloud-Erweiterungsdienst: 1. Öffnen Sie das Fotoalbum, klicken Sie auf die vier Punkte in der oberen rechten Ecke und dann auf Einstellungen. 2. Aktivieren Sie die AI-Cloud-Erweiterungsfunktion. 3. Verwenden Sie die Cloud-Verbesserungsfunktion: 1. Suchen Sie im Album das Foto, das eine AI-Cloud-Verbesserung benötigt, und klicken Sie auf das Zauberstab-Symbol in der oberen rechten Ecke. 2. Klicken Sie auf Zustimmen. 3. Nach Abschluss der KI-Cloud-Erweiterung erscheint automatisch ein weiteres Foto im Album. Sie können die Magie in der unteren rechten Ecke sehen
