Am 4. November fand in Peking erfolgreich die zweite OpenHarmony Technology Conference der Open Atom Open Source Foundation statt. Im Unterforum „OS Native Intelligence“ am Nachmittag fungierte Jin Xuefeng, der Chefarchitekt von Huawei Shengsi MindSpore, als Produzent und Wang Lei, der Architekt der KI-Plattform für die Entwicklung großer Modellanwendungen von Huawei, als Moderator von Huawei, Chinasoft International Co., Ltd., Shenzhen Ruoxin Technologieführer aus der Unternehmenswelt wie Technology Co., Ltd. und akademische Experten und Wissenschaftler von der Tsinghua-Universität, der Shanghai Jiao Tong-Universität usw. berichteten, wie ihre jeweiligen Bereiche KI kombinierten Große modellbezogene Technologien im OpenHarmony-Ökosystem, um technische Probleme zu innovieren und zu überwinden, und gemeinsam die Zukunft der KI diskutiert. Der technologische Entwicklungstrend, große Modelle mit Terminalbetriebssystemen zu kombinieren, trägt zum gemeinsamen Aufbau eines erfolgreichen OpenHarmony-Ökosystems bei.
Jin Xuefeng ist der Chefarchitekt von Huawei MindSpore
Moderator: Wang Lei, Architekt der Huawei AI Large Model Application Development Platform
Zunächst hielt Li Yuanchun, ein wissenschaftlicher Mitarbeiter an der Tsinghua-Universität, einen Bericht zum Thema „Großer modellgesteuerter Terminal-Intelligenter Agent“, stellte den Entwurf und die Implementierung eines großen modellgesteuerten intelligenten persönlichen Agentensystems vor und erläuterte dessen Verwendung Mobile Die automatische Analyse von Anwendungen und die Einbettung von Wissen über große Modelle kombinieren das Domänenwissen innerhalb der Anwendung organisch mit dem gesunden Menschenverstandswissen des großen Modells, um eine genauere und effizientere Aufgabenautomatisierung zu erreichen. Li Yuanchun wies darauf hin, dass intelligente persönliche Agenten schon immer eine der Schlüsseltechnologien waren, auf die Forscher und Entwickler von Terminalsystemen achten. Aufgrund unzureichender Fähigkeiten wie Benutzerabsichtsverständnis, Aufgabenplanung und Werkzeugnutzung sind die aktuelle Intelligenz und Skalierbarkeit jedoch unzureichend Die Zahl intelligenter persönlicher Agenten ist begrenzt. Es gibt immer noch große Mängel. Das Aufkommen großer Sprachmodelle hat diese Schwierigkeiten gelöst.“ Semantisches Verständnis und die Fähigkeit zum gesunden Menschenverstand verbessern die Breite und Tiefe der intelligenten persönlichen Agentenunterstützung.“
Li Yuanchun, wissenschaftlicher Mitarbeiter an der Tsinghua-Universität, wird das Thema erläutern
Zhang Zhaosheng ist General Manager der Abteilung für Produktforschung und -entwicklung „Intelligent IoT Legion“ von ChinaSoft International Co., Ltd. und Mitglied des technischen Lenkungsausschusses der OpenHarmony-Projektgruppe. Basierend auf seinen tiefgreifenden Einblicken in den Bereich großer Modelle und Device-Edge-Zusammenarbeit erstellte er einen Bericht mit dem Titel „Visual Large Models in OpenHarmony's Device-Edge-Cloud Application“. Er wies darauf hin, dass es im Zeitalter der Intelligenz mit der kontinuierlichen Verbesserung großer Modelle und der zugrunde liegenden Rechenleistungstechnologie zu einem unvermeidlichen Trend geworden sei, große Modelle auf der Edge- und Terminalseite einzusetzen. Er bekräftigte nachdrücklich den Wert und die Bedeutung von OpenHarmony als digitale Basis: „Als technische Basis im Zeitalter des Internet of Everything kann OpenHarmony in einer Vielzahl von Computerszenarien umfassend eingesetzt werden und erfüllt die Geschäftsanforderungen mehrerer Verbindungen, hoher Real- Zeit und große heterogene Datenmengen Es ist an der Zeit, die Hardware-Rechenleistung nach unten zu nutzen und umfangreiche Anwendungen nach oben zu ermöglichen. „Nach Ansicht von Zhang Zhaosheng kann die Integration von Edge-End-Funktionen für große Modelle und der Aufbau von End-Edge-Geschäftsszenarien auf Basis von OpenHarmony zu wettbewerbsfähigeren Innovationen führen.“ die Branche. Lösungen zur Beschleunigung des Ausbaus des Ökosystems
Zhang Zhaosheng, General Manager der Abteilung für Produktforschung und -entwicklung „Intelligent IoT Legion“ von ChinaSoft International Co., Ltd. und Mitglied des technischen Lenkungsausschusses der OpenHarmony-Projektgruppe, teilte das Thema mit
Der Huawei-Xiaoyi-Architekt Zhou Jianhui hielt einen thematischen Bericht zum Thema „Erforschung der ökologischen Konstruktion eines terminalseitigen nativen intelligenten Großmodells basierend auf dem Intent-Framework“, basierend auf Huawei Xiaoyi‘s intelligenter Service-Technologie-Denkweise in Terminalprodukten. In diesem Bericht wurde erwähnt, dass das Absichts-Framework ein Absichtsstandardsystem auf Systemebene ist, das durch mehrdimensionale Systemwahrnehmung, große Modelle und andere Fähigkeiten ein globales Absichtsparadigma aufbaut, um ein Verständnis der expliziten und potenziellen Absichten der Benutzer zu erreichen und diese rechtzeitig und genau zu identifizieren Benutzerbedürfnisse an ökologische Partner weitergeben, zeitnahe Dienste bereitstellen und Benutzern multimodale und personalisierte erweiterte Szenenerlebnisse bieten.
Themenfreigabe des Huawei Xiaoyi-Architekten Zhou Jianhui
Zheng Wenli, außerordentlicher Professor der Abteilung für Informatik und Ingenieurwesen der Shanghai Jiao Tong University, konzentrierte sich auf Methoden des maschinellen Lernens und hielt einen Bericht über „Dynamic Segmentation of Deep Neural Networks in Device-Edge-Cloud Collaborative Inference“. Um in der Device-Edge-Cloud-Umgebung den dynamischen Änderungen der Netzwerklast und Serverlast gerecht zu werden, schlug Professor Zheng Wenli einen auf maschinellem Lernen basierenden DNN-Segmentierungsoptimierungsalgorithmus vor und implementierte ihn in Shengsi MindSpore, sodass er eine Vielzahl von Aufgaben ausführen kann Gemeinsames CNN und RNN passen ihre Verteilung automatisch über End-, Kanten-/Cloud-Seiten an, um die niedrigste Inferenzlatenz aufrechtzuerhalten. Gleichzeitig wies er auch darauf hin, dass „Ressourcenbeschränkungen die größte Herausforderung für Edge Computing darstellen. Nur wenn wir versuchen, Ressourcenbeschränkungen zu überwinden, können wir Edge-Vorteile maximieren und dafür sorgen, dass Intelligenz wirklich in das Leben aller eindringt.“
Hou Lu, ein Forscher am Noah's Ark Laboratory von Huawei, veröffentlichte vor Ort einen Bericht mit dem Titel „Komprimierungsbeschleunigung und effiziente Bereitstellung großer Sprachmodelle“. In diesem Bericht werden die Speicher-, Speicherzugriffs- und Rechenherausforderungen vorgestellt, mit denen große Sprachmodelle in der Inferenzphase unter Aspekten wie Architekturdesign, Kosten, Durchsatz, Latenz, lange Sequenzen usw. konfrontiert sind, und die Modell- und KVcache-Quantisierungskomprimierung und -Fusion erörtert große Operatoren und die Vorteile des spekulativen Denkens beim effizienten Denken großer Sprachmodelle
Hou Lu, Forscher am Noah’s Ark Laboratory von Huawei, teilte das Thema
Zhou Peng, CTO von Shenzhen Ruoxin Technology Co., Ltd., hielt eine Rede zum Thema „Ubiquitous Intelligence: Applications and Solutions of Large-scale Brain-inspired Models on Devices“ und stellte den Teilnehmern die Rechenleistung großer Sprachmodelle vor. Overhead-Probleme und wie man die Transformer-Architektur durch eine dem menschlichen Gehirn ähnliche Art der Informationsverarbeitung verbessern kann. Durch die Verwendung des neuronalen Netzwerks SNN der dritten Generation zum Aufbau eines neuronalen Netzwerks werden die Daten im Netzwerk mithilfe von Impulssequenzen gespeichert und übertragen, wodurch der Inferenzaufwand erheblich reduziert wird, ohne die Intelligenz des Netzwerks zu beeinträchtigen. Zhou Peng sagte: „Das mit dieser Technologie trainierte große Modell erreicht nicht nur den optimalen Energieverbrauch, die Verzögerung und die Rechenleistungsanforderungen auf derselben Parameterebene, sondern kann auch erfolgreich lokal auf Geräten der Verbraucherklasse bereitgestellt und ausgeführt werden.“ „
Theme-Sharing von Zhou Peng, CTO von Shenzhen Ruoxin Technology Co., Ltd.
Li Zheng, der Architekt von Huawei Shengsi MindSpore, teilte den Bericht „Die clientseitige Bereitstellung großer Modelle von MindSpore hilft der Intelligenz des Betriebssystems“ mit, der auf der technischen Erforschung und praktischen Erfahrung des MindSpore-Frameworks basiert. Er erklärte, wie man die Bereitstellungs- und Anwendungsherausforderungen großer KI-Modelle lösen kann. Li Zheng erwähnte: „Generative KI-Großmodelle verändern im Stillen die Arbeit und das Leben der Menschen. Die Kombination von KI-Großmodellen und intelligenten Terminals wird unweigerlich zu neuen Erfahrungen führen Die Bereitstellung auf der Seite großer Modelle steht vor vielen Herausforderungen.“ In dem Bericht stellte er die Erkundung von MindSpore und die damit verbundenen technischen Ideen für die Bereitstellung auf der Seite großer Modelle und die Inferenzbeschleunigung vor. Als Open-Source-KI-Framework, das Cloud-Edge- und Full-Scenario-Training und -Förderung integriert, ist MindSpore maßgeblich an der Leistungsoptimierung der intelligenten Geschäftsszenarien von HarmonyOSAI beteiligt. Es wird häufig in Mobiltelefonen, Tablets, Uhren, Notebooks, Smart-Screens, Smart-Autos und anderen Endgeräten von Huawei eingesetzt
Huawei Shengsi MindSpore-Architekt Li Zheng hat das Thema geteilt
In der letzten Sitzung des OS-Native-Intelligence-Unterforums hielten der Moderator des Forums, Wang Lei, Architekt der Huawei AI-Plattform für die Entwicklung großer Modellanwendungen, Jin Xuefeng, Chefarchitekt von Huawei Shengsi MindSpore, der Produzent, und Redner eine Rede zum Thema Thema „Geräteseitiges großes Modell und Anwendung“ In der Diskussionsrunde zum Thema „Technologische Grenzherausforderungen und Lösungsideen“ wurden die technischen Konzepte und Ideen der Architektur und des Frameworks für KI-Anwendungen, des Modelltrainings-Frameworks, der Modellarchitektur und des Algorithmus unter OS Native ausführlicher erörtert Intelligenz.
Roundtable-Diskussion „Technologische Grenzherausforderungen und Lösungsideen für endseitige Großmodelle und Anwendungen“
Bisher ist das OS-Native-Intelligence-Unterforum der zweiten OpenHarmony Technology Conference zu einem erfolgreichen Abschluss gekommen. Der Austausch durch technische Experten und Branchenführer demonstrierte das technische Potenzial und die Anwendungspraxis von OpenHarmony im Bereich der nativen Intelligenz. Es wurde auch vorhergesagt, dass die tiefe Integration von KI-Großmodellen und Betriebsterminals sicherlich zu einer Erweiterung der Fähigkeiten großer Modelle führen wird Entwicklung von Endgeräten. Eine kluge „Win-win-Situation“. Da immer mehr technische Experten und Branchenelite im Bereich nativer Intelligenz der OpenHarmony-Community beitreten, wird das OpenHarmony-Ökosystem sicherlich florieren. Wir freuen uns darauf, dass sich weitere Partner am gemeinsamen Aufbau von OpenHarmony-Technologie und -Ökologie beteiligen und zusammenarbeiten, um „die Ökologie mit Technologie aufzubauen und die Zukunft mit Intelligenz zu gewinnen“.
Das obige ist der detaillierte Inhalt vonZur Erkundung des Innovationstrends großer KI-Modelle im Bereich der Terminalbetriebssysteme wurde das OS-Native-Intelligence-Unterforum der OpenHarmony Technology Conference abgehalten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
