VMware und NVIDIA gaben heute die Erweiterung ihrer strategischen Partnerschaft bekannt, um Tausenden von Unternehmen, die die VMware-Cloud-Infrastruktur nutzen, bei der Vorbereitung auf das KI-Zeitalter zu helfen.
VMware Private AI Foundation mit NVIDIA ermöglicht es Unternehmen, Modelle anzupassen und eine Vielzahl generativer KI-Anwendungen wie intelligente Chatbots, Assistenten, Suche und Zusammenfassung und mehr auszuführen. Die Plattform wird eine vollständig integrierte Lösung sein, die generative KI-Software und beschleunigtes Computing von NVIDIA nutzt, auf VMware Cloud Foundation aufbaut und für KI optimiert ist.
Raghu Raghuram, CEO von VMware, sagte: „Generative KI und Multi-Cloud passen perfekt zusammen. Die Daten der Kunden sind überall, in ihren Rechenzentren, Edges, Clouds und mehr. Gemeinsam mit NVIDIA werden wir Unternehmen dabei unterstützen, in ihrer Nähe zu agieren.“ Daten mit Zuversicht generative KI-Workloads bewältigen und ihre Probleme in Bezug auf Datenschutz, Sicherheit und Kontrolle im Unternehmen angehen.“
NVIDIA-Gründer und CEO Jensen Huang sagte: „Unternehmen auf der ganzen Welt kämpfen darum, generative KI in ihre Geschäfte zu integrieren. Durch die Ausweitung unserer Zusammenarbeit mit VMware können wir Tausende von Kunden in den Bereichen Finanzdienstleistungen, Gesundheitswesen, Fertigung und anderen Bereichen bedienen.“ „Zehntausende Kunden stellen die von ihnen benötigte Full-Stack-Software und Rechenleistung zur Verfügung, sodass sie auf der Grundlage ihrer eigenen Daten angepasste Anwendungen nutzen und das Potenzial der generativen KI voll ausschöpfen können.“
Full-Stack-Computing verbessert die Leistung generativer KI erheblich
Um geschäftliche Vorteile schneller zu realisieren, möchten Unternehmen die Entwicklung, das Testen und die Bereitstellung generativer KI-Anwendungen vereinfachen und effizienter gestalten. Laut McKinsey könnte generative KI jährlich bis zu 4,4 Billionen US-Dollar zur Weltwirtschaft beitragen(1).
VMware Private AI Foundation mit NVIDIA wird Unternehmen dabei helfen, diese Möglichkeit voll auszuschöpfen, um große Sprachmodelle anzupassen, sicherere private Modelle für den internen Gebrauch zu erstellen, generative KI als Dienst für Benutzer bereitzustellen und große Sprachmodelle sicherer auszuführen Inferenz-Workloads im großen Maßstab.
Die verschiedenen integrierten KI-Tools, die von der Plattform bereitgestellt werden sollen, werden Unternehmen dabei helfen, kosteneffizient ausgereifte Modelle auszuführen, die mit ihren privaten Daten trainiert werden. Die auf VMware Cloud Foundation und NVIDIA AI Enterprise-Software basierende Plattform soll folgende Vorteile bieten:
• Datenschutz: Dank einer Architektur, die den Datenschutz schützt und den Zugriff sichert, können Kunden problemlos KI-Dienste überall dort ausführen, wo sich ihre Daten befinden.
• Auswahl: Von NVIDIA NeMo™ bis Llama 2 und mehr haben Unternehmen eine große Auswahl, wo sie ihre Modelle erstellen und betreiben möchten, einschließlich führender OEM-Hardwarekonfigurationen und zukünftiger Lösungen für öffentliche Clouds und Dienstanbieter.
• Leistung: Aktuelle Branchen-Benchmarks zeigen, dass bestimmte Anwendungsfälle, die auf einer NVIDIA-beschleunigten Infrastruktur ausgeführt werden, die Bare-Metal-Leistung erreichen oder übertreffen.
• Rechenzentrumsskalierung: Die optimierte GPU-Skalierung in virtualisierten Umgebungen ermöglicht die Skalierung von KI-Workloads auf bis zu 16 vGPUs/GPUs auf einer einzelnen VM und über mehrere Knoten hinweg, wodurch die Feinabstimmung und Bereitstellung generativer KI-Modelle beschleunigt wird.
• Geringere Kosten: Alle Rechenressourcen von GPUs, DPUs und CPUs werden maximiert, um die Gesamtkosten zu senken und eine gepoolte Ressourcenumgebung zu schaffen, die effizient von allen Teams gemeinsam genutzt werden kann.
• Beschleunigter Speicher: Die VMware vSAN Express-Speicherarchitektur bietet leistungsoptimierten NVMe-Speicher und unterstützt GPUDirect®-Speicher über RDMA, wodurch direkte I/O-Übertragungen vom Speicher zur GPU möglich sind, ohne dass eine CPU erforderlich ist.
• Beschleunigte Vernetzung: Durch die tiefe Integration zwischen vSphere und der NVIDIA NVSwitch™-Technologie wird die Ausführung von Multi-GPU-Modellen ohne Engpässe zwischen GPUs gewährleistet.
• Schnelle Bereitstellung und schnelle Wertschöpfung: vSphere Deep Learning VM-Images und -Bibliotheken stellen stabile, schlüsselfertige Lösungsimages bereit, die mit verschiedenen Frameworks und leistungsoptimierten Bibliotheken für schnelles Prototyping vorinstalliert sind.
Die Plattform wird NVIDIA NeMo verwenden, ein durchgängiges Cloud-natives Framework, das in NVIDIA AI Enterprise, dem Betriebssystem der NVIDIA AI-Plattform, enthalten ist und Unternehmen dabei unterstützt, generative KI-Modelle praktisch überall zu erstellen, anzupassen und bereitzustellen. NeMo kombiniert ein benutzerdefiniertes Framework, ein Leitplanken-Toolkit, Data-Wrangling-Tools und vorab trainierte Modelle, um Unternehmen die einfache, kostengünstige und schnelle Einführung generativer KI zu ermöglichen.
Um generative KI in der Produktion einzusetzen, verwendet NeMo TensorRT for Large Language Models (TRT-LLM), um die Inferenzleistung des neuesten LLM auf NVIDIA-GPUs zu beschleunigen und zu optimieren. Durch NeMo ermöglicht die VMware Private AI Foundation mit NVIDIA Unternehmen, ihre eigenen Daten zu importieren und benutzerdefinierte generative KI-Modelle auf der Hybrid-Cloud-Infrastruktur von VMware zu erstellen und auszuführen.
Auf der VMware Explore 2023-Konferenz werden sich NVIDIA und VMware darauf konzentrieren, wie Entwickler im Unternehmen die neue NVIDIA AI Workbench nutzen können, um Community-Modelle (wie Llama 2 auf Hugging Face) zu extrahieren, diese Modelle aus der Ferne anzupassen und sie im zu betreiben VMware-Umgebung: Stellen Sie generative KI in Produktionsqualität bereit.
Umfangreiche Ökosystemunterstützung für VMware Private AI Foundation mit NVIDIA
VMware Private AI Foundation mit NVIDIA wird von Dell, HPE und Lenovo unterstützt. Die drei Unternehmen werden die ersten sein, die Systeme mit NVIDIA L40S-GPUs, NVIDIA BlueField®-3 DPUs und NVIDIA ConnectX®-7 SmartNICs anbieten, die die LLM-Anpassung und Inferenz-Workloads in Unternehmen beschleunigen.
Im Vergleich zur NVIDIA A100 Tensor Core GPU kann die NVIDIA L40S GPU die Inferenzleistung und Trainingsleistung der generativen KI um das 1,2-fache bzw. 1,7-fache verbessern.
NVIDIA BlueField-3 DPU beschleunigt, entlastet und isoliert enorme Rechenlasten auf der GPU oder CPU, einschließlich Virtualisierung, Netzwerk, Speicher, Sicherheit und anderen Cloud-nativen KI-Diensten.
NVIDIA ConnectX-7 SmartNICs bieten intelligente, beschleunigte Netzwerke für die Infrastruktur von Rechenzentren, um einige der anspruchsvollsten KI-Workloads der Welt zu hosten.
VMware Private AI Foundation mit NVIDIA baut auf einer jahrzehntelangen Zusammenarbeit zwischen den beiden Unternehmen auf. Die gemeinsamen Forschungs- und Entwicklungsergebnisse der beiden Parteien haben die Cloud-Infrastruktur von VMware so optimiert, dass NVIDIA AI Enterprise mit einer Leistung ausgeführt werden kann, die mit der von Bare Metal vergleichbar ist. Das von VMware Cloud Foundation bereitgestellte Ressourcen- und Infrastrukturmanagement sowie die Flexibilität werden den gemeinsamen Kunden zusätzlich zugute kommen.
Verfügbarkeit
VMware plant die Veröffentlichung der VMware Private AI Foundation mit NVIDIA Anfang 2024.
Das obige ist der detaillierte Inhalt vonVMware und NVIDIA läuten das Zeitalter der generativen KI für Unternehmen ein. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
