Drei Geheimnisse für die Bereitstellung großer Modelle in der Cloud

51CTO Technology Stack (WeChat ID: blog51cto) . Ich fange an, serverloses Cloud Computing zu vermissen. Ihre Anwendungen reichen von der Verbesserung der Konversations-KI bis hin zur Bereitstellung komplexer Analyselösungen für verschiedene Branchen und vielen anderen Funktionen. Viele Unternehmen setzen diese Modelle auf Cloud-Plattformen ein, da öffentliche Cloud-Anbieter bereits ein fertiges Ökosystem bereitstellen und dies der Weg des geringsten Widerstands ist. Allerdings ist es nicht billig.

Die Cloud bietet darüber hinaus weitere Vorteile wie Skalierbarkeit, Effizienz und erweiterte Rechenleistung (GPUs auf Abruf). Der Prozess der Bereitstellung von LLM auf einer öffentlichen Cloud-Plattform birgt einige wenig bekannte Geheimnisse, die einen erheblichen Einfluss auf Erfolg oder Misserfolg haben können. Vielleicht weil es nicht viele KI-Experten gibt, die sich mit LLMs befassen, und weil wir noch nicht viel Erfahrung in diesem Bereich haben, gibt es viele Lücken in unserem Wissenssystem.

Lassen Sie uns drei wenig bekannte „Tricks“ bei der Bereitstellung von LLM in der Cloud untersuchen, die vielleicht sogar Ihre KI-Ingenieure nicht kennen. Wenn man bedenkt, dass diese Ingenieure oft über 300.000 US-Dollar pro Jahr verdienen, ist es vielleicht an der Zeit, über die Details ihrer Arbeit nachzudenken. Ich sehe, wie jeder auf die KI zustürmt, als würden ihm die Haare brennen, aber er macht mehr Fehler als je zuvor.

1. Kosteneffizienz und Skalierbarkeit des Managements

Einer der Hauptvorteile der Bereitstellung von LLMs auf Cloud-Plattformen ist die Möglichkeit, Ressourcen nach Bedarf zu skalieren. Wir müssen keine guten Kapazitätsplaner sein, denn Cloud-Plattformen verfügen über Ressourcen, die wir einfach per Mausklick oder automatisch zuweisen.

Aber Moment, wir sind dabei, denselben Fehler zu machen, den wir beim Einsatz von Cloud Computing gemacht haben. Das Kostenmanagement bei gleichzeitiger Skalierung ist eine Fähigkeit, bei deren effektiver Navigation viele Menschen Hilfe benötigen. Beachten Sie, dass Cloud-Dienste in der Regel auf der Grundlage der verbrauchten Rechenressourcen abgerechnet werden. Sie funktionieren wie Versorgungsunternehmen. Je mehr Sie verarbeiten, desto mehr zahlen Sie. Angesichts der Tatsache, dass GPUs mehr kosten (und mehr Strom verbrauchen), ist dies ein zentrales Anliegen bei der Verwendung von LLMs, die von öffentlichen Cloud-Anbietern bereitgestellt werden.

Bitte stellen Sie sicher, dass Sie Kostenmanagement-Tools verwenden, einschließlich derer, die von Cloud-Plattformen bereitgestellt werden, und der Tools, die von zuverlässigen Drittanbietern für Kostenkontrolle und -überwachung (Finops) bereitgestellt werden. Implementieren Sie beispielsweise automatische Skalierung und Planung, wählen Sie den richtigen Instanztyp aus oder nutzen Sie Instanzen auf Abruf, um die Kosten zu optimieren. Denken Sie außerdem daran, Ihre Bereitstellung kontinuierlich zu überwachen und die Ressourcen basierend auf der Nutzung und nicht nur auf der Grundlage der prognostizierten Auslastung anzupassen. Das bedeutet, eine Überbereitstellung um jeden Preis zu vermeiden (verstehen Sie mein Wortspiel hier?).

2. Datenschutz in Multi-Tenant-Umgebungen

Der Einsatz von LLMs erfordert häufig die Verarbeitung großer Datenmengen und das Training von Wissensmodellen, die sensible oder proprietäre Daten enthalten können. Das Risiko bei der Verwendung einer öffentlichen Cloud besteht darin, dass Ihre „Nachbarn“ in Form von Verarbeitungsinstanzen vorliegen, die auf derselben physischen Hardware ausgeführt werden. Daher besteht beim öffentlichen Cloud-Speicher das Risiko, dass während der Datenspeicherung und -verarbeitung auf die Daten von anderen virtuellen Maschinen zugegriffen werden kann, die auf derselben physischen Hardware im öffentlichen Cloud-Rechenzentrum ausgeführt werden. Um dieses Problem zu lösen, bieten viele Public-Cloud-Anbieter Cloud-Sicherheitsoptionen für Unternehmen an. Diese Optionen bieten Isolierung und Schutz Ihrer Daten vor dem Zugriff anderer virtueller Maschinen, die auf der physischen Hardware ausgeführt werden. Ein weiteres Sicherheitsproblem ist die Übertragung von Daten bei der Speicherung und Verarbeitung. Daten können über öffentliche Cloud-Netzwerke übertragen werden, was bedeutet, dass sie während der Übertragung abgefangen oder belauscht werden können. Um dieses Problem zu lösen, stellen öffentliche Clouds normalerweise Verschlüsselung und sichere Übertragungsprotokolle bereit, um die Sicherheit der Daten während der Übertragung zu gewährleisten. Alles in allem: Bereitstellung von LLMs

Wenn Sie einen Public-Cloud-Anbieter danach fragen, wird er mit seiner neuesten PowerPoint-Präsentation herausstürzen und zeigen, dass dies unmöglich ist. Obwohl dies größtenteils zutrifft, ist es nicht ganz korrekt. Dieses Risiko besteht bei allen mandantenfähigen Systemen; Sie müssen es mindern. Ich habe festgestellt, dass die Wahrscheinlichkeit, dass dieses Problem auftritt, umso größer ist, je kleiner der Cloud-Anbieter ist, der beispielsweise nur in einem einzigen Land tätig ist. Dies gilt für Datenspeicher und LLMs.

Das Geheimnis besteht darin, einen Cloud-Anbieter zu wählen, der strenge Sicherheitsstandards erfüllt und nachweist: Datenverschlüsselung im Ruhezustand und bei der Übertragung, Identitäts- und Zugriffsmanagement (IAM) und Isolationsrichtlinien. Natürlich ist es besser, Ihre eigene Sicherheitsrichtlinie und Ihren eigenen Sicherheitstechnologie-Stack zu implementieren, um sicherzustellen, dass die Verwendung von mandantenfähigen LLMs in der Cloud weniger riskant ist.

3. Behandeln Sie die Bereitstellung zustandsbehafteter Modelle.

Große Sprachmodelle (LLMs) sind größtenteils zustandsbehaftet, was bedeutet, dass sie Informationen von einer Interaktion zur nächsten behalten. Dieser alte Ansatz bietet neue Vorteile: die Möglichkeit, in kontinuierlichen Lernszenarien effizienter zu sein. Die Verwaltung des Zustands dieser Modelle in Cloud-Umgebungen stellt jedoch eine Herausforderung dar, da Instanzen in Cloud-Umgebungen von Natur aus kurzlebig oder zustandslos sein können.

Hilfreich sind Orchestrierungstools, die eine zustandsbehaftete Bereitstellung unterstützen (z. B. Kubernetes). Sie können persistente Speicheroptionen für große Sprachmodelle nutzen und so konfiguriert werden, dass sie ihren Status über Sitzungen hinweg beibehalten und bearbeiten. Dies ist erforderlich, um die Kontinuität und Leistung großer Sprachmodelle zu unterstützen.

Angesichts des explosionsartigen Wachstums der generativen künstlichen Intelligenz ist die Bereitstellung großer Sprachmodelle auf Cloud-Plattformen eine Selbstverständlichkeit. Für die meisten Unternehmen ist es einfach zu umständlich, die Cloud nicht zu nutzen. Meine Sorge wegen der daraus resultierenden Hektik ist, dass wir einige leicht lösbare Probleme übersehen und große und teure Fehler machen, die am Ende größtenteils vermeidbar sind.

Um mehr über AIGC zu erfahren, besuchen Sie bitte:

51CTO AI.x Community

https://www.51cto.com/aigc/

Das obige ist der detaillierte Inhalt vonDrei Geheimnisse für die Bereitstellung großer Modelle in der Cloud. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!