ChatGPT hat einen doppelten Einfluss auf die Rechenleistung

ChatGPT war in den letzten Monaten ein heißes Thema. Der Grund für seine anhaltende Popularität ist die steigende Nachfrage nach Rechenleistung der Technologie zur automatischen Generierung von Inhalten mit künstlicher Intelligenz. Einerseits hat ChatGPT das Wachstum der Nachfrage nach Rechenleistung vorangetrieben. Andererseits hat ChatGPT höhere Anforderungen an die Rechenleistungsunterstützung gestellt.

Daten zufolge beträgt der gesamte Rechenleistungsverbrauch, der für ein ChatGPT-Modelltraining erforderlich ist, 3640PF-Tage, was etwa 12 Millionen US-Dollar kostet und auch einen erheblichen Overhead während des Betriebs erfordert. Laut dem Guosheng Securities-Bericht beträgt die entsprechende Chipnachfrage auf der Grundlage der durchschnittlichen Anzahl eindeutiger Besucher von ChatGPT im Januar von 13 Millionen mehr als 30.000 Nvidia A100-GPUs, die ungefähren Kosten für Rechenleistung betragen 800 Millionen US-Dollar und der tägliche Strom Die Kosten betragen rund 50.000 US-Dollar. ChatGPT hat von Microsoft eine Investition in Höhe von 13 Milliarden US-Dollar erhalten, die das Vertrauen hinter die Investition in hohe Rechenleistung stärkt. Gerade mit der vollen Unterstützung des Technologieriesen Microsoft von Fonds, Zukunftsmärkten bis hin zur Computing-Infrastruktur (Azure Cloud) kann OpenAI ein so großes Projekt als unabhängiges Unternehmerunternehmen abschließen. Der Bedarf an Rechenleistung hängt eng mit der Parametergröße zusammen. Die Parametergröße ist derzeit auch eine wichtige Referenz für die Messung der Qualität des Trainings großer Modelle. Je größer die Anzahl der Parameter, desto intelligenter ist das Modell und desto größer ist der damit verbundene Overhead. Dies bildet das Merkmal einer hohen Schwelle für den GPT-Typ. Die Vorgängerversion von GPT-3 war Open Source, was es für andere Unternehmer einfacher machte, darauf basierende neue Forschungs- und Entwicklungsarbeiten durchzuführen. Ab GPT-4 berechnet die offene OpenAI-API Gebühren basierend auf dem Byte-Verkehr. Unabhängig davon, ob es sich um eine Anwendungsentwicklung oder eine darauf basierende sekundäre Modellentwicklung handelt, gibt es eine hohe Schwelle.

Interessanter ist, dass der LLaMA-Quellcode von Meta durchgesickert ist. Dadurch entstand das sogenannte „Llama Family“ („Lama“ kann mit „Alpaka“ übersetzt werden) großes Modell Entwickler, die Open-Source-Ressourcen erhalten möchten, können neben GPT-3 eine neue Option erhalten.

Die hohe Abhängigkeit „großer Modelle“ von der Rechenleistung hat mindestens zwei große Auswirkungen.

Erstens ist dies kein Spiel mehr, bei dem es um „Basis“-Unternehmertum geht, und es handelt sich auch nicht mehr um ein „Copy To China“-Spiel für Internet-Unternehmertum in der Vergangenheit, sondern um einen „echten Schwert-und-Waffen“-Kernkompetenzwettbewerb zwischen Kapital und Technologie zur unternehmensstrategischen Ausrichtung. Im traditionellen Industriezeitalter begann China mit der verarbeitenden Industrie und stieg nach und nach zur Forschung und Entwicklung hochwertiger Kerntechnologien auf. Tatsächlich ist es jedoch noch lange nicht das fortschrittlichste Niveau in Europa und den Vereinigten Staaten. Insbesondere in Kategorien wie der Materialwissenschaft, die eine langfristige technische Akkumulation erfordern, ist die Lücke immer noch groß.

Im digitalen Zeitalter herrscht in chinesischen Branchenkreisen Konsens darüber, direkt mit der Kerntechnologieforschung und -entwicklung zu beginnen.

Für die Vereinigten Staaten und China ist es zu einem Trend geworden, in Wissenschaft und Technologie weniger voneinander abhängig zu werden. Obwohl derzeit nur die Chipindustrie eingeschränkt ist, werden wir mit Sicherheit vor dem gleichen Problem stehen, wenn sich „große Modelle“ zu einem Produktionsfaktor entwickeln. Daher muss China über eine eigene „große Modell“-Kerntechnologie verfügen. Angesichts dieser Unvermeidlichkeit sind auch chinesische Technologieunternehmen dazu übergegangen, stark in „große Modelle“ zu investieren.

Wenn kleine und mittlere Technologieunternehmen nicht in der Lage sind, native „große Modelle“ zu entwickeln, können sie die Open-Source-Modelle von GPT-3 oder LLaMA für die Entwicklung oder Sekundärentwicklung nutzen, um ihre eigenen „großen Modelle“ zu bilden. Anwendungsentwicklungsunternehmen entwickeln nur selten native „große Modelle“. Wenn sie nicht besonders großes Vertrauen in den Absatzmarkt ihrer Anwendungen haben, erliegen sie dem enormen Kostendruck bei der Rechenleistung und zahlen stattdessen API-Nutzungsgebühren, um verwandte Anwendungen mithilfe vorgefertigter Modelle zu entwickeln. .

Zweitens kommt der Aufbau von „Ost und West“ gerade rechtzeitig und könnte große Geschäftsmöglichkeiten eröffnen.

Die westliche Region ist reich an „grünen Strom“-Ressourcen. Im Rahmen des Gesamtplans „Eastern Digital and Western Computing“ ist der westliche Hub hauptsächlich für Backup- und Speicherarbeiten zuständig; in Smart Cities, Industrial Internet und Internetdiensten Der Hub ist in der östlichen Region angesiedelt. Das „große Modell“ hat einen enormen Bedarf an Rechenleistung. Der östliche IDC belegt in großem Umfang Rechenleistungsressourcen, was drei große Nachteile mit sich bringt: hohe Kosten (hohe Stromrechnungen im Osten), hohe Emissionen (der Anteil an Ökostrom im Osten). Der Osten ist klein) und die Rechenleistung wird für Anwendungen mit geringen Latenzanforderungen verdrängt, was neue Geschäftsmöglichkeiten für Rechenleistungszentren im Westen schafft.

Einerseits stellt die Platzierung der Trainingsberechnungen „großer Modelle“ in IDCs in der westlichen Region höhere Anforderungen an die Leistungsverbesserung des lokalen Kommunikationsnetzwerks. Der Durchsatz großer Datenmengen ist ein Problem, das gelöst werden muss, aber die Kosten für die Lösung dieses Problems sind weitaus geringer als die Differenz der IDC-Nutzungsgebühren.

Andererseits haben Technologieriesen ihre eigenen ESG-Ziele (Environmental Social Responsibility) aufgestellt, und der CO2-Ausstoß ist der wichtigste Indikator. Der Betrieb von „großen Modellen“ und großer Rechenleistung wird große Mengen an CO2-Emissionen verursachen und die Nachfrage nach „grüner Rechenleistung“ wird dringlicher.

Das obige ist der detaillierte Inhalt vonChatGPT hat einen doppelten Einfluss auf die Rechenleistung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!