30.000 A100 sind zu teuer und 300 Leute bei Microsoft haben 5 Jahre lang heimlich ihre eigenen KI-Chips entwickelt! TSMC 5nm, ChatGPT spart etwa 30 %

Um ChatGPT zu trainieren, hat Microsoft genug Geld ausgegeben.

Die gesamte von ChatGPT verbrauchte Rechenleistung beträgt etwa 3640PF-Tage. Wenn sie eine Billiarde Mal pro Sekunde berechnet wird, dauert die Berechnung 3640 Tage.

Microsoft hat mehr als 30.000 NVIDIA A100-Chips verbunden, um für Hunderte Millionen Dollar einen maßgeschneiderten Supercomputer für OpenAI zu bauen.

Wenn dieser Verbrauch anhält, kann Microsofts Geldbeutel ihn möglicherweise nicht mehr aushalten.

Tatsächlich wird der Plan, Nvidia-Chips auszutauschen, seit 2019 heimlich im Unternehmen umgesetzt.

Die Informationen berichteten, dass Microsoft vor etwa 5 Jahren mit der Entwicklung eines Chips mit dem internen Codenamen „Athena“ begann und von 300 Personen gemeinsam entwickelt wurde.

Der ursprüngliche Plan war, den 5-nm-Prozess von TSMC zu verwenden.

Selbst entwickelte Athena soll NVIDIA herausfordern

Unnötig zu erwähnen, dass „Athena“ speziell für das Training großer Sprachmodelle (LLM) entwickelt wurde.

Wenn Microsoft nun alle GPT-4-Funktionen in FamilyMart-Buckets integrieren möchte, einschließlich Bing, Microsoft 365 und GitHub, wird es definitiv eine Menge Rechenleistungsunterstützung benötigen.

Erschreckenderweise könnten die Kosten für die Entwicklung eines Chips wie Athena etwa 100 Millionen US-Dollar pro Jahr betragen.

Beim Training von Modellen können Forscher die Funktionen von „Athena“ nutzen, um neue Daten zu verarbeiten und gleichzeitig Rückschlüsse zu ziehen.

Auf diese Weise wurde die bisherige Situation, dass für die Verarbeitung von KI-Software dedizierte Computer verwendet werden mussten, gemildert. Schließlich waren Computer, die speziell für die Ausführung von KI eingesetzt wurden, noch nie ausreichend.

Denn bisher hat nur Nvidia diese Art von Chips hergestellt, und der Mangel an Angeboten hat die gesamte Technologiebranche zu diesem Mangel geführt.

Genau aus diesem Grund muss Microsoft für einige interne Teams dedizierte Chips bereitstellen.

Zuvor hatte das Forschungsunternehmen SemiAnalysis geschätzt, dass ChatGPT 700.000 US-Dollar pro Tag verbraucht, wobei jede Abfrage 0,36 Cent kostet.

Wenn „Athena“ wettbewerbsfähig ist, können die Kosten für jeden Chip um 1/3 gesenkt werden.

Tracy Woo, leitende Cloud-Analystin bei Forrester Research, sagte, dass die Explosion der KI große Unternehmen dazu veranlasst habe, sich darauf einzulassen, und dass der Mangel an Chips nicht nur Druck auf die Zulieferer, sondern auch auf KI-Technologieunternehmen ausübe. .

Große Technologieunternehmen wie Google und Amazon verfügen über genügend Kapital, um ihre eigenen Chips zu entwerfen und zu entwickeln, und andere Unternehmen müssen mit dem Tempo Schritt halten.

Zurück zu Microsofts „Athena“.

Tatsächlich war der Zeitpunkt der Veröffentlichung des KI-Chip-Projekts von Microsoft rein zufällig und nicht geplant.

Zu Beginn dieses Jahres haben OpenAI und Microsoft einen qualitativen Sprung in der LLM-Ausbildung gemacht. Mit der Angelegenheit vertraute Personen sagten, dass die Veröffentlichung von ChatGPT das Internet explodierte und Microsoft aus diesem Grund den Start von „Athena“ hastig beschleunigt habe.

Wissen Sie, ChatGPT hat mehr als 100 Millionen Benutzer.

Es wird vorhergesagt, dass Microsoft „Athena“ bereits im nächsten Jahr in großem Umfang einsetzen wird, auch innerhalb von Microsoft und OpenAI. Worüber sie immer noch zögern, ist die Frage, ob „Athena“ den Kunden der Azure-Cloud-Computing-Dienste zur Verfügung gestellt werden soll.

Microsoft gab an, dass die meisten Kunden ihr eigenes LLM nicht trainieren müssen und daher keinen Chip-Segen benötigen.

Wenn man es jedoch wirklich geben will, muss Microsoft es besser machen als NVIDIA. Schließlich sind die Chips von NVIDIA seit fünfzehn Jahren fleißig und bei allen Entwicklern ein Verkaufsschlager.

Dylan Patel, Chefanalyst beim Forschungsunternehmen SemiAnalysis, sagte, dass die Betriebskosten von ChatGPT etwa 700.000 US-Dollar pro Tag betragen, was etwa 0,36 Cent pro Abfrage entspricht. Die Hauptursache dieser Kosten ist der Server, der zu teuer ist.

Aber wenn OpenAI sein selbst entwickeltes „Athena“ nutzt und Nvidia schlagen kann, dann können die Kosten um ein Drittel gesenkt werden.

Er erklärte weiter, dass Microsoft hofft, LLM in Zukunft auch in allen seinen Anwendungen wie Bing, Office 365, GitHub usw. einzusetzen. Wenn Sie für die Bereitstellung weiterhin aktuelle Hardware verwenden, wird dies jedes Jahr mehrere zehn Milliarden Dollar kosten.

Darüber hinaus verfügen die von Microsoft selbst entwickelten Chips über eine weitere Datenunterstützung.

Microsoft-Führungskräfte prognostizieren, wie viele Grafikprozessoren zur Unterstützung der KI-Arbeit benötigt werden. Einer der mit der Angelegenheit vertrauten Personen sagte, dass es unerschwinglich teuer wäre, sich ausschließlich auf Nvidia-Chips zu verlassen.

Obwohl Microsoft und NVIDIA erst letztes Jahr ein Kooperationsprojekt zum Bau von Supercomputern vereinbart haben, konkurriert „Athena“ in Bezug auf Chips immer noch mit den Produkten von NVIDIA.

NVIDIA lehnte jedoch eine Stellungnahme zu diesem sensiblen Thema ab.

Das obige ist der detaillierte Inhalt von30.000 A100 sind zu teuer und 300 Leute bei Microsoft haben 5 Jahre lang heimlich ihre eigenen KI-Chips entwickelt! TSMC 5nm, ChatGPT spart etwa 30 %. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!