Huaweis großes Modell erscheint in der offiziellen Ausgabe von Nature! Rezensent: Lassen Sie die Leute die Zukunft von Prognosemodellen noch einmal untersuchen

10.000-mal schneller als herkömmliche Methoden, es dauert nur 1,4 Sekunden, um eine globale 24-Stunden-Wettervorhersage zu erstellen – sie stammt aus dem Pangu-Wettermodell von Huawei Cloud.

Heute wurde es in Nature veröffentlicht. Es soll das erste offizielle Nature-Papier sein, das in den letzten Jahren mit einem chinesischen Technologieunternehmen als alleiniger Signatureinheit (also dem alleinigen Autor von Huawei Cloud) veröffentlicht wurde.

Bilder

Die Rezensenten lobten es sehr. Dieses Modell ermöglicht es den Menschen, die Zukunft von Wettervorhersagemodellen neu zu untersuchen.

Die Implikation ist, dass die ursprünglichen traditionellen Methoden damit nicht mehr duften.

Bilder

Also, wie genau ist es entstanden? Welche zentralen Herausforderungen wurden gelöst? Was sind die konkreten Ergebnisse und Anwendungen?

Folgen Sie diesem Artikel und lassen Sie sich durch alles führen.

Lösung des Problems unzureichender Genauigkeit vorhandener KI-Wettervorhersagemodelle

Seit den 1920er Jahren, insbesondere in den letzten drei Jahrzehnten, mit der rasanten Entwicklung der Rechenleistung, ist die traditionelle numerische Wettervorhersage in der täglichen Wettervorhersage, bei Warnungen vor extremen Katastrophen, und Klimawandel wurden in Bereichen wie der Vorhersage von Veränderungen große Erfolge erzielt.

Da sich jedoch das Wachstum der Rechenleistung verlangsamt und das physikalische Modell allmählich komplexer wird, wird der Engpass dieser Methode immer deutlicher.

Daher begannen Forscher, neue Paradigmen für die Wettervorhersage zu erforschen, beispielsweise mithilfe von Deep-Learning-Methoden, um zukünftiges Wetter vorherzusagen.

Das Forschungs- und Entwicklungsteam von Huawei Cloud hat vor zwei Jahren mit der Forschung in diesem Bereich begonnen.

Sie stellten fest, dass in den Bereichen, in denen numerische Methoden am weitesten verbreitet sind, wie z. B. mittel- und langfristige Prognosen, die Genauigkeit bestehender KI-Prognosemethoden immer noch deutlich geringer ist als die numerischer Prognosemethoden und durch Probleme wie mangelnde Genauigkeit eingeschränkt wird Interpretierbarkeit und ungenaue Extremwettervorhersagen.

Es gibt zwei Hauptgründe, warum die

Genauigkeit des KI-Wettervorhersagemodells unzureichend ist: Erstens basieren die vorhandenen KI-Wettervorhersagemodelle auf 2D-Neuronalen Netzen und können nicht gut verarbeitet werden. Ungleichmäßig 3D-Meteorologiedaten;

Zweitens fehlen der KI-Methode mathematische und physikalische Mechanismusbeschränkungen, sodass sich während des Iterationsprozesses weiterhin Iterationsfehler ansammeln.

Hier schlugen Huawei Cloud-Forscher den

3D Earth-Specific Transformer (3DEST) vor, um komplexe ungleichmäßige 3D-Meteorologiedaten zu verarbeiten und so ein groß angelegtes Pangu-Meteorologiemodell zu erstellen. Die Hauptidee besteht darin, eine 3D-Variante des visuellen Transformators zu verwenden, um komplexe ungleichmäßige meteorologische Elemente zu verarbeiten, und die

hierarchische zeitliche Aggregationsstrategie zu verwenden, um 4 Modelle mit unterschiedlichen Vorhersageintervallen zu trainieren ( bzw. 1-Stunden-Intervall, 3-Stunden-Intervall, 6-Stunden-Intervall, 24-Stunden-Intervall) , wodurch die Anzahl der Iterationen zur Vorhersage meteorologischer Bedingungen zu einem bestimmten Zeitpunkt minimiert wird, wodurch Iterationsfehler reduziert und der durch rekursives Training verursachte Verbrauch von Trainingsressourcen vermieden werden. . Um jedes Modell zu trainieren, verwendeten die Forscher meteorologische Daten von 1979 bis 2021, erhoben stündlich Stichproben und trainierten für 100 Epochen.

Jedes Modell muss 16 Tage lang auf 192 V100-Grafikkarten trainiert werden. Tatsächlich sind diese Modelle auch nach 100 Epochen noch nicht vollständig konvergiert.

Mit anderen Worten: Mit mehr ausreichenden Rechenressourcen kann die Genauigkeit von KI-Prognosen weiter verbessert werden.

Abschließend lässt sich sagen, dass das Pangu-Wettermodell nur 1,4 Sekunden benötigt, um auf einer V100-Grafikkarte zu laufen und eine 24-Stunden-Globalwettervorhersage zu erstellen, einschließlich Geopotential, Luftfeuchtigkeit, Windgeschwindigkeit, Temperatur, Meeresspiegeldruck usw., auch horizontal räumliche Auflösung Die Rate erreicht 0,25∘×0,25∘, die Zeitauflösung beträgt 1 Stunde, deckt 13 vertikale Schichten ab und kann feinkörnige meteorologische Eigenschaften genau vorhersagen.

Als erste KI-Methode, deren Genauigkeit die herkömmlicher numerischer Prognosemethoden übertrifft, ist ihre Berechnungsgeschwindigkeit mehr als 10.000-mal höher als die herkömmlicher numerischer Prognosen.

Kann direkt auf mehrere Downstream-Szenarien angewendet werden

Im Mai dieses Jahres erregte die Richtung des Taifuns „Mawa“ große Aufmerksamkeit.

Die Central Meteorological Administration gab an, dass das Huawei Cloud Pangu-Großmodell bei der Vorhersage des Pfads von „Mava“ gut abschneidet und seinen Umleitungspfad in den östlichen Gewässern der Insel Taiwan fünf Tage im Voraus vorhersagt.

Bilder

Auf dem 19. Weltkongress für Meteorologie wies die Europäische Meteorologische Agentur auch darauf hin, dass das Huawei Cloud Pangu-Wettermodell eine unbestreitbare Genauigkeit aufweist. Das rein datengesteuerte KI-Wettervorhersagemodell hat vergleichbare Vorhersagefähigkeiten gezeigt des Europäischen Zentrums für mittelfristige Wettervorhersagen operationelle numerische Modelle.

Florence Habie, Direktorin des Europäischen Zentrums für mittelfristige Wettervorhersagen, demonstrierte ausführlich den Echtzeit-Betriebsinspektionsvergleich zwischen dem Huawei Cloud Pangu Meteorological Model und dem Europäischen Zentrum für mittelfristige Wettervorhersagen:

Um die Fähigkeit der KI zu untersuchen, extremes Wetter zu erfassen, haben wir im Februar dieses Jahres einen Fall in Finnland untersucht, bei dem eine Kältewelle von -29 °C beobachtet wurde. Wir stellten fest, dass Pangu die Schwere dieses Ereignisses früher erkannte.

Bilder

Florence Habiye betonte außerdem, dass die KI-Vorhersagemethode weniger Ressourcen verbraucht und wichtige Chancen für Entwicklungsländer bietet, da sie keine großen Supercomputing-Ressourcen mehr erfordert und auch Möglichkeiten zur Verbesserung der globalen Prognosefähigkeiten bietet seltene Gelegenheit.

Was Huawei Cloud betrifft, das den Bereich der KI-Wettervorhersage als „Durchbruch“ wählt, ist einerseits die Wettervorhersage, insbesondere die genaue Vorhersage extremer Wetterbedingungen wie starker Regen, Taifune, Dürren und Kältewellen, damit verbunden Andererseits ist die Wettervorhersage sehr komplex, KI kann aus umfangreichen Daten neue atmosphärische Entwicklungsmuster ermitteln und bietet ein enormes Verbesserungspotenzial in Bezug auf Genauigkeit und Geschwindigkeit.

Es wird davon ausgegangen, dass der von der Weltorganisation für Meteorologie (WMO) zu veröffentlichende strategische Plan der WMO 2024-2027 die Elemente der künstlichen Intelligenz übernommen hat, was sie zu einer wichtigen Kraft bei der Förderung der Entwicklung der meteorologischen Wissenschaft und Technologie macht.

WMO wird außerdem aktiv die Demonstrationsanwendung von KI in den Bereichen Nowcasting und numerische Wettervorhersage fördern, eine internationale Vergleichsplattform für Produktanwendungen künstlicher Intelligenz schaffen, Standards und Richtlinien für meteorologische KI-Anwendungen formulieren, den Austausch von Datensätzen künstlicher Intelligenz fördern und andere verwandte Arbeiten sowie die Erforschung und Nutzung des Anwendungspotenzials von KI im meteorologischen Bereich, um die nationale Frühwarninitiative effektiv zu unterstützen.

Drei Schlüssel zur Zukunft

Wie sieht das Huawei Cloud Pangu Weather Model Team schließlich die Zukunft der KI-Wettervorhersage?

Die Antwort besteht aus drei Schlüsseln:

Erstens, Big Data. Riesige meteorologische Daten sind der Grundstein für KI-Modelle. Derzeit verwendet das groß angelegte Pangu-Meteorologiemodell nur einen Teil der ERA5-Reanalysedaten. Zukünftige KI-Modelle werden auf massiven und verfeinerten globalen Beobachtungsdaten basieren.

Zweitens Große Rechenleistung. Die ultrahohe Auflösung meteorologischer Daten stellt eine große Herausforderung für das Training von KI-Modellen dar. Die aktuelle Eingabeauflösung des Pangu-Meteorologiemodells beträgt 1440 x 720 x 14 x 5, verglichen mit der üblicherweise verwendeten Auflösung von 224 x 224 x 3 Etwa das 500-fache der Rechenleistung. Mit zunehmender Auflösung und wachsendem Modell werden auch die erforderlichen Rechenressourcen schnell zunehmen.

Endlich Das große Modell . Die komplexen meteorologischen Gesetze, die ultrahohe Auflösung und die riesigen Datenmengen führen dazu, dass KI-Wettervorhersagen den Einsatz von KI-Modellen mit extrem hohem Rechenaufwand erfordern. Wenn Sie das führende KI-Wettervorhersagemodell kontinuierlich iterieren möchten, sind gleichzeitig auch eine stabile Cloud-Umgebung, eine Arbeitssuite und ein entsprechender Betrieb und Wartung unerlässlich.

Papieradresse: https://www.nature.com/articles/s41586-023-06185-3

Das obige ist der detaillierte Inhalt vonHuaweis großes Modell erscheint in der offiziellen Ausgabe von Nature! Rezensent: Lassen Sie die Leute die Zukunft von Prognosemodellen noch einmal untersuchen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!