Huawei lance deux nouveaux produits de stockage IA

Le site de la conférence. (Photo gracieuseté de Huawei)

[Shenzhen Business News] (Reporter Chen Shu) L'intelligence artificielle passe progressivement des grands modèles aux très grands modèles, de la monomodalité à la multimodalité, et le stockage des données est devenu un élément clé. L’ère des grands modèles centrés sur le stockage et la puissance de calcul est arrivée. Le 14 juillet, Huawei a lancé un nouveau produit de stockage d'IA pour l'ère des grands modèles, offrant des « solutions optimales » de stockage pour la formation de base des modèles, la formation des modèles industriels, ainsi que la formation et le raisonnement des modèles de scénarios segmentés.

Zhou Yuefeng, président de la gamme de produits de stockage de données de Huawei, a déclaré que les entreprises sont confrontées à quatre défis majeurs dans le processus de développement et de mise en œuvre d'applications de grands modèles : premièrement, le temps de préparation des données est long, les sources de données sont dispersées et la collecte est lente. environ 10 jours pour prétraiter 100 To de données. Deuxièmement, les grands modèles multimodaux utilisent des textes et des images volumineux comme ensembles de formation. La vitesse de chargement actuelle de petits fichiers volumineux est inférieure à 100 Mo/s et l'efficacité de chargement des ensembles de formation est faible. Troisièmement, les grands paramètres du modèle sont fréquemment ajustés et la plate-forme de formation est instable, une interruption de formation moyenne se produit environ une fois tous les 2 jours, ce qui nécessite la reprise de la formation par le mécanisme Checkpoint, et la récupération en cas d'échec prend finalement plus d'une journée. Le seuil pour les grands modèles est élevé, la construction du système est complexe, la planification des ressources est difficile et l'utilisation des ressources GPU est généralement inférieure à 40 %.

Huawei a lancé le stockage en lac de données d'apprentissage profond OceanStor A310 et la machine tout-en-un hyper-convergée de formation/promotion FusionCube A3000 pour les applications de grands modèles dans différents secteurs et scénarios. Parmi eux, le stockage de lacs de données d'apprentissage en profondeur OceanStor A310 est orienté vers les scénarios de lacs de données de grands modèles de base/industriels, réalisant une gestion complète des données massives de l'IA, depuis la collecte et le prétraitement des données jusqu'aux applications de formation et d'inférence de modèles. La machine tout-en-un hyperconvergée de formation/push FusionCube A3000 est conçue pour les scénarios de formation/inférence de grands modèles industriels et pour des dizaines de milliards d'applications de modèles. Elle intègre des nœuds de stockage hautes performances OceanStor A300, des nœuds de formation/push et des équipements de commutation. , un logiciel de plate-forme d'IA et un logiciel de gestion et d'exploitation, offrant aux grands partenaires modèles une expérience de déploiement clé en main et permettant une livraison unique.

Dans une interview exclusive avec les médias, Ni Guangnan, académicien de l'Académie chinoise d'ingénierie, a déclaré que les données sont devenues une ressource stratégique fondamentale pour le pays. La capacité de stockage de données (appelée « capacité de stockage »), la capacité de calcul de l'information (appelée « puissance de calcul ») et la capacité de transport en réseau (appelée « capacité de transport ») sont le noyau et le fondement du développement de la Chine. l’industrie de l’information et constituent le soutien stratégique à la construction d’un pays technologiquement puissant. Il estime que le stockage d'énergie deviendra une industrie stratégique et fondamentale nationale et un nouvel avantage concurrentiel international.

"À l'ère des grands modèles, les données déterminent le niveau de l'intelligence artificielle. En tant que support de données, le stockage des données est devenu l'infrastructure clé des grands modèles d'IA. Zhou Yuefeng a déclaré dans une interview après la réunion que l'industrie chinoise de l'intelligence artificielle." doit prêter attention au développement rapide de la numérisation, en se concentrant sur l'enregistrement numérique des données et des informations. La préparation des données est le plus grand défi rencontré lors de la mise en œuvre de grands modèles d’IA qui ont récemment fait sensation. Selon lui, le coût des grands modèles d'IA représente principalement 25 % de la puissance de calcul, tandis que le coût de l'achat de serveurs, du nettoyage et du prétraitement des données représente 22 %. On constate que les données, leur stockage et leur traitement deviennent de plus en plus importants. Cette phrase est réécrite comme suit : Ce point important est non seulement que la quantité de données a augmenté, mais surtout que le processus de traitement des données est devenu plus complexe. Han Zhenxing, vice-président du secteur du stockage distribué de Huawei, a souligné que la Chine inaugurerait le développement à grande échelle des centres de stockage et a prédit que des produits de stockage plus performants émergeraient à l'avenir.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!