Sangfor et TrendForce unissent leurs forces pour utiliser un stockage haute performance pour prendre en charge le développement de grands modèles d'IA

Récemment, Beijing Trendong Technology Co., Ltd. (ci-après dénommée « Trendong Technology ») et Sangfor ont officiellement lancé une solution commune. Cette solution combine organiquement le stockage haute performance de Sangfor EDS avec le logiciel de mutualisation des ressources informatiques OrionX AI et la plateforme de formation Gemini AI. Elle vise à intégrer les ressources de stockage et de calcul pour aider les utilisateurs à créer des plateformes d'intelligence artificielle efficaces, à les gérer et à utiliser efficacement les ressources d'intelligence artificielle.

Plus précisément, le lancement de solutions communes apportera les changements suivants à la construction d'infrastructures utilisateur dans le domaine de l'intelligence artificielle

La solution commune performante est prête à créer une plateforme de formation plus efficace

À mesure que la construction de modèles d'intelligence artificielle à grande échelle s'accélère, les utilisateurs ont des exigences de plus en plus élevées en matière d'efficacité de la formation des modèles d'intelligence artificielle. Cependant, en raison de problèmes tels que des ressources de calcul GPU insuffisantes et des performances de lecture et d'écriture insuffisantes de petits fichiers dans le stockage sous-jacent, un grand nombre de tâches de formation sur la plate-forme de formation doivent être mises en file d'attente. Une puissance de calcul et une capacité de stockage insuffisantes ralentissent l'efficacité de la formation de l'ensemble de la plateforme de formation en intelligence artificielle

Pour résoudre ce problème, la solution commune a été entièrement optimisée. En réponse au problème d'efficacité de la plate-forme de formation de couche supérieure, le logiciel de pooling de ressources informatiques OrionX AI de Trend Technology aide les utilisateurs à allouer de manière flexible les ressources GPU en fonction des conditions de tâche en créant un pool de ressources informatiques pour réaliser la segmentation, l'agrégation, les appels à distance et super-scoring., mise en file d'attente des tâches, montage et publication dynamiques, pool hétérogène de puces nationales et autres capacités pour répondre pleinement aux besoins de puissance de calcul de diverses tâches de formation et accélérer la progression des tâches. Dans le même temps, la capacité de planification fournie par la plateforme de formation Gemini AI optimise le mécanisme de gestion de la plateforme de formation. Dans le cadre d'une planification unifiée, la formation des modèles d'IA est plus efficace

.

Grâce au mécanisme de lecture anticipée heuristique développé par EDS et au service de métadonnées multi-live, nous pouvons résoudre efficacement les problèmes de performances du stockage sous-jacent. Même avec des dizaines de milliards d’ensembles de données, nous pouvons toujours fournir des capacités de lecture et d’écriture à grande vitesse. De cette façon, cela peut non seulement réduire le temps d'attente du GPU, mais également améliorer le débit et l'efficacité de la formation en boucle à court terme

2. La capacité et les performances peuvent être étendues simultanément pour créer une solution de stockage rentable

Dans le processus quotidien de formation des ensembles de données d'IA, afin de rendre le modèle plus précis, il est souvent nécessaire d'utiliser des images massives, du texte et d'autres données pour entraîner le modèle d'IA. La croissance rapide des données exerce une pression considérable sur la capacité et les performances du stockage sous-jacent. Le modèle d'expansion coûteux et inefficace du stockage traditionnel est devenu de plus en plus difficile à répondre aux besoins en termes de performances et de capacité.

S'appuyant sur des technologies entièrement développées telles que des algorithmes de stockage matriciel, EDS peut résoudre efficacement le problème de gaspillage d'espace causé par l'amplification de l'écriture de petits fichiers lors du stockage de petits fichiers tels que des images, des textes et des vidéos, maximisant ainsi l'utilisation de l'espace de stockage. , et un cluster composé de trois nœuds. Il peut répondre aux besoins de stockage d'une équipe de formation en IA de taille moyenne. En termes d'expansion des performances, bénéficiant également des avantages architecturaux du stockage défini par logiciel, EDS peut réaliser une expansion simultanée de la capacité et des performances pendant l'expansion, répondant de manière flexible aux exigences de performances croissantes des activités d'IA.

3. Gestion unifiée et exploration approfondie de la valeur des données

Avant de lancer la solution, EDS a réussi à s'intégrer de manière transparente à la plateforme de formation Gemini AI de Trend Technology via NFS CSI, S3 et d'autres protocoles. Grâce à une adaptation en profondeur, la plate-forme d'orchestration de conteneurs Kubernetes peut effectuer plus rapidement l'allocation dynamique des ressources de stockage. Les utilisateurs peuvent directement ignorer l'étude de faisabilité de la solution lors du déploiement et lancer rapidement des tâches de formation à l'IA. Dans le même temps, EDS prend également en charge l'interopérabilité des données entre plusieurs protocoles. Plusieurs types de clients peuvent partager un système de stockage. Les données résultantes de chaque étape n'ont pas besoin d'être copiées entre les stockages, permettant ainsi un flux efficace et garantissant que les utilisateurs peuvent les utiliser efficacement. résultats de données pour exploiter plus facilement la valeur des données

À l'avenir, les deux parties renforceront également la coopération dans le domaine technique et aideront les utilisateurs à accélérer la mise à niveau et la construction de la plate-forme de formation en IA en fournissant des solutions communes avec des performances de stockage plus élevées, afin qu'un plus grand nombre d'utilisateurs puissent obtenir des résultats plus rapides et plus précis. résultats sur la voie de la formation en IA Des progrès constants

.

À propos de Trend Technology : Trend Technology s'engage à fournir aux utilisateurs les meilleures solutions mondiales de virtualisation de la puissance de calcul et de mise en commun des ressources de l'IA au niveau des centres de données. À l'heure actuelle, de nombreuses entreprises et utilisateurs leaders dans les domaines de l'intelligence artificielle, de l'Internet, des opérateurs, de la finance, de l'automobile et de la conduite autonome, de l'éducation et d'autres secteurs ont utilisé la solution de mutualisation des ressources informatiques OrionX AI

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!