Llama devient le top model parmi les grands mannequins, Zuckerberg lance un débat : en jouant à l'open source, les temps ont changé

Le différend entre l'open source et le fermé dure depuis longtemps, et maintenant il a peut-être atteint un nouveau point culminant. En ce qui concerne les grands modèles open source, la série Llama est un représentant typique depuis sa naissance. Ses excellentes performances et ses fonctionnalités open source ont considérablement amélioré l'applicabilité et l'accessibilité de la technologie de l'intelligence artificielle. Tout chercheur et développeur peut en bénéficier, rendant ainsi la recherche et les applications plus répandues. Maintenant, Meta Llama 3.1 405B est officiellement publié. Sur le blog officiel, Meta a déclaré : "Jusqu'à aujourd'hui, les grands modèles de langage open source étaient pour la plupart à la traîne des modèles fermés en termes de fonctionnalités et de performances. Nous inaugurons désormais une nouvelle ère dirigée par l'open source

Meta." le fondateur Zach Berg explique l'importance de l'open source pour l'IA

1. L'open source est une condition nécessaire au développement de l'IA

Le fondateur et PDG de Meta, Zuckerberg, a déclaré que l'open source est crucial pour le développement positif de l'IA. Citant le développement d'Unix et de Linux comme exemples, il estime que l'IA open source favorisera l'innovation, la protection des données et la rentabilité.

2. Modèle Open source Llama pour construire un écosystème complet

Zuckerberg estime que le modèle open source Llama peut construire un écosystème complet pour garantir le progrès technologique et éviter de perdre des avantages dus à la concurrence.

3. Histoire et vision Open Source de Meta

Meta a une histoire open source réussie. Zuckerberg espère promouvoir une application égale et sûre de la technologie mondiale grâce à des modèles d’IA open source.

Lien original : https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/
Ce qui suit est le contenu original :
Zuckerberg injecte des gènes open source dans Meta
Au début du calcul haute performance, les grandes entreprises technologiques grand public ont investi massivement dans le développement de leurs propres versions fermées d'Unix. À l’époque, il était difficile d’imaginer une autre manière de développer un logiciel aussi avancé.
Cependant, Linux open source est progressivement devenu populaire : au départ parce qu'il permettait aux développeurs de modifier librement le code et était plus abordable, mais plus tard, il est devenu plus avancé, plus sécurisé et disposait d'un écosystème et d'un support plus larges que n'importe quel Unix source fermée. Plus de fonctionnalités. Aujourd'hui, Linux constitue la base standard de l'industrie pour le cloud computing et le système d'exploitation qui exécute la plupart des appareils mobiles, et tout le monde bénéficie de ses produits de qualité supérieure.
Je crois que le développement de l’intelligence artificielle suivra une trajectoire similaire. Aujourd’hui, certaines entreprises technologiques développent des modèles open source de pointe, mais l’open source comble rapidement l’écart.
L'année dernière, le Llama 2 n'était comparable qu'à un modèle d'une génération plus ancienne. Et cette année, le Llama 3 rivalise déjà, voire devance, les modèles phares du secteur dans certains domaines. À partir de l’année prochaine, nous nous attendons à ce que les futurs modèles Llama soient les grands modèles les plus avancés de l’industrie. Avant cela, Llama ouvrait également la voie en matière d'ouverture, de modifiabilité et de rentabilité.
Aujourd’hui, nous passons à l’étape suivante : faire de l’IA open source la norme de l’industrie. Nous avons publié le premier modèle d'IA open source de pointe, Llama 3.1 405B, ainsi que des versions améliorées des modèles Llama 3.1 70B et 8B. Ces modèles open source sont nettement plus rentables que les modèles fermés, en particulier la nature open source du modèle 405B, ce qui en fait le meilleur choix pour affiner et distiller de petits modèles.
En plus de publier ces modèles, nous travaillons également avec plusieurs entreprises pour élargir l'écosystème plus large. Amazon, Databricks et Nvidia lancent des suites complètes de services pour permettre aux développeurs d'affiner et de distiller leurs propres modèles. Des innovateurs comme Groq ont créé des services d'inférence à faible latence et à faible coût pour tous les nouveaux modèles.
Ces modèles seront disponibles sur toutes les principales plateformes cloud, notamment AWS, Azure, Google, Oracle, etc. Scale.AI, Dell, Deloitte et d'autres sont déjà prêts à aider les entreprises à adopter Llama et à former des modèles personnalisés à l'aide de leurs propres données. À mesure que la communauté se développe et que de plus en plus d’entreprises développent de nouveaux services, nous pouvons ensemble faire de Llama la norme de l’industrie et apporter les avantages de l’IA à tous.
Meta s'engage en faveur de l'IA open source, voici les raisons pour lesquelles je pense que l'open source est la meilleure plateforme de développement, pourquoi l'open source Llama est bon pour Meta et pourquoi l'IA open source est bonne pour le monde et sera là pendant longtemps temps.
L'IA Open Source pour les développeurs
Lorsque je parle à des développeurs, des PDG et des représentants gouvernementaux du monde entier, j'entends généralement quelques thèmes :
Nous devons former, affiner et distiller nos propres modèles. Chaque organisation a des besoins différents qui sont mieux satisfaits en utilisant des modèles formés ou affinés à différentes échelles et avec des données spécifiques. Les tâches sur l'appareil et les tâches de classification nécessitent de petits modèles, tandis que les tâches plus complexes nécessitent des modèles de grande taille. Vous pouvez désormais prendre des modèles de lamas de pointe, continuer à les entraîner sur vos propres données, puis les distiller jusqu'à la taille de modèle qui correspond le mieux à vos besoins, sans que nous ni personne d'autre ne puissions voir vos données.
Nous devons contrôler notre propre destin au lieu d'être « enfermés » par des fournisseurs fermés. De nombreuses organisations ne veulent pas s’appuyer sur un modèle qu’elles ne peuvent pas gérer et contrôler elles-mêmes. Ils ne veulent pas que les fournisseurs de modèles fermés puissent modifier le modèle, modifier les conditions d'utilisation ou même arrêter complètement le service. Ils ne veulent pas non plus être enfermés dans une seule plateforme cloud avec des droits exclusifs sur leurs modèles. L'Open Source permet un large écosystème de chaînes d'outils compatibles entre lesquelles vous pouvez facilement basculer.
Nous devons protéger nos données. De nombreuses organisations gèrent des données sensibles qui doivent être protégées et ne peuvent pas être envoyées vers un modèle source fermé via des API cloud. Certaines organisations ne font tout simplement pas confiance aux fournisseurs de modèles à code source fermé pour leurs données. L'open source résout ces problèmes car il vous permet d'exécuter le modèle où vous le souhaitez. Il est bien connu que les logiciels open source sont plus sécurisés car le processus de développement est plus transparent.
Nous avons besoin d’un modèle efficace et économique. Les développeurs peuvent exécuter Llama 3.1 405B sur leur propre infrastructure pour l'inférence à environ 50 % du coût d'utilisation de modèles fermés tels que GPT-4, adaptés aux tâches d'inférence côté client et hors ligne.
Nous souhaitons investir dans un écosystème qui deviendra la norme à long terme. Beaucoup voient l’open source évoluer plus rapidement que les modèles fermés et souhaitent construire leurs systèmes sur une architecture qui offre les plus grands avantages sur le long terme.
Open Source AI to Meta
Le modèle commercial de Meta consiste à créer les meilleures expériences et services pour les gens. Pour y parvenir, nous devons veiller à toujours avoir accès à la meilleure technologie et ne pas être enfermés dans un écosystème fermé de concurrents afin qu’ils ne puissent pas limiter ce que nous développons.
Je souhaite partager une expérience importante : bien qu'Apple nous permette de créer du contenu sur sa plateforme, nous sommes toujours limités lors de la création de services.Qu'il s'agisse des taxes qu'ils imposent aux développeurs, des règles arbitraires qu'ils imposent ou de toutes les innovations produits qu'ils empêchent, il est clair que si nous pouvons créer la meilleure version de notre produit et que les concurrents ne peuvent pas limiter ce que nous construisons, Meta et bien d'autres les entreprises seront en mesure de fournir de meilleurs services aux gens. Sur le plan philosophique, c'est l'une des principales raisons pour lesquelles je crois si fermement à la construction d'un écosystème ouvert pour la prochaine génération d'ordinateurs en IA et AR/VR.
Les gens me demandent souvent si je crains de perdre un avantage technique en open source Llama, mais je pense que cela passe à côté de la situation générale pour plusieurs raisons :
Premièrement, pour garantir que nous pouvons maintenir notre leadership technologique à long terme et ne pas être Enfermé dans un écosystème source fermé, Llama doit évoluer vers un écosystème complet comprenant des outils, des améliorations d'efficacité, des optimisations matérielles et d'autres intégrations. Si notre entreprise était la seule à utiliser Llama, l’écosystème ne se développerait pas et nous ne serions pas mieux lotis qu’avec les variantes fermées d’Unix.
Deuxièmement, je m’attends à ce que le développement de l’IA continue d’être très compétitif, ce qui signifie qu’à tout moment, l’open source d’un modèle ne nous fera pas perdre un énorme avantage dans la concurrence contre le meilleur modèle suivant. Le chemin de Llama pour devenir un standard de l'industrie consiste à rester compétitif, efficace et ouvert génération après génération.
Troisièmement, une différence clé entre les fournisseurs de modèles Meta et les fournisseurs de modèles fermés est que vendre l'accès aux modèles d'IA ne fait pas partie de notre modèle commercial. Cela signifie que la publication publique de Llama ne nuira pas à nos revenus, à notre durabilité ou à notre capacité à investir dans la recherche, contrairement aux fournisseurs fermés. (C'est l'une des raisons pour lesquelles certains fournisseurs de sources fermées font pression sur les administrateurs publics contre l'open source.)
Enfin, Meta a une longue histoire de succès avec des projets open source. Nous avons économisé des milliards de dollars en partageant nos conceptions de serveurs, de réseaux et de centres de données avec l'Open Compute Project et en standardisant la chaîne d'approvisionnement. En open source des outils de pointe tels que PyTorch, React et bien d’autres, nous bénéficions grandement de l’innovation dans l’écosystème. Cette approche est extrêmement efficace depuis longtemps.
L'IA Open Source vers le monde
Je pense que l'Open Source est nécessaire pour l'avenir de l'IA. L’IA a le potentiel d’augmenter la productivité humaine, la créativité et la qualité de vie plus que toute autre technologie moderne, et de faire progresser la recherche médicale et scientifique tout en accélérant la croissance économique. L’open source garantira qu’un plus grand nombre de personnes dans le monde puissent profiter des avantages et des opportunités du développement de l’IA, que le pouvoir ne soit pas concentré entre les mains de quelques entreprises et que la technologie puisse être déployée de manière plus uniforme et plus sûre dans la société.
Il y a un débat en cours sur la sécurité des modèles d'IA open source. Ce que je veux dire, c’est que l’IA open source sera plus sûre que les alternatives. Je pense que les gouvernements finiront par conclure qu’ils soutiennent l’open source parce que cela rendra le monde plus prospère et plus sûr.
Dans le cadre de sécurité que je comprends, nous devons nous prémunir contre deux types de dommages : involontaires et intentionnels.
Les dommages involontaires font référence à la possibilité qu'un système d'IA puisse involontairement causer des dommages lors de son exécution. Par exemple, les modèles d’IA modernes peuvent donner par inadvertance des conseils de santé incorrects. Ou encore, dans les scénarios futurs, on craint que les modèles puissent se reproduire par inadvertance ou suroptimiser les objectifs au détriment des humains.
Un préjudice intentionnel se produit lorsque de mauvais acteurs utilisent des modèles d'IA avec l'intention de causer du tort.
Il convient de noter que les dommages involontaires couvrent la plupart des préoccupations des gens à propos de l’IA – de l’impact des systèmes d’IA sur des milliards d’utilisateurs aux scénarios de science-fiction les plus catastrophiques. À cet égard, la sécurité offerte par l’open source est encore plus significative car le système est plus transparent et peut être largement scruté.
Historiquement, les logiciels open source ont été plus sécurisés pour cette raison. De même, l’utilisation de Llama et de ses systèmes de sécurité comme Llama Guard sera probablement plus sûre et plus fiable qu’un modèle fermé. En conséquence, la plupart des discussions sur la sécurité de l’IA open source se concentrent sur les dommages intentionnels.
Notre processus de sécurité comprend des tests rigoureux et une évaluation par l'équipe rouge pour vérifier si nos modèles sont susceptibles de causer des dommages substantiels, dans cet objectif

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!