Fuite de documents internes de Google : les grands modèles open source font trop peur, même OpenAI ne peut pas le supporter !

J'ai vu un article aujourd'hui disant que Google avait divulgué un document "Nous n'avons pas de fossé, et OpenAI non plus." Il décrit le point de vue d'un certain employé de Google (une société non Google) sur l'IA open source. , et le sens général est C'est comme ceci :

Après que ChatGPT soit devenu populaire, tous les grands fabricants affluent vers LLM et investissent follement.

Google travaille également dur, dans l'espoir de faire son retour, mais personne ne peut gagner cette course aux armements car des tiers mangent tranquillement ce gros gâteau.

Ce tiers est un grand modèle open source.

Les grands modèles open source l'ont déjà fait :

1. Exécutez le modèle de base sur le Pixel 6 à une vitesse de 5 jetons par seconde.

2. Vous pouvez affiner l'IA personnalisée sur votre PC en une nuit :

Bien que les modèles OpenAI et Google aient un avantage en termes de qualité, l'écart se réduit à un rythme alarmant :

Modèles open source sont plus rapides, personnalisables, plus privés et plus puissants.

Le grand modèle open source fait des choses avec des paramètres de 100 $ et 13 milliards et le fait en quelques semaines ; tandis que Google a du mal avec des paramètres de 10 millions de dollars et 540 milliards en quelques mois ;

Les gens abandonneront définitivement le modèle fermé lorsque les alternatives gratuites et sans restriction seront de qualité comparable au modèle fermé.

Tout a commencé lorsque Facebook open source LLaMA début mars, la communauté open source a obtenu ce modèle de base vraiment performant. Bien qu'il n'y ait pas d'instructions, de réglage de conversation ou de RLHF, la communauté a immédiatement réalisé l'importance de cette chose.

L'innovation qui s'ensuit est tout simplement folle, même mesurée en jours :

2-24 : Facebook lance LLaMA, qui pour le moment n'est autorisée qu'aux instituts de recherche et aux organismes gouvernementaux pour son utilisation

3-03 : LLaMA est divulguée sur le Internet, même si aucune utilisation commerciale n'était autorisée, mais du coup, tout le monde pouvait jouer.

3-12 : Exécuter LLaMA sur Raspberry Pi est très lent et peu pratique

3-13 : Stanford a publié Alpaca, qui a ajouté le réglage des instructions pour LLaMA. Ce qui est encore plus « effrayant », c'est qu'Eric J. Wang de Stanford utilise un RTX. 4090, il n'a fallu que 5 heures pour former un modèle équivalent à Alpaca, réduisant ainsi les besoins en puissance de calcul de ces modèles au niveau du consommateur.

3-18 : 5 jours plus tard, Georgi Gerganov utilise la technologie de quantification 4 bits pour exécuter LLaMA sur le processeur du MacBook, qui est la première solution "sans GPU".

3-19 : Un jour plus tard, des chercheurs de l'Université de Californie à Berkeley, de la CMU, de l'Université de Stanford et de l'Université de Californie à San Diego ont lancé conjointement Vicuna, qui prétend avoir atteint plus de 90 % de la qualité de OpenAI ChatGPT et Google Bard, et en même temps, il a atteint plus de 90 % de la qualité % du temps, surclassant d'autres modèles tels que LLaMA et Stanford Alpaca.

3-25 : Nomic a créé GPT4all, qui est à la fois un modèle et un écosystème, et pour la première fois nous voyons plusieurs modèles rassemblés en un seul endroit

...

En seulement un mois Au sein, réglage des instructions, quantification, améliorations de la qualité, évaluations humaines, multimodalité, RLHF, etc. sont apparues.

Plus important encore, la communauté open source a résolu le problème d'évolutivité et le seuil de formation a été abaissé d'une grande entreprise à une personne, une nuit et un ordinateur personnel puissant.

Donc l'auteur a dit à la fin : OpenAI a aussi fait des erreurs comme nous, et il ne peut pas résister à l'impact de l'open source. Nous devons créer un écosystème pour que l'open source fonctionne pour Google.

Google a déjà implémenté ce paradigme sur Android et Chrome avec beaucoup de succès. Vous devez vous établir en tant que leader de l'open source à grande échelle et continuer à consolider votre position de leader d'opinion et de leader.

Pour être honnête, le développement de grands modèles de langage au cours du dernier mois a été vraiment éblouissant et accablant, et je suis bombardé chaque jour.

Cela me rappelle les premières années où Internet commençait à peine. Un site Web passionnant apparaît aujourd'hui et un autre apparaît demain. Et lorsque l'Internet mobile explose, une application est populaire aujourd'hui, et une autre application le sera demain...

Personnellement, je ne veux pas que ces grands modèles de langage soient contrôlés par des géants. On peut seulement « parasiter » ces modèles géants, appeler leurs API, et développer certaines applications. Ce n'est pas content. Il est préférable de laisser éclore une centaine de fleurs et d’être accessible au plus grand nombre, afin que chacun puisse construire son propre modèle privé.

Désormais, le coût de la formation devrait être abordable pour les petites entreprises. Si les programmeurs ont la capacité de se former, cela peut être une bonne opportunité combinée à des secteurs et des domaines spécifiques.

Si les programmeurs veulent maîtriser avec compétence les grands modèles privatisés, en plus des principes, ils doivent encore s'entraîner seuls. Il existe également des dizaines de personnes sur notre planète qui pratiquent en équipe. a considérablement réduit le coût, mais si vous souhaitez former un modèle utile, les exigences en matière d'environnement matériel sont encore trop élevées. La carte graphique est très chère. Le prix de location d'un GPU est pénible. la formation dans le cloud est encore plus incontrôlable. La formation échoue. L'argent est gaspillé en vain. Ce n'est pas comme apprendre un langage ou un framework et télécharger quelques packages d'installation.

J'espère que le seuil sera encore abaissé !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!