


OpenAI publie GPT-4. Quelles tendances technologiques méritent qu'on s'y intéresse ?
Cet article est rédigé par Zhang Junlin, responsable de la recherche et du développement de nouvelles technologies chez Sina Weibo et directeur de la Société chinoise de l'information de Chine, sur la question de Zhihu « OpenAI lance GPT-4, quelles sont les optimisations ou avancées techniques ? a été souligné dans le rapport technique GPT4 des trois directions, deux autres directions techniques ont également été mentionnées.
En ce moment historique, répondez à une question et laissez vos propres empreintes en tant que témoin de l'histoire.
Le rapport technique du GPT4 a clairement souligné trois nouvelles orientations :
Premièrement, la fermeture ou le petit cercle de la recherche la plus avant-gardiste en LLM. Le rapport technique indiquait qu'en raison de considérations de concurrence et de sécurité, les détails techniques tels que la taille du modèle n'avaient pas été annoncés. De l'open source de GPT 2.0 à GPT 3.0, il n'y avait que des articles, à ChatGPT il n'y avait pas d'articles, et jusqu'à GPT 4.0, les rapports techniques ressemblaient davantage à des rapports d'évaluation des performances. Une tendance évidente est qu'OpenAI a consolidé son nom sous le nom de CloseAI, et OpenAI ne publiera plus d'articles sur ses recherches de pointe en LLM.
Dans cette situation, d'autres entreprises dotées d'une technologie relativement avancée ont deux options. La première consiste à suivre un LLM open source plus extrême. Par exemple, Meta semble avoir choisi cette voie. Il s'agit généralement d'un choix raisonnable pour les entreprises désavantagées par rapport à la concurrence, mais la technologie concernée n'est souvent pas la plus avancée. Une autre option est le suivi d'OpenAI, nous avons également choisi de fermer la technologie. Google était auparavant considéré comme le deuxième échelon du LLM. Mais sous le coup conjugué de « Microsoft + OpenAI », la situation est désormais un peu embarrassante. GPT 4.0 a été achevé en août de l'année dernière. On estime que GPT 5.0 est actuellement en train d'être affiné. Avec une fenêtre de temps aussi longue, Google se retrouvera dans la situation actuelle. Pensez à certaines recherches très critiques telles que Transformer et. CoT, qui sont tous faits par eux-mêmes. Je ne sais pas ce que pensent les hauts fonctionnaires quand ils sortent et finissent comme ça. Si Google parvient à suivre rapidement par la suite, cela ne devrait pas poser de gros problèmes de rester au deuxième rang. Il est probable qu'il soit bien en avance sur la troisième place en matière de technologie. Pour des raisons de concurrence, je suppose que Google suivra très probablement la voie de fermeture technologique d'OpenAI. La technologie LLM la plus avancée sera d'abord utilisée pour affiner son propre élixir, plutôt que d'écrire un article et de le publier au profit du public, en particulier d'OpenAI. Cela entraînera probablement la fermeture des recherches les plus avancées en LLM.
À partir de maintenant, la Chine sera inévitablement obligée d'entrer dans une situation d'innovation indépendante après un certain temps (il devrait être plus rapide d'obtenir une réduction de 60 à 30 % sur ChatGPT, et on estime qu'il faudra un certain temps temps plus long pour égaliser). À en juger par les diverses situations intérieures au cours des trois derniers mois, à quoi ressemblera l'avenir ? Très probablement pas optimiste. Bien sûr, ce niveau doit être difficile, mais il doit être franchi. Je ne peux que souhaiter à ceux qui en ont la capacité et la détermination de faire de leur mieux.
Deuxièmement, la « prédiction de capacité » du modèle LLM mentionnée dans le rapport technique GPT 4 est une nouvelle direction de recherche très précieuse (en fait, il existe d'autres matériaux auparavant, je me souviens l'avoir lu, mais lequel est spécifique ? Je ne me souviens plus du chapitre). Utilisez un petit modèle pour prédire une certaine capacité d'un grand modèle sous certaines combinaisons de paramètres. Si la prédiction est suffisamment précise, elle peut considérablement raccourcir le cycle de raffinage de l'élixir et réduire considérablement le coût des essais et des erreurs. valeur pratique, cela vaut certainement la peine d'étudier attentivement les méthodes techniques spécifiques.
Troisièmement, GPT 4 a open source un cadre d'évaluation LLM, qui est également une direction très importante pour le développement rapide de la technologie LLM plus tard. En particulier pour le chinois, il est particulièrement important de créer des données et un cadre pratiques d'évaluation du LLM chinois. De bonnes données d'évaluation du LLM peuvent rapidement découvrir les lacunes actuelles et les orientations d'amélioration du LLM, ce qui est d'une grande importance. essentiellement vide pour le moment. Ce besoin en ressources n'est en réalité pas si élevé et convient à de nombreuses organisations, mais il s'agit en effet d'un travail difficile.
En plus des trois directions clairement indiquées dans le rapport technique du GPT 4, parce qu'il y a eu beaucoup de nouveautés dans divers aspects du LLM récemment, j'écrirai deux autres directions techniques.
Tout d’abord, l’Université de Stanford a récemment construit Alpaca basé sur le LLaMA open source 7B de Meta, plus Self Instructtechnologiquement, qui représente également un direction. En résumé, cette direction peut être appelée la direction de la « reproduction à faible coût de ChatGPT ». Ce qu'on appelle l'auto-instruction consiste à adopter certains moyens techniques sans annotation manuelle de l'instruction. Au lieu de cela, l'instruction est extraite de l'interface OpenAI, qui est mieux connue sous le nom de « distillation ». , ChatGPT agit en tant que professeur et annote votre résultat Instruct. Cela porte le coût du marquage Instruct directement à la référence de plusieurs centaines de dollars, et le coût en temps est encore plus court. De plus, l'échelle du modèle 7B n'est pas grande, il peut donc être considéré comme une voie technique pour « reproduire ChatGPT à faible coût ».
J'estime que de nombreuses personnes en Chine ont déjà adopté cette voie technique. Il ne fait aucun doute qu’il s’agit d’un raccourci, mais il y a des avantages et des inconvénients à prendre des raccourcis, je n’entrerai donc pas dans les détails. Dans le processus de rattrapage de ChatGPT, je pense personnellement qu'il est réalisable et utile de réduire d'abord les coûts et de reproduire ChatGPT à 70 à 80 %. Après tout, les pauvres ont leur propre façon de jouer. Bien entendu, la volonté de réduire la taille du modèle sans sacrifier l’effet est très utile si cela peut être réalisé de manière terre-à-terre.
De plus, l'intelligence incarnée sera sans aucun doute l'axe de recherche clé du LLM dans la prochaine étape. Le représentant à cet égard est le PaLM-E publié par Google il y a quelque temps. Avec l’actuel GPT 4, on peut penser que les humains ont créé un super cerveau, mais l’ont quand même enfermé dans un cluster GPU. Et ce super cerveau a besoin d'un corps. GPT 4 doit se connecter, communiquer et interagir avec le monde physique, et obtenir de véritables retours dans le monde physique pour apprendre à survivre dans le monde réel, et utiliser les retours du monde réel, tels que l'apprentissage par renforcement. . Venez apprendre la capacité de vous déplacer à travers le monde. Ce sera certainement la direction de recherche LLM la plus en vogue dans un avenir proche.
Le LLM multimodal donne au GPT 4 ses yeux et ses oreilles, tandis que l'intelligence incarnée donne au GPT 4 son corps, ses pieds et ses mains. GPT 4 a un certain lien avec vous et moi, et s'appuyant sur la puissante capacité d'apprentissage de GPT 4 lui-même, cette chose devrait bientôt apparaître autour de nous.
Si vous y réfléchissez bien, il existe en fait de nombreuses autres directions prometteuses. Mon jugement personnel est que les 5 à 10 prochaines années seront la décennie dorée du développement le plus rapide de l’AGI. Si nous nous situons à l'heure des 30 prochaines années, lorsque nous regarderons ces 10 années en arrière, certains d'entre nous penseront certainement au verset suivant : « Comprenez, mais il est trop tard, ils rendent le soleil triste en chemin. , ni doux dans cette bonne nuit. »
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Le Array Char stocke des séquences de caractères en C et est déclaré Char Array_name [Taille]. L'élément d'accès est passé par l'opérateur d'indice, et l'élément se termine par le terminateur nul «\ 0», qui représente le point final de la chaîne. Le langage C fournit une variété de fonctions de manipulation de cordes, telles que strlen (), strcpy (), strcat () et strcmp ().

Une stratégie pour éviter les erreurs causées par défaut dans les instructions de commutateur C: utilisez des énumérations au lieu des constantes, limitant la valeur de l'instruction de cas à un membre valide de l'énumération. Utilisez Fallthrough dans la dernière instruction de cas pour permettre au programme de continuer à exécuter le code suivant. Pour les instructions de commutation sans tomber, ajoutez toujours une instruction par défaut pour la gestion des erreurs ou fournissez un comportement par défaut.

Il n'y a pas de fonction de somme intégrée dans le langage C, il doit donc être écrit par vous-même. La somme peut être obtenue en traversant le tableau et en accumulant des éléments: Version de boucle: la somme est calculée à l'aide de la longueur de boucle et du tableau. Version du pointeur: Utilisez des pointeurs pour pointer des éléments de tableau, et un résumé efficace est réalisé grâce à des pointeurs d'auto-incitation. Allouer dynamiquement la version du tableau: allouer dynamiquement les tableaux et gérer la mémoire vous-même, en veillant à ce que la mémoire allouée soit libérée pour empêcher les fuites de mémoire.

Dans le langage C, vous pouvez utiliser !! X, mais il n'utilise que deux conversions booléennes, et il est plus concis et efficace pour utiliser x directement.

L'instruction par défaut est cruciale dans l'instruction de cas de commutateur car elle fournit un chemin de traitement par défaut qui garantit qu'un bloc de code est exécuté lorsque la valeur de variable ne correspond à aucune instruction de cas. Cela empêche un comportement ou des erreurs inattendu et améliore la robustesse du code.

Le mot-clé statique affecte la portée et le cycle de vie de l'identifiant: variable globale: limitée au fichier source, uniquement visible dans le fichier actuel, en évitant les conflits de dénomination. Fonction: limité au fichier source, il n'est visible que dans le fichier actuel, masquant les détails de l'implémentation et améliorant l'encapsulation. Variables locales: Le cycle de vie est étendu à l'ensemble du programme, conservant les valeurs entre les appels de fonction et peut être utilisé pour enregistrer les états, mais prêter attention aux risques de gestion de la mémoire.

Le mot-clé externe est utilisé dans le langage C pour déclarer des variables et des fonctions externes. Il indique au compilateur que la variable ou la fonction est définie ailleurs, demandant au compilateur de rechercher sa définition pendant l'étape de liaison. Lorsque Extern déclare les variables externes, l'espace mémoire n'est pas alloué et sa définition est effectuée dans d'autres fichiers; Lorsque Extern déclare les fonctions externes, elle n'inclut pas les implémentations de fonctions et son implémentation est également effectuée dans d'autres fichiers. L'utilisation de mots clés externes est généralement combinée avec des fichiers d'en-tête, ce qui est propice à la gestion du code et évite les déclarations répétées. Il est très important de comprendre la gestion par Extern des conflits de compilation et de dénomination multi-fichiers, et il joue un rôle clé dans le processus de liaison.

Le non-opérateur logique (!) A la priorité à côté des parenthèses, ce qui signifie que dans les expressions, il précédera la plupart des autres opérateurs. Comprendre la priorité nécessite non seulement une mémorisation par cœur, mais plus important encore, la compréhension de la logique et des pièges potentiels derrière lui pour éviter les erreurs indétectables dans les expressions complexes. L'ajout de supports peut clarifier l'intention d'expression, améliorer la clarté du code et la maintenabilité et empêcher un comportement inattendu.
