


OpenAI publie GPT-4. Quelles tendances technologiques méritent qu'on s'y intéresse ?
Cet article est rédigé par Zhang Junlin, responsable de la recherche et du développement de nouvelles technologies chez Sina Weibo et directeur de la Société chinoise de l'information de Chine, sur la question de Zhihu « OpenAI lance GPT-4, quelles sont les optimisations ou avancées techniques ? a été souligné dans le rapport technique GPT4 des trois directions, deux autres directions techniques ont également été mentionnées.
En ce moment historique, répondez à une question et laissez vos propres empreintes en tant que témoin de l'histoire.
Le rapport technique du GPT4 a clairement souligné trois nouvelles orientations :
Premièrement, la fermeture ou le petit cercle de la recherche la plus avant-gardiste en LLM. Le rapport technique indiquait qu'en raison de considérations de concurrence et de sécurité, les détails techniques tels que la taille du modèle n'avaient pas été annoncés. De l'open source de GPT 2.0 à GPT 3.0, il n'y avait que des articles, à ChatGPT il n'y avait pas d'articles, et jusqu'à GPT 4.0, les rapports techniques ressemblaient davantage à des rapports d'évaluation des performances. Une tendance évidente est qu'OpenAI a consolidé son nom sous le nom de CloseAI, et OpenAI ne publiera plus d'articles sur ses recherches de pointe en LLM.
Dans cette situation, d'autres entreprises dotées d'une technologie relativement avancée ont deux options. La première consiste à suivre un LLM open source plus extrême. Par exemple, Meta semble avoir choisi cette voie. Il s'agit généralement d'un choix raisonnable pour les entreprises désavantagées par rapport à la concurrence, mais la technologie concernée n'est souvent pas la plus avancée. Une autre option est le suivi d'OpenAI, nous avons également choisi de fermer la technologie. Google était auparavant considéré comme le deuxième échelon du LLM. Mais sous le coup conjugué de « Microsoft + OpenAI », la situation est désormais un peu embarrassante. GPT 4.0 a été achevé en août de l'année dernière. On estime que GPT 5.0 est actuellement en train d'être affiné. Avec une fenêtre de temps aussi longue, Google se retrouvera dans la situation actuelle. Pensez à certaines recherches très critiques telles que Transformer et. CoT, qui sont tous faits par eux-mêmes. Je ne sais pas ce que pensent les hauts fonctionnaires quand ils sortent et finissent comme ça. Si Google parvient à suivre rapidement par la suite, cela ne devrait pas poser de gros problèmes de rester au deuxième rang. Il est probable qu'il soit bien en avance sur la troisième place en matière de technologie. Pour des raisons de concurrence, je suppose que Google suivra très probablement la voie de fermeture technologique d'OpenAI. La technologie LLM la plus avancée sera d'abord utilisée pour affiner son propre élixir, plutôt que d'écrire un article et de le publier au profit du public, en particulier d'OpenAI. Cela entraînera probablement la fermeture des recherches les plus avancées en LLM.
À partir de maintenant, la Chine sera inévitablement obligée d'entrer dans une situation d'innovation indépendante après un certain temps (il devrait être plus rapide d'obtenir une réduction de 60 à 30 % sur ChatGPT, et on estime qu'il faudra un certain temps temps plus long pour égaliser). À en juger par les diverses situations intérieures au cours des trois derniers mois, à quoi ressemblera l'avenir ? Très probablement pas optimiste. Bien sûr, ce niveau doit être difficile, mais il doit être franchi. Je ne peux que souhaiter à ceux qui en ont la capacité et la détermination de faire de leur mieux.
Deuxièmement, la « prédiction de capacité » du modèle LLM mentionnée dans le rapport technique GPT 4 est une nouvelle direction de recherche très précieuse (en fait, il existe d'autres matériaux auparavant, je me souviens l'avoir lu, mais lequel est spécifique ? Je ne me souviens plus du chapitre). Utilisez un petit modèle pour prédire une certaine capacité d'un grand modèle sous certaines combinaisons de paramètres. Si la prédiction est suffisamment précise, elle peut considérablement raccourcir le cycle de raffinage de l'élixir et réduire considérablement le coût des essais et des erreurs. valeur pratique, cela vaut certainement la peine d'étudier attentivement les méthodes techniques spécifiques.
Troisièmement, GPT 4 a open source un cadre d'évaluation LLM, qui est également une direction très importante pour le développement rapide de la technologie LLM plus tard. En particulier pour le chinois, il est particulièrement important de créer des données et un cadre pratiques d'évaluation du LLM chinois. De bonnes données d'évaluation du LLM peuvent rapidement découvrir les lacunes actuelles et les orientations d'amélioration du LLM, ce qui est d'une grande importance. essentiellement vide pour le moment. Ce besoin en ressources n'est en réalité pas si élevé et convient à de nombreuses organisations, mais il s'agit en effet d'un travail difficile.
En plus des trois directions clairement indiquées dans le rapport technique du GPT 4, parce qu'il y a eu beaucoup de nouveautés dans divers aspects du LLM récemment, j'écrirai deux autres directions techniques.
Tout d’abord, l’Université de Stanford a récemment construit Alpaca basé sur le LLaMA open source 7B de Meta, plus Self Instructtechnologiquement, qui représente également un direction. En résumé, cette direction peut être appelée la direction de la « reproduction à faible coût de ChatGPT ». Ce qu'on appelle l'auto-instruction consiste à adopter certains moyens techniques sans annotation manuelle de l'instruction. Au lieu de cela, l'instruction est extraite de l'interface OpenAI, qui est mieux connue sous le nom de « distillation ». , ChatGPT agit en tant que professeur et annote votre résultat Instruct. Cela porte le coût du marquage Instruct directement à la référence de plusieurs centaines de dollars, et le coût en temps est encore plus court. De plus, l'échelle du modèle 7B n'est pas grande, il peut donc être considéré comme une voie technique pour « reproduire ChatGPT à faible coût ».
J'estime que de nombreuses personnes en Chine ont déjà adopté cette voie technique. Il ne fait aucun doute qu’il s’agit d’un raccourci, mais il y a des avantages et des inconvénients à prendre des raccourcis, je n’entrerai donc pas dans les détails. Dans le processus de rattrapage de ChatGPT, je pense personnellement qu'il est réalisable et utile de réduire d'abord les coûts et de reproduire ChatGPT à 70 à 80 %. Après tout, les pauvres ont leur propre façon de jouer. Bien entendu, la volonté de réduire la taille du modèle sans sacrifier l’effet est très utile si cela peut être réalisé de manière terre-à-terre.
De plus, l'intelligence incarnée sera sans aucun doute l'axe de recherche clé du LLM dans la prochaine étape. Le représentant à cet égard est le PaLM-E publié par Google il y a quelque temps. Avec l’actuel GPT 4, on peut penser que les humains ont créé un super cerveau, mais l’ont quand même enfermé dans un cluster GPU. Et ce super cerveau a besoin d'un corps. GPT 4 doit se connecter, communiquer et interagir avec le monde physique, et obtenir de véritables retours dans le monde physique pour apprendre à survivre dans le monde réel, et utiliser les retours du monde réel, tels que l'apprentissage par renforcement. . Venez apprendre la capacité de vous déplacer à travers le monde. Ce sera certainement la direction de recherche LLM la plus en vogue dans un avenir proche.
Le LLM multimodal donne au GPT 4 ses yeux et ses oreilles, tandis que l'intelligence incarnée donne au GPT 4 son corps, ses pieds et ses mains. GPT 4 a un certain lien avec vous et moi, et s'appuyant sur la puissante capacité d'apprentissage de GPT 4 lui-même, cette chose devrait bientôt apparaître autour de nous.
Si vous y réfléchissez bien, il existe en fait de nombreuses autres directions prometteuses. Mon jugement personnel est que les 5 à 10 prochaines années seront la décennie dorée du développement le plus rapide de l’AGI. Si nous nous situons à l'heure des 30 prochaines années, lorsque nous regarderons ces 10 années en arrière, certains d'entre nous penseront certainement au verset suivant : « Comprenez, mais il est trop tard, ils rendent le soleil triste en chemin. , ni doux dans cette bonne nuit. »
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Lors de la conversion des chaînes en objets dans vue.js, JSON.Parse () est préféré pour les chaînes JSON standard. Pour les chaînes JSON non standard, la chaîne peut être traitée en utilisant des expressions régulières et réduisez les méthodes en fonction du format ou du codé décodé par URL. Sélectionnez la méthode appropriée en fonction du format de chaîne et faites attention aux problèmes de sécurité et d'encodage pour éviter les bogues.

Vue et Element-UI Boîtes déroulantes en cascade Points de fosse de liaison V-model: V-model lie un tableau représentant les valeurs sélectionnées à chaque niveau de la boîte de sélection en cascade, pas une chaîne; La valeur initiale de SelectOptions doit être un tableau vide, non nul ou non défini; Le chargement dynamique des données nécessite l'utilisation de compétences de programmation asynchrones pour gérer les mises à jour des données en asynchrone; Pour les énormes ensembles de données, les techniques d'optimisation des performances telles que le défilement virtuel et le chargement paresseux doivent être prises en compte.

Afin de définir le délai d'expiration de Vue Axios, nous pouvons créer une instance AxiOS et spécifier l'option Timeout: dans les paramètres globaux: vue.prototype. $ Axios = axios.create ({timeout: 5000}); Dans une seule demande: ce. $ axios.get ('/ api / utilisateurs', {timeout: 10000}).

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Résumé: Il existe les méthodes suivantes pour convertir les tableaux de chaîne Vue.js en tableaux d'objets: Méthode de base: utilisez la fonction de carte pour convenir à des données formatées régulières. Gameplay avancé: l'utilisation d'expressions régulières peut gérer des formats complexes, mais ils doivent être soigneusement écrits et considérés. Optimisation des performances: Considérant la grande quantité de données, des opérations asynchrones ou des bibliothèques efficaces de traitement des données peuvent être utilisées. MEILLEUR PRATIQUE: Effacer le style de code, utilisez des noms de variables significatifs et des commentaires pour garder le code concis.

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.
