GPT-3 : une intelligence artificielle capable d'écrire

Traducteur | Cui Hao

Critique | Sun Shujuan

Ouverture

Bien que l'intelligence artificielle (IA) en soit à ses premiers stades de développement, elle a le potentiel de révolutionner la façon dont les humains interagissent avec la technologie.

Introduction à l'intelligence artificielle

En matière d'intelligence artificielle, il existe actuellement deux points de vue principaux. Certains pensent que l’IA finira par dépasser l’intelligence humaine, tandis que d’autres pensent qu’elle servira toujours l’humanité. Il y a un point sur lequel les deux parties peuvent s’entendre : l’intelligence artificielle se développe à un rythme toujours plus rapide.

L'intelligence artificielle (IA) en est encore à ses premiers stades de développement, mais elle a le potentiel de révolutionner la façon dont les humains interagissent avec la technologie.

Une description simple et générale est que l'intelligence artificielle est le processus de programmation des ordinateurs pour qu'ils prennent des décisions par eux-mêmes. Cela peut être réalisé de différentes manières, mais le plus souvent grâce à l’utilisation d’algorithmes. Un algorithme est un ensemble de règles ou d’instructions qui peuvent être suivies pour résoudre un problème. Dans le cas de l’intelligence artificielle, les algorithmes sont utilisés pour apprendre aux ordinateurs à prendre des décisions.

Dans le passé, l'intelligence artificielle était principalement utilisée pour des tâches simples comme jouer aux échecs ou résoudre des problèmes mathématiques. Aujourd’hui, l’intelligence artificielle est utilisée pour des tâches plus complexes telles que la reconnaissance faciale, le traitement du langage naturel et même la conduite autonome. Alors que l’intelligence artificielle continue de se développer, nous ne savons pas quelles seront ses capacités à l’avenir. À mesure que les capacités de l’IA se développent rapidement, il est important de comprendre de quoi il s’agit, comment elle fonctionne et son impact potentiel.

Les bénéfices apportés par l'intelligence artificielle sont énormes. Avec la capacité de prendre des décisions par elle-même, l’IA a le potentiel de rendre d’innombrables secteurs plus efficaces et d’offrir des opportunités à tous les types de personnes. Dans cet article, nous parlerons de GPT-3.

Qu'est-ce que GPT-3 et d'où vient-il ?

GPT-3 a été créé par OpenAI, une société pionnière de recherche en IA basée à San Francisco. Ils définissent leur objectif comme « garantir que l’intelligence artificielle profite à toute l’humanité ». Leur vision de la création d’une intelligence artificielle est claire : une intelligence artificielle qui ne se limite pas à des tâches spécialisées, mais peut effectuer une variété de tâches comme les humains.

Il y a quelques mois, la société OpenAI a publié son nouveau modèle de langage appelé GPT-3 à tous les utilisateurs. GPT-3 est l'abréviation de Generative Pretrained Transformer 3, qui inclut la possibilité de générer du texte via un principe appelé Prompt. En termes simples, il possède des capacités de « saisie semi-automatique » de haut niveau. Par exemple, il vous suffit de fournir deux ou trois phrases sur un sujet donné, et GPT-3 fera le reste. Vous pouvez également générer des conversations, et les réponses données par GPT-3 seront basées sur le contexte des questions et réponses précédentes.

Il convient de souligner que chaque réponse fournie par GPT-3 n'est qu'une possibilité, ce ne sera donc pas la seule réponse possible. De plus, si vous testez plusieurs fois la même prémisse, elle peut fournir une réponse différente, voire contradictoire. C'est donc un modèle qui renvoie une réponse basée sur ce qui a été dit précédemment et qui la relie à tout ce que vous savez pour obtenir la réponse la plus raisonnable. Cela signifie qu’il n’est pas obligé de donner une réponse avec des données réelles, ce dont nous devons tenir compte. Cela ne signifie pas que les utilisateurs ne peuvent pas divulguer des données professionnelles pertinentes, mais GPT-3 doit comparer ces données avec des informations contextuelles. Plus le contexte est complet, plus la réponse que vous obtiendrez sera raisonnable, et vice versa.

Le modèle de langage GPT-3 d'OpenAI est pré-entraîné et la formation comprend l'étude de grandes quantités d'informations sur Internet. GPT-3 est intégré à tous les livres accessibles au public, à l'intégralité du contenu de Wikipédia et à des millions de pages Web et d'articles scientifiques sur Internet. En bref, il intègre les connaissances humaines les plus importantes que nous ayons publiées sur le Web au cours de l’histoire.

Après avoir lu et analysé ces informations, le modèle de langage crée des connexions dans le modèle 700 Go implanté sur 48 GPU de 16 Go. Pour nous permettre de comprendre cette dimension, le précédent modèle OpenAI, le modèle GPT-2, mesurait 40 Go et analysait 45 millions de pages Web. La différence est énorme, car GPT-2 possède 1,5 milliard de paramètres, tandis que GPT-3 en possède 175 milliards.

On fait un test ? J'ai demandé à GPT-3 comment il se définit, et voici le résultat :

Comment utiliser GPT-3

Pour pouvoir utiliser GPT-3 et le tester, la seule chose que nous devons faire est d'aller sur leur site Web, de nous inscrire et d'ajouter des informations personnelles. Au cours du processus, il vous sera demandé : Pourquoi utiliserez-vous l’intelligence artificielle ? Pour ces exemples, j’ai choisi l’option « Utilisation personnelle ».

Je tiens à souligner que d'après mon expérience cela fonctionne mieux dans un contexte anglais. Cela ne veut pas dire que cela ne fonctionne pas bien dans d'autres langues ; en fait, en espagnol, cela fonctionne très bien, mais je préfère les résultats qu'il donne en anglais, c'est pourquoi à partir de maintenant j'affiche les tests et les résultats. En anglais.

GPT-3 nous a offert un cadeau gratuit lors de notre entrée. Une fois inscrit avec votre e-mail et votre numéro de téléphone, vous disposerez de 18 $ à utiliser entièrement gratuitement, sans avoir besoin de saisir un mode de paiement. Même si cela ne semble pas beaucoup, en fait, 18 $, c'est beaucoup. Pour vous donner une idée, je teste l'IA depuis cinq heures et cela ne m'a coûté que 1 $. Plus tard, j'expliquerai les prix afin que nous puissions mieux comprendre cela.

Une fois que nous entrerons sur le site Web, nous devrons nous rendre dans la section Playground. C'est là que toute la magie opère.

Prompt+Submit

Tout d'abord, la chose la plus accrocheuse en ligne est la grande zone de texte. C'est ici que nous pouvons commencer à saisir des invites dans l'IA (rappelez-vous, ce sont nos demandes et/ou instructions). C'est aussi simple que de saisir quelque chose, dans ce cas une question, et de cliquer sur le bouton Soumettre ci-dessous pour laisser GPT-3 nous répondre et écrire ce que nous avons demandé.

Presets

Les presets sont des fonctions qui peuvent être exécutées à tout moment pour différentes tâches. Ils se trouvent dans le coin supérieur droit de la zone de texte. Si nous cliquons sur plusieurs d'entre eux, "Plus d'exemples" ouvrira un nouvel écran où nous aurons toute la liste disponible. Lorsqu'un préréglage est sélectionné, le contenu de la zone de texte est mis à jour avec le texte par défaut. Les paramètres dans la barre latérale droite seront également mis à jour. Par exemple, si nous souhaitons utiliser le préréglage « Correction grammaticale », nous devons suivre la structure suivante pour de meilleurs résultats. Les ensembles de données massifs utilisés pour entraîner GPT-3 sont les principales raisons pour lesquelles GPT-3 est si puissant. Cependant, plus grand ne signifie pas toujours meilleur. Pour ces raisons, OpenAI propose quatre modèles principaux. Il existe bien sûr d'autres modèles, mais il nous serait conseillé d'utiliser la dernière version, celle que nous utilisons actuellement.

Les modèles disponibles s'appellent Davinci, Babbage, Curie et Ada. Des quatre modèles, Davinci est le plus grand et le plus performant, car il peut couvrir toutes les tâches effectuées par les autres moteurs.

Nous fournirons un aperçu du modèle et des types de tâches auxquelles le modèle est adapté. Gardez à l’esprit que même si les moteurs plus petits n’ont peut-être pas été entraînés sur autant de données, ils restent des modèles à usage général très réalisables et pratiques pour certaines tâches.

Davinci

Comme mentionné ci-dessus, c'est le modèle le plus performant et peut faire tout ce que tout autre modèle peut faire, généralement avec moins d'instructions. Léonard de Vinci était capable de résoudre des problèmes logiques, de déterminer les relations de cause à effet, de comprendre l'intention textuelle, de produire du contenu créatif, d'expliquer les motivations des personnages et de gérer des tâches de synthèse complexes.

Curie

Ce modèle tente d'équilibrer la puissance et la vitesse de calcul. Il peut faire tout ce que Ada ou Babbage peuvent faire, mais il peut également gérer des tâches de classification plus complexes et des tâches plus nuancées telles que la synthèse, l'analyse des sentiments, les applications de chatbot et les questions et réponses.

Babbage

Il est légèrement plus puissant qu'Ada, mais pas aussi efficace. Il peut effectuer toutes les mêmes tâches qu'Ada, mais peut également gérer des tâches de classification légèrement plus complexes, ce qui le rend idéal pour les tâches de recherche sémantique qui classent dans quelle mesure un document correspond à une requête de recherche.

Ada

Enfin, c'est généralement le modèle le plus rapide et le moins cher. Il est mieux adapté aux tâches moins nuancées, telles que l’analyse du texte, le reformatage du texte et les tâches de classification plus simples. Plus vous fournissez de contexte à Ada, meilleures sont ses performances.

Moteur

Les modèles sont d'autres paramètres que nous pouvons ajuster pour obtenir la meilleure réponse à nos signaux.

L'un des paramètres les plus importants qui contrôlent la puissance du moteur GPT-3 est la température. Ce paramètre contrôle le caractère aléatoire du texte généré. À la valeur 0, le moteur est déterministe, ce qui signifie que pour une saisie de texte donnée, il produira toujours la même sortie. A la valeur 1, le moteur prend le plus de risques et fait preuve de beaucoup de créativité.

Vous avez peut-être remarqué que dans certains des tests que vous pouviez exécuter vous-même, GPT-3 s'arrêtait au milieu d'une phrase. Pour contrôler la quantité maximale de texte que nous autorisons à générer, vous pouvez utiliser le paramètre "max-length" spécifié dans les jetons. Nous expliquerons ce qu'est ce jeton plus tard.

Le paramètre "Top P" peut contrôler le caractère aléatoire et la créativité du texte GPT-3, mais dans ce cas, il est lié au jeton (mot) dans la plage de probabilité, selon l'endroit où nous le plaçons ( 0,1 sera 10 %). La documentation OpenAI recommande d'utiliser une seule fonction entre Temperature et Top P, donc lorsque vous en utilisez une, assurez-vous que l'autre est définie sur 1.

En revanche, nous avons deux paramètres pour pénaliser la réponse donnée par GPT-3. L’un d’eux est la « pénalité de fréquence », qui contrôle la tendance du modèle à faire des prédictions répétées. Cela réduit également la probabilité qu'un mot ait été généré et dépend du nombre de fois qu'un mot est apparu dans la prédiction.

La deuxième pénalité est la pénalité d'existence. La présence d'un paramètre de pénalité incite le modèle à faire de nouvelles prédictions. Si un mot est déjà apparu dans le texte prédit, une pénalité réduit la probabilité de l’apparition de ce mot. Contrairement à la pénalité de fréquence, la pénalité de présence ne dépend pas de la fréquence à laquelle le mot est apparu dans les prédictions passées.

Enfin, nous avons un paramètre "meilleur" qui produit plusieurs réponses à une requête. Playground choisira le meilleur pour nous répondre. GPT-3 avertira que plusieurs réponses complètes à l'invite entraîneront une dépense supplémentaire de jetons.

Historique

Pour compléter cette section, la troisième icône à côté du bouton "Envoyer" affichera toutes nos demandes historiques pour GPT-3. Vous trouverez ici les invites pour les réponses les plus performantes.

Frais et jetons

Une fois le crédit gratuit de 18 $ épuisé, GPT-3 offre également un moyen de continuer à utiliser sa plateforme qui n'est pas un abonnement mensuel ou quelque chose du genre. Le prix sera directement lié à l'utilisation. En d’autres termes, vous êtes facturé en fonction du token. Il s'agit d'un terme utilisé pour l'intelligence artificielle, où les jetons sont liés au coût de production. Un jeton peut être n’importe quoi, d’une lettre à une phrase. Il est donc difficile de savoir exactement combien coûtera chaque utilisation de l’IA. Mais étant donné qu'ils coûtent généralement quelques centimes par dollar, il ne faut pas longtemps pour voir combien tout coûte avec juste un peu d'expérimentation.

Bien qu'OpenAI ne nous montre qu'une douzaine d'exemples d'utilisation de GPT-3, nous pouvons voir les jetons dépensés pour chaque exemple pour mieux comprendre son fonctionnement.

Voici les versions et leurs prix respectifs.

Pour nous donner une idée de combien peut coûter un certain nombre de mots, ou nous donner un exemple du fonctionnement de la tokenisation, nous disposons de l'outil suivant, appelé Tokenizer.

Cela nous indique que la série de modèles GPT traite le texte à l'aide de jetons, qui sont des séquences courantes de caractères trouvées dans le texte. Le modèle comprend la relation statistique entre les jetons et est sélectionné lorsque le jeton suivant est utilisé dans la séquence de production.

Enfin, voici un exemple de bas niveau de combien le même exemple nous coûterait.

Conclusion

De mon point de vue, GPT-3 est un outil que les utilisateurs doivent savoir utiliser correctement, GPT-3 ne donne pas forcément des données correctes. Cela signifie que si vous souhaitez l'utiliser pour travailler, répondre à des questions ou faire vos devoirs, vous devez fournir un bon contexte pour les réponses qu'il vous donne afin d'être proche des résultats souhaités.

Certaines personnes s'inquiètent de savoir si le GPT-3 changera l'éducation ou si certains emplois liés à l'écriture qui existent aujourd'hui disparaîtront à cause de cela. À mon humble avis, cela va se produire. Tôt ou tard, nous serons tous remplacés par l’intelligence artificielle. Cet exemple concerne l'intelligence artificielle liée à l'écriture, mais elles existent en programmation, en peinture, en audio, etc.

D'un autre côté, cela ouvre plus de possibilités pour de très nombreux emplois et projets, tant personnels que professionnels. Par exemple, avez-vous déjà eu envie d’écrire une histoire d’horreur ? Cette fonction peut être spécifiquement implémentée dans la liste d'exemples du vérificateur grammatical.

Cela dit, ce que je veux dire, c'est que nous en sommes à la première version de l'intelligence artificielle. Il existe encore de nombreux produits dans ce monde qui doivent grandir et être améliorés, mais cela ne veut pas dire cela. ils n'ont pas été mis en œuvre. Tant que nous apprenons et utilisons l’intelligence artificielle, nous devons continuer à la former pour qu’elle donne la meilleure réponse possible.

Introduction du traducteur

Cui Hao, rédacteur en chef de la communauté 51CTO, architecte senior, a 18 ans d'expérience en développement de logiciels et en architecture, et 10 ans d'expérience en architecture distribuée.

Titre original : ​​GPT-3 Playground : L'IA qui peut écrire pour vous​​, auteur : Isaac Alvarez

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!