Brève analyse : les principes sous-jacents de l'application ChatGPT

ChatGPT est sans aucun doute le gars le plus beau sur Internet récemment. Grâce à cette période d'utilisation et à l'examen de certaines informations, frère Xiao Wang a appris certains des principes qui le sous-tendent et a essayé d'expliquer les principes sous-jacents de l'application ChatGPT. S'il y a des inexactitudes, veuillez me corriger.

La lecture de cet article peut répondre aux questions suivantes pour vous :

Pourquoi certains ChatGPT sont-ils facturés et d'autres non ?

Pourquoi ChatGPT répond mot pour mot ?

Pourquoi les réponses aux questions chinoises sont-elles parfois ridicules ?

Pourquoi lorsque vous lui demandez quel jour nous sommes aujourd'hui, sa réponse est dans le passé ?

Pourquoi refuses-tu de répondre à certaines questions ?

Principe de fonctionnement de la « Version domestique de ChatGPT »

Avec la popularité de ChatGPT, de nombreuses versions nationales sont apparues. Cette version est gratuite mais a des durées d'utilisation et des méthodes de chargement ultérieures différentes. Frère Xiao Wang a dessiné un croquis et a essayé de l'aider à comprendre.

[Pour la méthode 1] : Après avoir créé un compte, vous pouvez l'utiliser scientifiquement en ligne. Il n'y a actuellement aucune limite quant au nombre de fois. Pour les frais d’inscription, veuillez vous référer à mon article précédent.

【Méthode 2】 : Il est entendu qu'il n'est pas nécessaire d'accéder à Internet scientifiquement. Le coût d'utilisation est d'acheter le service de l'opérateur « version domestique de ChatGPT », le coût d'utilisation est donc également différent.

ChatGPT, comment ça marche en interne ?

Tout d'abord, OpenAI a lancé un nouvel assistant conversationnel le 30 novembre 2022. Le chatbot est basé sur le modèle de langage (LLM pour Large Language Models) GPT-3, ou plus précisément, sur sa version 3.5. ChatGPT est en fait une adaptation d’InstructGPT, qui a été lancée en janvier 2022 mais qui n’a pas fait la même impression à l’époque.

Par rapport à ses prédécesseurs, quel est l'avantage de ChatGPT ?

Grâce à sa capacité à générer automatiquement du texte de type humain, ainsi qu'à sa capacité à éviter les défauts de ses prédécesseurs, comme Tay de Microsoft ou Galactica de Meta, tout en tenant compte du contexte de la conversation. Tay est devenu raciste et xénophobe en 24 heures. Galactica crée des absurdités et de la désinformation et peut dénoncer le racisme de manière très éloquente. Tay a été fermé dans les 24 heures, Galactica trois jours plus tard. OpenAI semble avoir tiré les leçons des erreurs de Microsoft et Meta. En peu de temps, le système a atteint des niveaux sans précédent.

Qu'est-ce que GPT-3 ?

Les modèles de la série GPT (Generative Pre-trained Transformer) sont composés de modèles de langage basés sur la technologie Transformer. Il a été développé par la société OpenAI basée à San Francisco. OpenAI a été fondée en décembre 2015 par Elon Musk (le patron des voitures électriques Tesla) et l'homme d'affaires américain Sam Altman, prédécesseur de l'incubateur Y Combinator (Scribd, Reddit, Airbnb, Dropbox, GitLab, Women Who Code, etc.) président. ), et est président du conseil d'administration d'OpenAI depuis 2020.

En 2020, GPT-3 est le plus grand modèle de langage jamais construit, avec 175 milliards de paramètres. Il est si volumineux que 800 Go de mémoire sont nécessaires pour son entraînement.

Les LLM sont généralement générés à partir d'un grand nombre d'exemples de textes dans différentes langues et domaines. GPT-3 a été formé sur des centaines de milliards de mots anglais provenant de Common Crawl, WebText2, Books1/2 et Wikipedia (Frère Xiao Wang pense que c'est pourquoi nous posons des questions en chinois, et ses réponses nous font parfois rire et pleurer. Raison ). Il est également formé avec des exemples de programmation codés en CSS, JSX, Python, etc. Il accepte 2048 tokens en entrée, ce qui lui permet de gérer des phrases très volumineuses d'environ 1 500 mots (OpenAI considère un token comme une partie d'un mot d'environ quatre caractères, et prend l'exemple de 1 000 tokens représentant environ 750 mots).

GPT-3 est classé comme modèle génératif, ce qui signifie qu'il est principalement entraîné à prédire le prochain jeton à la fin de la phrase saisie, c'est-à-dire le mot suivant (C'est aussi pourquoi il apparaît sur le mot à l'écran par mot de ). Un mécanisme de saisie semi-automatique désormais présent dans les moteurs de recherche ou Outlook.

GPT-3 a été cité à de nombreuses reprises pour sa capacité à générer un texte extrêmement proche des capacités d'un journaliste ou d'un auteur. Donnez-lui simplement le début d’une phrase et il complétera mot pour mot le reste du paragraphe ou de l’article. Par extension, le modèle a démontré sa capacité à gérer un large éventail de tâches de traitement linguistique, telles que traduire, répondre à des questions et combler les mots manquants dans un texte.

GPT-3.5 est une variante du modèle GPT-3. Il a été formé à l'aide d'un mélange de texte et de code sélectionnés jusqu'au quatrième trimestre 2021. Ceci explique pourquoi ChatGPT est incapable d'évoquer des faits après cette date. (Cela explique pourquoi lorsque vous lui demandez quel jour nous sommes aujourd'hui, sa réponse est dans le passé).

Refusons-nous de répondre à certaines questions ?

Si nous posons des questions contraires à l'éthique, il refusera de répondre : comme suit :

Il refusera poliment de répondre. Contrairement à Tay et Galactica, la formation de ChatGPT est modérée à la source à l'aide de l'API de modération, qui permet de différer les demandes inappropriées pendant la formation. Néanmoins, des faux positifs et des faux négatifs peuvent toujours se produire et conduire à une modération excessive. L'API de modération est un modèle de classification réalisé par le modèle GPT basé sur les catégories suivantes : violence, automutilation, haine, harcèlement et sexualité. Pour ce faire, OpenAI utilise des données anonymisées et des données synthétiques (zéro échantillon), notamment lorsqu’il n’y a pas suffisamment de données.

Enfin

La capacité de ChatGPT à simuler de vraies conversations est extraordinaire. Même si l’on sait qu’il s’agit d’une machine, d’un algorithme, on ne peut que se prendre au jeu de lui poser tellement de questions que la machine devient sacrée par son savoir démesuré.

Mais quand vous le regardez attentivement, il s'agit toujours d'un générateur de phrases sans compréhension humaine ni autocritique. Je suis encore plus curieux de savoir ce qui va se passer ensuite et quel sera le succès de ce type d'architecture.

Référence :

Index du modèle : https://beta.openai.com/docs/model-index-for-researchers

InstructGPT : https://openai.com/blog/instruction-following/

ChatGPT : https://openai.com/blog/chatgpt/

BLOOM : https://bigscience.huggingface.co/blog/bloom

Y Combinator : https://fr.wikipedia.org/wiki/Y_Combinator

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!