Les réponses ChatGPT ont-elles une limite de caractères ou de mots ?

ChatGPT est une grande nouvelle. Mais quelle est l’ampleur des réponses que vous obtenez de ce chatbot polyvalent ?

Établir cela n’est pas aussi simple qu’on pourrait le penser. Pour commencer, posez cette question à ChatGPT et vous serez assuré qu'il n'y a pas de limite définie à la longueur de ses réponses.

Cependant, comme nous le découvrons ici, ce n'est pas si simple. Il existe des limites cachées à la longueur d'une réponse ChatGPT, mais il existe également des solutions de contournement simples et astucieuses pour vous aider à obtenir des réponses plus longues.

Comment ChatGPT détermine-t-il la longueur d'une réponse ?

Le fonctionnement de ChatGPT est complexe et la longueur de la réponse varie en fonction de ce qui est demandé et du niveau de détail demandé. Comme le montre la capture d'écran suivante, ChatGPT affirme qu'il n'y a pas de limites strictes.

Bien sûr, interroger ChatGPT sur lui-même n'est pas une bonne idée car il n'est généralement pas objectif sur ses capacités ou dispose d'informations limitées. Nous avons donc effectué quelques tests pour déterminer les limites de longueur des réponses ChatGPT. Nous avons demandé au chatbot d'écrire un article de 5 000 mots sur l'histoire de la Coupe du Monde de la FIFA. L'évaluation de ChatGPT différait des résultats que nous avons trouvés.

ChatGPT est un outil puissant. Mais peut-être que 5 000 mots était un peu trop demander, alors j'ai plutôt demandé 2 500 mots.

ChatGPT a toujours indiqué qu'il n'était pas en mesure de répondre à la demande. Nous avons travaillé jusqu'à 1 000 mots avant que le chatbot ne produise l'article. Mais il y avait un autre problème : peu importe combien de fois nous essayions, ChatGPT ne parvenait pas à produire 1 000 mots sur le sujet. Mais pourquoi? Qu'est-ce qui limite la capacité du chatbot à produire des réponses plus longues ?

Une partie de la réponse à la raison pour laquelle cela se produit réside dans ce qu'on appelle le système de jetons.

À quoi sert le système de jetons ChatGPT ?

Lorsque vous posez une question à ChatGPT, la longueur des réponses qu'il peut fournir dépend d'un système de tokens. Plutôt qu'un simple décompte de mots pour déterminer la longueur des requêtes et des réponses, ChatGPT utilise ce système. Vous remarquez quelque chose ? La longueur des « requêtes et réponses » est prise en compte. Le système de jetons décompose chaque entrée et sortie en une série de jetons pour classer la taille de la demande et de la réponse.

Même si le nombre de mots joue un rôle dans tout cela, il ne représente pas toute l'histoire. Par exemple, l'exemple ci-dessous a été saisi dans l'outil Tokenizer d'OpenAI.

La phrase « Combien de mots ai-je tapé » et la réponse « 6 » ont été « tokenisées » à une valeur de neuf jetons. Ceci est cohérent avec la « règle empirique » d’OpenAI selon laquelle un jeton équivaut à environ les trois quarts d’un mot.

C'est ici que les choses se compliquent un peu. Les modèles GPT d'OpenAI sont disponibles en différentes longueurs de jetons. Le modèle GPT-4 standard fourni avec votre abonnement ChatGPT Plus offre une longueur de contexte de jeton comprise entre 4 000 et 8 000. OpenAI fournit également un modèle GPT-4 étendu de 32 000 jetons de longueur de contexte. La série GPT-3.5 offre encore plus de variété de jetons. Il existe des modèles GPT-3.5 4k, 8k et 16k. Cependant, tous ces modèles ne sont pas accessibles au public.

Nous avons utilisé les modèles de base GPT-3.5 et supposés GPT-4 8k pour ce test. Nous disons « supposé » car la balise 8k n'a pas été vérifiée lorsque nous avons exécuté un test de fenêtre contextuelle. Et puis il y a le fait qu’il n’y a aucune confirmation de sources officielles que le modèle GPT-4 sur chat.openai.com est un modèle 8k.

Le modèle de base GPT 3.5 4k est censé limiter les questions et réponses des utilisateurs à 4 097 jetons. De même, le modèle GPT-4 8k est censé délivrer 8 192 jetons. Selon les estimations d'OpenAI, cela équivaut à environ 3 000 mots pour le GPT-3.5 et à environ 5 000 à 6 000 mots pour les jetons GPT-4 8k. Mais attendez une minute. Avec une capacité d'environ 3 000 à 6 000 mots sur l'un ou l'autre modèle, pourquoi ChatGPT n'a-t-il pas été en mesure de fournir un article de 2 500 ou même de 1 500 mots lorsque nous l'avons demandé ? Pourquoi les réponses ChatGPT sont-elles bien inférieures au nombre de jetons annoncé ou à la longueur du contexte ?

Pourquoi les réponses de ChatGPT sont-elles limitées ?

Bien que la longueur des jetons semble simple et bonne en théorie, la façon dont les modèles d'IA prennent en compte ces limites est plus complexe. Il y a deux considérations notables.

Conversations passées : ChatGPT étant un chatbot conversationnel, chaque fois que vous posez une question, le chatbot prend en compte les conversations plus anciennes pour rester cohérentes et garantir des interactions naturelles. Cela signifie que dans les conversations plus longues, les invites et réponses plus anciennes sont invariablement considérées comme faisant partie de la fenêtre contextuelle et finissent par consommer la longueur de votre jeton. Ainsi, ce ne sont pas seulement les questions et réponses immédiates qui sont prises en compte dans le calcul de la fenêtre contextuelle. Demande du système : ChatGPT est rapidement devenue l'une des applications à la croissance la plus rapide de tous les temps. Cela a généré une énorme demande pour ChatGPT. Pour garantir que tout le monde ait une part de l'action, 8 000 jetons ne correspondent pas toujours à 8 000. N'oubliez pas que plus il y a de jetons à traiter, plus la demande sur le système est élevée. Pour réduire la demande moyenne de chaque utilisateur, les réponses sont réduites bien en dessous des limites indiquées.

Il convient de souligner qu'il ne s'agit pas d'une règle fixe : nous avons généré des résultats qui dépassaient cette règle de près de deux cents mots. Cependant, cela peut être considéré comme une limite supérieure sûre pour obtenir des réponses complètes.

Comment obtenir des réponses plus longues de ChatGPT

Une fois que vous avez compris qu'il existe une « limite cachée » aux réponses de ChatGPT, il existe des moyens simples pour vous aider à obtenir des réponses plus complètes.

Demandez à ChatGPT de continuer : si ChatGPT s'arrête à mi-chemin d'une réponse, une option consiste simplement à lui demander de continuer. Dans l'exemple ci-dessous, nous avons tapé « Continuez » et cela a ajouté deux cents mots supplémentaires à la réponse. Divisez votre question en sections plus petites : par exemple, nous lui avons demandé à plusieurs reprises d'écrire un essai sur l'impact de l'IA sur la société. . Une option ici consiste à lui demander de détailler certains sujets pour un essai sur l'IA, puis d'utiliser les puces fournies comme invites individuelles. Utilisez l'option Régénérer : bien que cela puisse générer la même erreur, sans rien à perdre, il ça vaut toujours le coup. Spécifiez une limite supérieure pour votre nombre de mots dans votre invite : l'image ci-dessous illustre comment cela peut être utilisé pour manipuler le nombre maximum de mots dans une réponse. Démarrez une nouvelle conversation : démarrer une nouvelle conversation vous donne une table rase avec laquelle travailler. N'oubliez pas que ChatGPT prend en compte les invites et réponses passées dans une conversation. Démarrer une nouvelle discussion vous donne un contexte inutilisé avec lequel travailler.

Ces conseils vous aideront à obtenir des réponses plus complètes de ChatGPT et à contourner la limite non officielle de la longueur de ses réponses.

ChatGPT : la qualité plutôt que la quantité

Bien qu'il n'existe aucune information officielle sur la longueur maximale des réponses ChatGPT, en pratique, il existe des contraintes cachées. Le système de jetons, influencé par les conversations passées et la demande du système, a tous un impact sur la durée des réponses de ChatGPT. Cependant, en demandant à ChatGPT de continuer, en divisant les questions en plusieurs parties, en régénérant les réponses, en spécifiant le nombre de mots et en démarrant de nouvelles discussions, vous pouvez souvent obtenir des réponses plus complètes et plus longues. Bien que ce ne soit pas parfait, être conscient de ces limites non officielles et utiliser les bonnes techniques peut vous aider à tirer le meilleur parti de ce puissant chatbot IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!