Alors que GPT-4 32K était encore en phase de test interne, les puissants rivaux d'OpenAI ont directement augmenté la longueur du contexte.
Aujourd'hui encore, la startup Anthropic a annoncé que Claude était capable de prendre en charge un jeton de contexte d'une longueur de 100K, soit environ 75 000 mots.
Quel est ce concept ?
Après qu'une personne moyenne met environ 5 heures pour lire la même quantité de contenu, elle doit passer plus de temps à digérer, à mémoriser et à analyser.
Pour Claude, cela s'est fait en moins d'1 minute.
Jetez-y le livre entier "The Great Gatsby", qui contient environ 72 000 jetons, et modifiez une phrase :
M. Carraway est un développeur de logiciels travaillant sur des outils d'apprentissage automatique chez Anthropic Engineer.
Pouvez-vous le croire ? Il n'a fallu que 22 secondes à Claude pour trouver la phrase modifiée.
De nombreux internautes ont dit qu'avec Claude 100K, le GPT-4 32K entre leurs mains n'est plus bon.
Il y a quelque temps, dans la communauté des développeurs OpenAI, de nombreuses personnes ont discuté du lancement de GPT-4 32K.
De plus, de nombreux utilisateurs de GPT-4 peuvent déjà voir l'option GPT-4 32k sur leur PlayGround.
Les internautes qui ont déverrouillé cette version ont accès à des centaines de points de données d'utilisateurs qui ont désinstallé HyperWrite, et GPT-4 leur indiquera exactement quelles améliorations apporter ensuite.
Il a salué le fait que GPT-4 32k soit le meilleur chef de produit au monde.
32k est si puissant, alors ne serait-il pas encore plus fort avec 100K ?
Évidemment, Anthropic, le puissant rival d’OpenAI, a pris l’avantage en premier.
La longueur du contexte du jeton 100K signifie que vous pouvez télécharger des centaines de pages d'analyse de texte sur Claude. Et la durée des conversations a également été considérablement allongée, pouvant atteindre des heures, voire des jours.
Bien sûr, en plus de la lecture de longs textes, Claude peut également récupérer rapidement les informations dont vous avez besoin à partir de documents.
Vous pouvez utiliser plusieurs documents ou même le contenu d'un livre comme invite, puis poser des questions.
Chaque fois que vous rencontrez un article dans le futur, même s'il est long, demandez simplement à Claude de le résumer. C'est tout simplement une bonne nouvelle pour les juniors qui ont lu l'article.
Ce type de problème global nécessite généralement une compréhension globale du contenu de nombreuses parties du texte, et face à ce type de problème, Claude peut être considéré comme plus fort que la méthode basée sur recherche de vecteurs.
Claude peut aussi être votre "compagnon de codage" et vous pourrez faire une démonstration en quelques minutes.
Par exemple, téléchargez un document API Langchain de 240 pages, laissez-le être basé sur ce document et utilisez le modèle de langage d'Anthropic pour faire une démonstration simple de Langchain.
Vous pouvez également fournir à Claude le rapport annuel de l'entreprise de 85 pages (10k).
Ensuite, demandez de mettre en évidence les éléments qui sont les plus importants pour les investisseurs potentiels et d'expliquer leur importance.
De plus, Claude 100k peut également gérer environ 6 heures de volume audio.
Par exemple, AssemblyAI a transcrit le contenu d'un podcast Carmack en 58 000 jetons de texte, puis a utilisé Claude pour résumer et poser des questions-réponses.
Enfin, Claude a résumé ce qu'il peut faire, et la couverture peut être considérée comme très complète.
- Comprendre, résumer et interpréter des documents denses tels que des états financiers, des documents de recherche, etc.
- Analyser les risques et opportunités stratégiques d'une entreprise sur la base des rapports annuels
- Évaluer les avantages et les inconvénients d'un texte législatif
- Identifier les risques, les sujets et les différentes formes d'arguments dans les documents juridiques
- Lire des centaines de pages de documentation de développement et répondre aux questions techniques
- Construire ou construire intelligemment en mettant l'intégralité de la base de code dans le contexte Modifiez-le pour prototyper rapidement
Bien sûr, pour l'instant, Anthropic dit que le contexte 100K est toujours une fonctionnalité bêta et sera facturé au prix API standard pendant cette période.
Le site officiel donne également le prix spécifique :
Claude Instant
Invite : 0,00163 $ / 1K jetons
Achèvement : 0,00551 $ / 1 000 jetons
Claude-v1
Invite : 0,01102 $ / 1 000 jetons
Achèvement : 0,03268 $ / 1 000 jetons
Par rapport à OpenAI, ce prix est déjà très abordable.
Selon le site officiel d'OpenAI, l'invite GPT-4 32k coûte 0,06 $ et l'achèvement coûte 0,12 $.
De manière équivalente, vous devez dépenser 5 à 6 fois le prix pour inciter le modèle.
Les internautes ont déclaré que Claude 100k est plus rapide et moins cher que GPT-4 32k.
Une mise à jour aussi majeure doit avoir l'expérience des internautes.
Certains internautes ont déclaré que 100 000 est incroyable et peut gérer plusieurs articles complets, des bibliothèques de codes partiellement complètes et même un roman de 250 pages.
D'ailleurs, de nombreux internautes ont d'abord testé Claude et ont trouvé que l'effet était plutôt bon.
Au départ, 100K est uniquement dans l'API et le modèle par défaut appliqué par Claude est toujours 9K. Mais bientôt, l'interface de l'application Claude prend également en charge le 100K.
Un internaute a utilisé le « rapport technique GPT-4 » de 100 pages pour tester, et les résultats ne peuvent être décrits que comme étonnants.
Quelqu'un a également directement informé Claude de la "disqualification humaine" d'Osamu Dazai, lui a posé des questions sur l'intrigue de l'histoire en anglais et a donné des réponses tout à fait précises.
Dans le même temps, cet internaute lui a jeté le code source complet du Toolformer Zero qu'il a développé, et Claude a décrit avec précision à quoi il servait.
De plus, Claude a également salué la modularité du code et a fourni des suggestions pour l'ajout de quelques tests unitaires.
Ajoutez le poème "Beowulf" et analysez le personnage de Beowulf. Il est également très précis.
Le scientifique de NVIDIA, Jim Fan, a déclaré que c'était l'astuce meurtrière lancée par Anthropic. La future course aux armements dans son contexte s’intensifie rapidement.
Concernant l'importance de soutenir 100k, les internautes ont dit que les pantalons thaïlandais sont épicés ! C'est une bonne démonstration de la raison pour laquelle les textes longs sont importants pour le LLM.
De nombreux internautes font également allusion à GPT-4.
La naissance de Claude-100K fait d'AnthropicAI officiellement un véritable concurrent d'OpenAI.
"De nombreuses personnes font encore la queue pour 32 000 GPT-4. Cette fois, Claude a étendu la fenêtre contextuelle à 100 000 jetons, un énorme bond.
Cela signifie également que des entreprises comme OpenAI et Google Nous avons tous être compétitif dans ce domaine, ce qui est une immense victoire pour les utilisateurs. » Certains internautes ont déploré que les temps avancent trop vite.
Il a fallu moins d'un jour à Google pour annoncer que PaLM 2 excelle dans les tâches d'inférence avancées, et Claude d'Anthropic peut désormais digérer 100 000 jetons en moins d'une minute. Les progrès de l’intelligence artificielle sont en effet impressionnants.
Cependant, si vous saisissez moins de 9 000 jetons, Antropic semble appeler le modèle précédent.
Au cours des dernières années, le laboratoire de recherche Hazy de l'Université de Stanford s'est engagé dans un travail important, qui consiste à augmenter la séquence longueur du modèle.
À leur avis, cela inaugurera une nouvelle ère de modèles de base d'apprentissage automatique.
L'algorithme FlashAttention proposé par les chercheurs en 2022 a prouvé la faisabilité du 32k.
Même Sam Altman a dit que nous voulions 32 000 jetons.
En fait, non seulement 32 000, mais maintenant 100 000 ont été atteints, et un million de jetons ne sont pas loin.
"Absolument trop sauvage ! Dans quelques années, sera-t-il possible de supporter une longueur de contexte symbolique de 1 million ?" Des chercheurs en sciences mathématiques ont publié un rapport technique utilisant le transformateur de mémoire récurrent (RMT) pour augmenter la longueur effective du contexte de BERT à « 2 millions de jetons sans précédent » tout en maintenant une précision élevée de récupération de mémoire.
Adresse papier : https://arxiv.org/abs/2304.11062
Cette méthode peut stocker et traiter des informations locales et globales, et permettre la saisie des informations en utilisant les boucles circulent entre les segments de la séquence. Cependant, bien que RMT puisse s'étendre sur des longueurs de séquence presque illimitées sans augmenter la consommation de mémoire, il existe toujours un problème de dégradation de la mémoire dans RNN et un temps d'inférence plus long est nécessaire.
En fait, derrière RMT se cache un tout nouveau mécanisme de mémoire.
La méthode de fonctionnement spécifique consiste à ajouter un jeton de mémoire spécial à la séquence d'entrée ou de sortie sans modifier le modèle original du Transformer, puis à entraîner le modèle pour contrôler l'opération de mémoire et le traitement de la représentation de la séquence.
Comparé à Transformer-XL, RMT nécessite moins de mémoire et peut gérer des séquences de tâches plus longues.
Bien sûr, Claude 100k est déjà un assez gros début avant d'atteindre finalement un million de jetons.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
