


Lisez la moitié de « Le problème à trois corps » en une seule fois ! Le concurrent le plus puissant de GPT-4 est soudainement passé à 100 000 jetons et la démonstration du code papier est terminée.
Alors que GPT-4 32K était encore en phase de test interne, les puissants rivaux d'OpenAI ont directement augmenté la longueur du contexte.
Aujourd'hui encore, la startup Anthropic a annoncé que Claude était capable de prendre en charge un jeton de contexte d'une longueur de 100K, soit environ 75 000 mots.
Quel est ce concept ?
Après qu'une personne moyenne met environ 5 heures pour lire la même quantité de contenu, elle doit passer plus de temps à digérer, à mémoriser et à analyser.
Pour Claude, cela s'est fait en moins d'1 minute.
Jetez-y le livre entier "The Great Gatsby", qui contient environ 72 000 jetons, et modifiez une phrase :
M. Carraway est un développeur de logiciels travaillant sur des outils d'apprentissage automatique chez Anthropic Engineer.
Pouvez-vous le croire ? Il n'a fallu que 22 secondes à Claude pour trouver la phrase modifiée.
De nombreux internautes ont dit qu'avec Claude 100K, le GPT-4 32K entre leurs mains n'est plus bon.
Claude 100k, délicieux !
Il y a quelque temps, dans la communauté des développeurs OpenAI, de nombreuses personnes ont discuté du lancement de GPT-4 32K.
De plus, de nombreux utilisateurs de GPT-4 peuvent déjà voir l'option GPT-4 32k sur leur PlayGround.
Les internautes qui ont déverrouillé cette version ont accès à des centaines de points de données d'utilisateurs qui ont désinstallé HyperWrite, et GPT-4 leur indiquera exactement quelles améliorations apporter ensuite.
Il a salué le fait que GPT-4 32k soit le meilleur chef de produit au monde.
32k est si puissant, alors ne serait-il pas encore plus fort avec 100K ?
Évidemment, Anthropic, le puissant rival d’OpenAI, a pris l’avantage en premier.
La longueur du contexte du jeton 100K signifie que vous pouvez télécharger des centaines de pages d'analyse de texte sur Claude. Et la durée des conversations a également été considérablement allongée, pouvant atteindre des heures, voire des jours.
Bien sûr, en plus de la lecture de longs textes, Claude peut également récupérer rapidement les informations dont vous avez besoin à partir de documents.
Vous pouvez utiliser plusieurs documents ou même le contenu d'un livre comme invite, puis poser des questions.
Chaque fois que vous rencontrez un article dans le futur, même s'il est long, demandez simplement à Claude de le résumer. C'est tout simplement une bonne nouvelle pour les juniors qui ont lu l'article.
Ce type de problème global nécessite généralement une compréhension globale du contenu de nombreuses parties du texte, et face à ce type de problème, Claude peut être considéré comme plus fort que la méthode basée sur recherche de vecteurs.
Claude peut aussi être votre "compagnon de codage" et vous pourrez faire une démonstration en quelques minutes.
Par exemple, téléchargez un document API Langchain de 240 pages, laissez-le être basé sur ce document et utilisez le modèle de langage d'Anthropic pour faire une démonstration simple de Langchain.
Vous pouvez également fournir à Claude le rapport annuel de l'entreprise de 85 pages (10k).
Ensuite, demandez de mettre en évidence les éléments qui sont les plus importants pour les investisseurs potentiels et d'expliquer leur importance.
De plus, Claude 100k peut également gérer environ 6 heures de volume audio.
Par exemple, AssemblyAI a transcrit le contenu d'un podcast Carmack en 58 000 jetons de texte, puis a utilisé Claude pour résumer et poser des questions-réponses.
Enfin, Claude a résumé ce qu'il peut faire, et la couverture peut être considérée comme très complète.
- Comprendre, résumer et interpréter des documents denses tels que des états financiers, des documents de recherche, etc.
- Analyser les risques et opportunités stratégiques d'une entreprise sur la base des rapports annuels
- Évaluer les avantages et les inconvénients d'un texte législatif
- Identifier les risques, les sujets et les différentes formes d'arguments dans les documents juridiques
- Lire des centaines de pages de documentation de développement et répondre aux questions techniques
- Construire ou construire intelligemment en mettant l'intégralité de la base de code dans le contexte Modifiez-le pour prototyper rapidement
Bien sûr, pour l'instant, Anthropic dit que le contexte 100K est toujours une fonctionnalité bêta et sera facturé au prix API standard pendant cette période.
Le site officiel donne également le prix spécifique :
Claude Instant
Invite : 0,00163 $ / 1K jetons
Achèvement : 0,00551 $ / 1 000 jetons
Claude-v1
Invite : 0,01102 $ / 1 000 jetons
Achèvement : 0,03268 $ / 1 000 jetons
Par rapport à OpenAI, ce prix est déjà très abordable.
Selon le site officiel d'OpenAI, l'invite GPT-4 32k coûte 0,06 $ et l'achèvement coûte 0,12 $.
De manière équivalente, vous devez dépenser 5 à 6 fois le prix pour inciter le modèle.
Les internautes ont déclaré que Claude 100k est plus rapide et moins cher que GPT-4 32k.
Test réel par les internautes
Une mise à jour aussi majeure doit avoir l'expérience des internautes.
Certains internautes ont déclaré que 100 000 est incroyable et peut gérer plusieurs articles complets, des bibliothèques de codes partiellement complètes et même un roman de 250 pages.
D'ailleurs, de nombreux internautes ont d'abord testé Claude et ont trouvé que l'effet était plutôt bon.
Au départ, 100K est uniquement dans l'API et le modèle par défaut appliqué par Claude est toujours 9K. Mais bientôt, l'interface de l'application Claude prend également en charge le 100K.
Un internaute a utilisé le « rapport technique GPT-4 » de 100 pages pour tester, et les résultats ne peuvent être décrits que comme étonnants.
Quelqu'un a également directement informé Claude de la "disqualification humaine" d'Osamu Dazai, lui a posé des questions sur l'intrigue de l'histoire en anglais et a donné des réponses tout à fait précises.
Dans le même temps, cet internaute lui a jeté le code source complet du Toolformer Zero qu'il a développé, et Claude a décrit avec précision à quoi il servait.
De plus, Claude a également salué la modularité du code et a fourni des suggestions pour l'ajout de quelques tests unitaires.
Ajoutez le poème "Beowulf" et analysez le personnage de Beowulf. Il est également très précis.
Le scientifique de NVIDIA, Jim Fan, a déclaré que c'était l'astuce meurtrière lancée par Anthropic. La future course aux armements dans son contexte s’intensifie rapidement.
Concernant l'importance de soutenir 100k, les internautes ont dit que les pantalons thaïlandais sont épicés ! C'est une bonne démonstration de la raison pour laquelle les textes longs sont importants pour le LLM.
De nombreux internautes font également allusion à GPT-4.
La naissance de Claude-100K fait d'AnthropicAI officiellement un véritable concurrent d'OpenAI.
"De nombreuses personnes font encore la queue pour 32 000 GPT-4. Cette fois, Claude a étendu la fenêtre contextuelle à 100 000 jetons, un énorme bond.
Cela signifie également que des entreprises comme OpenAI et Google Nous avons tous être compétitif dans ce domaine, ce qui est une immense victoire pour les utilisateurs. » Certains internautes ont déploré que les temps avancent trop vite.
Il a fallu moins d'un jour à Google pour annoncer que PaLM 2 excelle dans les tâches d'inférence avancées, et Claude d'Anthropic peut désormais digérer 100 000 jetons en moins d'une minute. Les progrès de l’intelligence artificielle sont en effet impressionnants.
Cependant, si vous saisissez moins de 9 000 jetons, Antropic semble appeler le modèle précédent.
Des millions de jetons ne sont pas un rêve
Au cours des dernières années, le laboratoire de recherche Hazy de l'Université de Stanford s'est engagé dans un travail important, qui consiste à augmenter la séquence longueur du modèle.
À leur avis, cela inaugurera une nouvelle ère de modèles de base d'apprentissage automatique.
L'algorithme FlashAttention proposé par les chercheurs en 2022 a prouvé la faisabilité du 32k.
Même Sam Altman a dit que nous voulions 32 000 jetons.
En fait, non seulement 32 000, mais maintenant 100 000 ont été atteints, et un million de jetons ne sont pas loin.
"Absolument trop sauvage ! Dans quelques années, sera-t-il possible de supporter une longueur de contexte symbolique de 1 million ?" Des chercheurs en sciences mathématiques ont publié un rapport technique utilisant le transformateur de mémoire récurrent (RMT) pour augmenter la longueur effective du contexte de BERT à « 2 millions de jetons sans précédent » tout en maintenant une précision élevée de récupération de mémoire.
Adresse papier : https://arxiv.org/abs/2304.11062
Cette méthode peut stocker et traiter des informations locales et globales, et permettre la saisie des informations en utilisant les boucles circulent entre les segments de la séquence. Cependant, bien que RMT puisse s'étendre sur des longueurs de séquence presque illimitées sans augmenter la consommation de mémoire, il existe toujours un problème de dégradation de la mémoire dans RNN et un temps d'inférence plus long est nécessaire.
En fait, derrière RMT se cache un tout nouveau mécanisme de mémoire.
La méthode de fonctionnement spécifique consiste à ajouter un jeton de mémoire spécial à la séquence d'entrée ou de sortie sans modifier le modèle original du Transformer, puis à entraîner le modèle pour contrôler l'opération de mémoire et le traitement de la représentation de la séquence.
Comparé à Transformer-XL, RMT nécessite moins de mémoire et peut gérer des séquences de tâches plus longues.
Bien sûr, Claude 100k est déjà un assez gros début avant d'atteindre finalement un million de jetons.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

Afin de définir le délai d'expiration de Vue Axios, nous pouvons créer une instance AxiOS et spécifier l'option Timeout: dans les paramètres globaux: vue.prototype. $ Axios = axios.create ({timeout: 5000}); Dans une seule demande: ce. $ axios.get ('/ api / utilisateurs', {timeout: 10000}).

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

MySQL peut renvoyer les données JSON. La fonction JSON_Extract extrait les valeurs de champ. Pour les requêtes complexes, envisagez d'utiliser la clause pour filtrer les données JSON, mais faites attention à son impact sur les performances. Le support de MySQL pour JSON augmente constamment, et il est recommandé de faire attention aux dernières versions et fonctionnalités.

La clé primaire MySQL ne peut pas être vide car la clé principale est un attribut de clé qui identifie de manière unique chaque ligne dans la base de données. Si la clé primaire peut être vide, l'enregistrement ne peut pas être identifié de manière unique, ce qui entraînera une confusion des données. Lorsque vous utilisez des colonnes entières ou des UUIdes auto-incrémentales comme clés principales, vous devez considérer des facteurs tels que l'efficacité et l'occupation de l'espace et choisir une solution appropriée.

Une explication détaillée des attributs d'acide de base de données Les attributs acides sont un ensemble de règles pour garantir la fiabilité et la cohérence des transactions de base de données. Ils définissent comment les systèmes de bases de données gérent les transactions et garantissent l'intégrité et la précision des données même en cas de plantages système, d'interruptions d'alimentation ou de plusieurs utilisateurs d'accès simultanément. Présentation de l'attribut acide Atomicité: une transaction est considérée comme une unité indivisible. Toute pièce échoue, la transaction entière est reculée et la base de données ne conserve aucune modification. Par exemple, si un transfert bancaire est déduit d'un compte mais pas augmenté à un autre, toute l'opération est révoquée. BeginTransaction; UpdateAccountSsetBalance = Balance-100Wh
