


CREATOR crée et utilise des outils pour réaliser 'l'auto-évolution' du LLM
Depuis l'Antiquité, l'utilisation d'outils est considérée comme une différence majeure entre les humains et les autres espèces, et est également considérée comme une manifestation fondamentale de l'intelligence. De nos jours, l’intelligence artificielle ne se limite plus à la simple utilisation d’outils. Ils peuvent déjà créer de manière créative leurs propres outils basés sur des problèmes pour trouver des solutions. En termes de réflexion, cela signifie que les grands modèles actuels ont été capables de maîtriser la pensée abstraite et la cognition de niveau supérieur, et de les diviser en pensées concrètes pour résoudre les problèmes ensemble, et en termes de capacités, l'émergence de la création d'outils signifie également que ; le modèle a pu se transformer grâce à « l'apprentissage » et utiliser ce que vous savez pour « créer » des possibilités infinies pour l'avenir.
- Lien papier : https://arxiv.org/pdf/2305.14318.pdf
Contexte de recherche
Ces dernières années, les grands modèles de langage (Large Language Models) ont Des progrès significatifs en matière de recherche ont été réalisés, notamment GPT-3, Codex, PaLM, LLaMA, ChatGPT et le GPT-4 récemment publié. Ces modèles excellent dans l’apprentissage en contexte, la génération de code et diverses autres tâches de traitement du langage naturel, poussant davantage le potentiel des modèles vers l’intelligence artificielle générale.
Bien que les grands modèles aient connu un grand succès dans ces domaines, ils présentent encore de nombreuses lacunes, notamment l'incapacité de reconnaître ou de répondre aux dernières informations en temps réel, la difficulté d'atteindre une grande précision dans les calculs de données à grande échelle et la difficulté à répondre aux questions. La capacité de raisonnement est instable lorsque la logique est complexe, etc. En réponse à ces lacunes, les chercheurs ont commencé à travailler sur l'introduction de la possibilité d'utiliser des ressources externes dans l'architecture actuelle du modèle, par exemple en introduisant des calculatrices, des systèmes de questions et réponses, Wikipédia et d'autres sources de connaissances externes pour améliorer les capacités du modèle. Cette série de recherches a jeté les bases des capacités d’apprentissage des outils (Tool Learning) du modèle.
Cependant, le nombre d'outils externes utilisés dans la recherche actuelle est encore limité, tandis que les nouveaux types de tâches potentiels sont presque infinis. Par conséquent, face à de nouveaux types de problèmes, il est difficile de trouver les outils existants adaptés à la résolution des problèmes. De plus, même si des outils exploitables efficaces sont fournis, les modèles nécessitent une recherche approfondie, une mise en correspondance et une planification spécifique au problème dans la documentation de la boîte à outils. Celaimposera une charge cognitive importante au modèle et nécessitera des coûts d'apprentissage plus élevés . Par conséquent, l'équipe de recherche a proposé un nouveau paradigme de recherche : Création d'outils
. Il ne s'agit plus simplement de la possibilité d'utiliser de grands modèles pour utiliser des outils, mais d'ajouter un nouveau module de création d'outils, permettant au modèle de créer des outils et de trouver des solutions aux problèmes auxquels il est confronté.L'utilisation d'outils de création de grands modèles peut augmenter l'omniprésence, la réutilisabilité et la diversité des outils
au-delà des limites d'une API donnée. La conception du module de création d'outils peut également réduire la charge cognitive des grands modèles et les découpler pour un raisonnement abstrait (création d'outils généralisables et universels) et un raisonnement concret (prise de décisions basées sur les détails de mise en œuvre des outils et la documentation sur l'utilisation des outils). Capacité. Dans le même temps, le modèle de ce cadre utilise le code comme support pour la création d'outils, ce qui rend le modèle plus sensible aux erreurs et peut être retracé et corrigé en fonction des problèmes de création et d'utilisation des outils.
Par rapport à l'utilisation d'outils, le paradigme de création d'outils est plus flexible et a une plus grande adaptabilité à différents scénarios
Un cadre pour créer des outils pour résoudre des problèmes à l'aide de grands modèlesCREATOR Il est principalement divisé en quatre étapes suivantes :
- Création : Utilisez la capacité de raisonnement abstrait des grands modèles pour résoudre des problèmes et créez les outils requis et leurs instructions d'utilisation via le code.
- Décision : Utilisez la capacité de raisonnement concret du grand modèle pour résoudre le problème et décidez comment utiliser les outils pour résoudre le problème actuel. problème.
- Execution : Exécutez la décision en fonction de l'outil créé et du contenu de la décision, et capturez les informations de sortie pendant le processus d'exécution.
- Rectification (Rectification) : Utilisez la capacité du grand modèle à provoquer un raisonnement d'erreur et une auto-réparation pour résoudre les problèmes capturés pendant la phase d'exécution . réparation.
Grand modèle pour la création d'outils et Cadre de processus décisionnel
Le grand modèle créera d'abord les outils requis et leurs instructions d'utilisation associées en fonction du problème, puis du contenu du problème ; et les informations sur les outils seront simultanément Revenez au grand modèle pour décider d'une solution au problème et comment utiliser les outils. Par la suite, le modèle adaptera les outils et les décisions basés sur l’exécution pour mieux répondre au problème et chercher des réponses.
L'ensemble du cadre de création d'outils utilise de manière flexible les différentes capacités de réflexion des grands modèles : Raisonnement abstrait pour extraire les informations clés du problème et prise de décision concrète. faire sur la base du plan de mise en œuvre de la tâche Un raisonnement pensant et un Un raisonnement d'auto-guérison qui cherche des solutions basées sur des problèmes. Le découplage de ces capacités aide les grands modèles à éviter les échecs causés par la confusion dans la chaîne de raisonnement ordinaire (Chain-of-Thought, CoT) et améliore efficacement l'adaptabilité et les performances des grands modèles aux tâches.
CREATOR Évaluation expérimentale
L'auteur combine le cadre CREATOR avec la méthode actuelle de la chaîne de raisonnement ordinaire (CoT), la méthode de la chaîne de raisonnement du programme (Program -of -Thought, PoT) et l'utilisation simple d'outils sans création (Tool Use) ont été comparées. Dans le même temps, afin de vérifier l'efficacité de la séparation du raisonnement abstrait et du raisonnement concret dans le cadre, l'auteur a également introduit Tool Create - Whole comme référence. Cette méthode combine la phase de création et la phase de prise de décision dans le cadre CREATOR. un. Plus de découplage des capacités de raisonnement.
Problème d'ensemble de données du Creation Challenge, Standard outils et exemples de décision
sur le jeu de données MATH La performance du framework CREATOR est supérieur aux autres méthodes d'inférence et applications d'outils simples
En termes de sélection des ensembles de données, l'auteur a choisi MATH et TabMWP ensembles de données comme vérification principale. Le premier comprend des problèmes mathématiques difficiles dans les concours de mathématiques américains, tandis que le second combine des problèmes avec des tableaux de données riches. Les deux testent les capacités de raisonnement et de résolution de problèmes du modèle dans divers scénarios. En outre, l'auteur a également présenté un nouvel ensemble de données Creation Challenge, dans lequel les problèmes ne peuvent pas être directement résolus par les outils ou les packages de code existants, testant ainsi la capacité du modèle à créer des outils.
L'effet du framework CREATOR est également significativement plus fort sur l'ensemble de données TabMWP et le Creation Challenge
D'après les résultats expérimentaux, les résultats de raisonnement du framework CREATOR sont nettement meilleurs que toutes les lignes de base, en particulier par rapport aux méthodes de raisonnement standard et aux méthodes de raisonnement de programme, ils ont obtenu de meilleurs résultats. Dans le même temps, les expériences prouvent également que le découplage des capacités de raisonnement abstraites et concrètes peut efficacement aider le modèle à améliorer la précision. Sur l'ensemble de tests Creation Challenge, l'auteur a également vérifié que le modèle aura une plus grande capacité à résoudre le problème s'il existe des indications sur les outils à créer. Par conséquent, les invites et le découplage de la pensée sont également devenus des facteurs d'influence importants dans la création d'outils.
Statistiques de précision des différentes méthodes pour la difficulté de la tâche
L'effet est amélioré avec la participation de la phase de correction
Exception De plus, l'auteur a également vérifié les courbes de changement de différentes méthodes pour la difficulté des tâches, ainsi que le lien entre les tours de participation à l'étape de correction et l'amélioration des grands effets de modèle. Les résultats montrent que le framework CREATOR peut maintenir une meilleure robustesse face à des problèmes difficiles, et la participation à la phase de correction peut améliorer considérablement non seulement le framework CREATOR, mais même la méthode de raisonnement PoT, ont confirmé que dans La rationalité et efficacité de l’introduction de l’étape de correction dans l’expérience.
Autres avantages de la création d'outils
En plus de l'expérience principale, l'auteur de l'article s'est également concentré sur l'exploration d'autres avantages de la création d'outils et les différentes formes d'affichage des capacités actuelles de création d'outils de grands modèles. Puisqu'il s'agit d'un outil de création, l'un de ses avantages en tant qu'outil doit être sa réutilisabilité. L'auteur a également suivi cette idée pour démontrer davantage l'amélioration des effets des tâches grâce à la réutilisation des outils.
L'auteur a conçu 300 questions et les a divisées en 100 groupes de trois. Bien que les trois questions de chaque groupe comportent des scénarios différents, elles impliquent toutes les mêmes connaissances de base (Core Knowledge), c'est-à-dire des questions similaires. L'auteur a vérifié si l'utilisation d'un outil créé pour un problème dans tous les scénarios d'un ensemble de problèmes pouvait résoudre et améliorer efficacement la précision.
Pour la migration des outils créés par de grands modèles vers d'autres problèmes, cela peut améliorer efficacement la précision
Les statistiques expérimentales montrent que les outils corrects et utilisables créés par le modèle peuvent être migrés à d'autres scénarios de problèmes similaires, cela peut améliorer efficacement la précision de la résolution de problèmes. Cela montre que les outils créés par les grands modèles ont une bonne réutilisabilité et une bonne universalité pour des problèmes similaires.
De plus, l'auteur montre également trois dimensions de la création d'outils à l'aide de grands modèles :encapsulation d'outils existants pour atteindre différents objectifs, combinaison de différents outils pour atteindre des fonctions cibles et création d'outils hiérarchiques. Ces trois dimensions de faible à élevée démontrent les capacités de création d'outils de grands modèles actuels, et ces capacités aident également les grands modèles à s'adapter plus efficacement à différents scénarios.
Trois dimensions de la création d'outils de grands modèlesRésumé
Le framework CREATOR réalise le découplage de l'abstraction de grands modèles et de la capacité de réflexion concrète grâce à la création d'outils, qui est la prochaine étape après l'apprentissage des outils , une autre avancée majeure dans l'exploration des marges des capacités des modèles. Je crois que davantage de recherches à l'avenir seront basées sur cela, continueront à prouver et à améliorer le potentiel du modèle dans l'utilisation et la création d'outils, et nous apporteront plus de surprises.Auteur principal de l'article
Qian Cheng, étudiant de troisième année de premier cycle à l'Université Tsinghua, membre du laboratoire THUNLP, et mentor Liu Zhiyuan. Les orientations de recherche actuelles incluent la pré-formation des grands modèles, le réglage efficace des grands modèles et l'apprentissage des outils. Il a reçu la bourse exceptionnelle d'informatique globale de l'Université Tsinghua et a publié des articles en tant que co-auteur dans des conférences internationales telles que EMNLP et ACL.
Page d'accueil personnelle : https://qiancheng0.github.io/
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds



L'évaluation du rapport coût/performance du support commercial pour un framework Java implique les étapes suivantes : Déterminer le niveau d'assurance requis et les garanties de l'accord de niveau de service (SLA). L’expérience et l’expertise de l’équipe d’appui à la recherche. Envisagez des services supplémentaires tels que les mises à niveau, le dépannage et l'optimisation des performances. Évaluez les coûts de support commercial par rapport à l’atténuation des risques et à une efficacité accrue.

Le framework PHP léger améliore les performances des applications grâce à une petite taille et une faible consommation de ressources. Ses fonctionnalités incluent : une petite taille, un démarrage rapide, une faible utilisation de la mémoire, une vitesse de réponse et un débit améliorés et une consommation de ressources réduite. Cas pratique : SlimFramework crée une API REST, seulement 500 Ko, une réactivité élevée et un débit élevé.

La courbe d'apprentissage d'un framework PHP dépend de la maîtrise du langage, de la complexité du framework, de la qualité de la documentation et du support de la communauté. La courbe d'apprentissage des frameworks PHP est plus élevée par rapport aux frameworks Python et inférieure par rapport aux frameworks Ruby. Par rapport aux frameworks Java, les frameworks PHP ont une courbe d'apprentissage modérée mais un temps de démarrage plus court.

Selon les benchmarks, pour les petites applications hautes performances, Quarkus (démarrage rapide, mémoire faible) ou Micronaut (TechEmpower excellent) sont des choix idéaux. SpringBoot convient aux grandes applications full-stack, mais a des temps de démarrage et une utilisation de la mémoire légèrement plus lents.

La rédaction d'une documentation claire et complète est cruciale pour le framework Golang. Les meilleures pratiques incluent le respect d'un style de documentation établi, tel que le Go Coding Style Guide de Google. Utilisez une structure organisationnelle claire, comprenant des titres, des sous-titres et des listes, et fournissez la navigation. Fournit des informations complètes et précises, notamment des guides de démarrage, des références API et des concepts. Utilisez des exemples de code pour illustrer les concepts et l'utilisation. Maintenez la documentation à jour, suivez les modifications et documentez les nouvelles fonctionnalités. Fournir une assistance et des ressources communautaires telles que des problèmes et des forums GitHub. Créez des exemples pratiques, tels que la documentation API.

Choisissez le meilleur framework Go en fonction des scénarios d'application : tenez compte du type d'application, des fonctionnalités du langage, des exigences de performances et de l'écosystème. Frameworks Go courants : Gin (application Web), Echo (service Web), Fibre (haut débit), gorm (ORM), fasthttp (vitesse). Cas pratique : construction de l'API REST (Fiber) et interaction avec la base de données (gorm). Choisissez un framework : choisissez fasthttp pour les performances clés, Gin/Echo pour les applications Web flexibles et gorm pour l'interaction avec la base de données.

Dans le développement du framework Go, les défis courants et leurs solutions sont les suivants : Gestion des erreurs : utilisez le package d'erreurs pour la gestion et utilisez un middleware pour gérer les erreurs de manière centralisée. Authentification et autorisation : intégrez des bibliothèques tierces et créez un middleware personnalisé pour vérifier les informations d'identification. Traitement simultané : utilisez des goroutines, des mutex et des canaux pour contrôler l'accès aux ressources. Tests unitaires : utilisez les packages, les simulations et les stubs gotest pour l'isolation, ainsi que les outils de couverture de code pour garantir la suffisance. Déploiement et surveillance : utilisez les conteneurs Docker pour regrouper les déploiements, configurer les sauvegardes de données et suivre les performances et les erreurs avec des outils de journalisation et de surveillance.

Lors du choix d'un framework Go, les indicateurs de performance clés (KPI) incluent : le temps de réponse, le débit, la simultanéité et l'utilisation des ressources. En évaluant et en comparant les KPI des frameworks, les développeurs peuvent faire des choix éclairés en fonction des besoins des applications, en tenant compte de la charge attendue, des sections critiques en termes de performances et des contraintes de ressources.
