Le cadre d'optimisation des agents IA pour les appareils finaux est lancé, avec un taux de précision allant jusqu'à 97 % sur le terrain.

La rubrique AIxiv est une rubrique où des contenus académiques et techniques sont publiés sur ce site. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. E-mail de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

L'article a été développé par l'équipe NEXA AI en collaboration avec le MIT-IBM Watson AI Lab. Le premier auteur, Wei Chen (Chen Wei), est le co-fondateur, PDG et scientifique en chef de NEXA AI. Il est titulaire d'un doctorat de l'Université de Stanford et possède une riche expérience dans la recherche sur l'intelligence artificielle. Le co-auteur Zhiyuan Li est le co-fondateur et CTO de NEXA AI, un ancien élève de l'Université de Stanford, et possède de nombreuses années d'expérience de première ligne en R&D dans l'IA end-side chez Google et Amazon Lab126. Les deux autres co-auteurs sont Zhen Guo et Yikang Shen du MIT et d'IBM.

Les agents IA deviennent de plus en plus importants, capables de prendre des décisions et de résoudre des problèmes de manière autonome. Pour fonctionner efficacement, ces agents ont besoin d'un processus de planification qui détermine le meilleur plan d'action puis exécute les actions planifiées.

Dans cet article, nous proposons un cadre de plan-action efficace côté appareil qui sépare la planification et l'exécution des actions en deux composants : un agent de planification optimisé pour les appareils de périphérie, ou Octo-planner, et un agent d'action utilisant le modèle Octopus pour exécuter des fonctions. Octo-planner répond d'abord aux requêtes des utilisateurs en décomposant la tâche en une série de sous-étapes, qui sont ensuite exécutées par l'agent d'action Octopus. Pour optimiser les performances sur les appareils aux ressources limitées, nous utilisons le réglage fin du modèle au lieu de l'apprentissage contextuel, réduisant ainsi les coûts de calcul et la consommation d'énergie tout en améliorant le temps de réponse.

Notre approche consiste à utiliser GPT-4 pour générer diverses requêtes et réponses de planification basées sur les fonctions disponibles, avec une validation ultérieure pour garantir la qualité des données. Nous avons affiné le modèle Phi-3 Mini sur un ensemble de données organisé, atteignant un taux de réussite de 97 % dans un environnement de test dans le domaine.

Pour relever les défis de planification multi-domaines, nous avons développé une méthode de formation multi-LoRA qui fusionne les poids LoRA formés sur différents sous-ensembles de fonctions. Cette approche gère de manière flexible les requêtes multidomaines complexes tout en maintenant l’efficacité des calculs sur les appareils aux ressources limitées.

• Papier : https://arxiv.org/pdf/2406.18082

• Démo : https://www.nexa4ai.com/octo-planner#video

• Page modèle : https : //huggingface.co/NexaAIDev/octopus-planning

1 Introduction

Les agents d'intelligence artificielle (IA) ont considérablement transformé diverses industries en permettant une prise de décision autonome et en améliorant l'efficacité opérationnelle. Ces agents s'appuient sur un processus de planification critique qui consiste à déterminer le meilleur plan d'action, à exécuter les actions planifiées et à résumer les résultats. Les grands modèles linguistiques (LLM) tels que Gemini-Pro et GPT-4 montrent un potentiel dans ce domaine.

Bien que ces modèles soient confrontés à des défis dans l'exécution de tâches de planification complexes et peinent à atteindre un niveau comparable à la performance humaine, ils restent efficaces dans la gestion de tâches simples, facilitant ainsi les applications pratiques. L'une de ces applications concerne les outils d'assistance IA de sociétés telles que MultiOn, Simular AI et Adept AI, qui exploitent la puissance de LLM pour fournir des assistants intelligents dans divers domaines.

De plus, les produits matériels d'IA destinés au consommateur, tels que Rabbit R1, Humane AI Pin et Limitless Pendant, intègrent LLM dans des appareils conviviaux, rendant les assistants intelligents plus accessibles et générant une traction significative. Le succès de l'agent IA dépend des performances du LLM sous-jacent. Les agents qui utilisaient des modèles pré-entraînés sans affiner les démonstrations de tâches avaient des taux de réussite relativement faibles, allant de 12 % pour les applications de bureau à 46 % pour les applications mobiles, tandis que les agents qui utilisaient des modèles affinés obtenaient de meilleurs résultats sur des tâches similaires à leur formation. données. Atteindre un taux de réussite allant jusqu’à 80 % sur les tâches.

Cependant, les agents d'IA utilisant LLM sont coûteux en raison des exigences informatiques élevées et des dépenses d'infrastructure, ce qui limite leur adoption généralisée. Le manque d’agents IA sur l’appareil limite les applications qui nécessitent un traitement en temps réel, des fonctionnalités hors ligne ou une confidentialité renforcée. Les agents d'IA sur appareil offrent des avantages, notamment une latence réduite, un fonctionnement hors ligne, des coûts réduits et une sécurité des données améliorée. Bien que les modèles d'action tels qu'Octopus V2 atteignent une précision de plus de 95 % dans les appels de fonction, il manque toujours un modèle de planification côté appareil. Les cadres d'agent génériques utilisent l'apprentissage contextuel d'un modèle unique et nécessitent de longues descriptions de fonctions et des instructions de planification dans chaque invite. Cette approche n'est pas pratique pour les modèles côté appareil avec une longueur de contexte limitée, ce qui entraîne une latence et une consommation de batterie élevées sur les appareils de périphérie.

Dans cet article, nous présentons Octo-planner, un agent de planification sur appareil qui répond aux principaux défis d'efficacité, d'adaptabilité et de contraintes de ressources. Notre cadre de plan-action sépare la planification et l'exécution des actions en deux composants : un agent de planification optimisé pour une utilisation sur les appareils de périphérie, ou Octo-planner, et un agent d'action qui exécute des fonctions à l'aide du modèle Octopus.

En donnant la priorité au réglage fin plutôt qu'aux conseils de quelques tirs, nous réduisons les coûts de calcul et minimisons les exigences de mise en cache clé-valeur (KV). Notre approche utilise GPT-4 pour générer et vérifier les données de planification, qui sont ensuite utilisées pour affiner le Phi-3 Mini pour le déploiement sur l'appareil. Les tests dans le domaine ont montré que ce réglage précis a amélioré le succès de la planification à 97 %. Pour relever le défi de la planification multi-domaines, nous développons une méthode de formation multi-LoRA qui fusionne les poids LoRA formés sur différents sous-ensembles de fonctions. Cette approche gère de manière flexible les requêtes multidomaines complexes tout en maintenant l’efficacité des calculs sur les appareils aux ressources limitées.

En nous concentrant sur des fonctions prédéfinies pour des tâches simples et en tirant parti des réglages fins, nous visons à rendre les agents d'IA plus pratiques, accessibles et rentables dans les applications du monde réel.

Ce travail vise à contribuer aux efforts continus visant à rendre l'IA plus accessible et utile. En comblant le fossé entre le potentiel des agents IA et les limites de l’informatique de pointe, nous espérons promouvoir l’adoption d’assistants intelligents sur appareil dans divers domaines. En open source notre approche, nous espérons inspirer davantage d’innovation dans l’IA sur appareil et élargir la portée des capacités de planification avancées.

2 Travaux connexes

Agents de planification : les modèles de langage sont devenus essentiels dans les systèmes d'agents de planification. Les modèles propriétaires comme l'API Assistant d'OpenAI excellent dans la génération de politiques basées sur les requêtes des utilisateurs et les fonctions disponibles. Les progrès récents élargissent encore les capacités des modèles de langage dans l’ordre des choses. Le cadre ReAct intègre la planification et l'action dans un espace d'action limité, tandis que les recherches du groupe Alibaba mettent en évidence l'efficacité de modèles de planification et d'action séparés dans des tâches complexes. En robotique, les modèles de langage sont également de plus en plus utilisés pour la planification au niveau des tâches. Des exemples notables incluent SayCan, qui utilise LLM pour décomposer des tâches de haut niveau en sous-tâches concrètes, et Video Language Planning (VLP), qui augmente la planification à long terme avec un modèle dynamique texte-vidéo. Le large éventail d’applications des modèles linguistiques dans les systèmes de planification, depuis les politiques générales jusqu’aux tâches robotiques spécifiques, met en évidence leur rôle de plus en plus important et adaptable dans une variété de processus décisionnels.

Alternatives affinées au contexte long : un réglage fin des modèles de langage pour internaliser des indices spécifiques ou des informations contextuelles peut réduire la longueur de saisie et augmenter l'efficacité. Cette approche implique la formation de modèles sur des ensembles de données soigneusement sélectionnés pour des tâches spécifiques. Cette technique est particulièrement utile pour les modèles avec des fenêtres contextuelles limitées, car elle peut améliorer l'efficacité du traitement des requêtes sans sacrifier la qualité des réponses. Le succès du réglage fin repose en grande partie sur l’utilisation d’ensembles de données diversifiés et de haute qualité pour garantir que le modèle puisse se généraliser à une variété de formulations d’invite. S'il est mis en œuvre correctement, un réglage fin peut simplifier les interactions spécifiques à l'application et résoudre les contraintes de longueur de contexte et les défis informatiques dans les déploiements réels.

LoRA et Multi-LoRA : L'adaptation de bas rang (LoRA) peut adapter efficacement des modèles de langage pré-entraînés à des tâches spécifiques. Contrairement au réglage fin, qui met à jour tous les paramètres, LoRA gèle les poids pré-entraînés et ajoute des matrices de bas rang pouvant être entraînées à chaque couche, réduisant ainsi considérablement les paramètres pouvant être entraînés et les exigences de calcul. Multi-LoRA étend ce concept afin que plusieurs adaptateurs spécifiques à des tâches puissent être formés, combinés ou commutés au moment de l'inférence, permettant ainsi à un modèle de base unique de gérer efficacement une variété de tâches. Sur la base de ces méthodes, les chercheurs ont développé plusieurs variantes connexes pour aborder différents aspects de l'adaptation du modèle : LoRA + taux d'apprentissage optimisé, VeRA utilise la projection aléatoire, AdaLoRA implémente un classement adaptatif, DoRA décompose les poids, Delta-LoRA met à jour les poids pré-entraînés. Ces variantes sont conçues pour améliorer encore l'efficacité ou les performances dans des scénarios spécifiques.

3 Méthode

Cette section présente notre cadre de planification sur appareil - agents d'action. Nous décrivons d’abord l’intégration des agents de planification et d’action pour permettre une résolution efficace des problèmes. Nous détaillons ensuite notre processus de conception d'ensembles de données et de formation pour les agents de planification, y compris la prise en charge d'un large éventail de fonctions et des capacités plug-and-play pour des ensembles de fonctions supplémentaires. Enfin, nous décrivons les critères utilisés pour évaluer la performance des agents.

3.1 Cadre de plan et d'agent d'action

Notre approche plan-action se différencie du cadre d'agent général en divisant le processus de planification et d'exécution d'action en deux composantes. Cette séparation augmente la modularité et permet une optimisation dédiée de chaque composant. Le framework fonctionne comme suit :

Phase de planification : Étant donné une requête utilisateur q, notre modèle de planification πplan décompose la tâche en une série de sous-étapes. Formellement :

{τ1, τ2, ..., τn} - πplan (q;F )

où F est l'ensemble qui peut être décrit par des fonctions et τi est la i-ème étape d'exécution. πplan internalise F pendant le découpage des instructions.

Phase d'action : Pour chaque étape de la séquence d'exécution, nous utilisons le modèle d'action πaction. A l'étape i, étant donné l'observation de l'état actuel Oi, le modèle d'action exécute :

Oi+1 = πaction (τi, Oi), (2)

où Oi+1 et τi+1 sont passés à l'étape suivante pour continuer l'exécution. Ce processus itératif garantit une progression cohérente des sous-étapes de la tâche.

Pour le modèle d'action, nous utilisons le modèle Octopus conçu pour les appels de fonctions côté appareil. La figure 2 illustre la différence entre notre cadre plan-action et l'agent LLM à modèle unique.

^{Figure 2 : Comparaison des cadres d'agent LLM unique et d'agent plan-action. (À gauche) Agent LLM unique : modèle unifié pour la planification des tâches et l’exécution des actions. (À droite) Agent Plan-Action : un modèle de planification spécialisé décompose une tâche en sous-tâches, tandis qu'un modèle d'action distinct exécute chaque sous-tâche à tour de rôle.}

La conception modulaire de notre framework offre plusieurs avantages :

• Spécialisation : Séparer la planification et l'exécution des actions permet d'optimiser chaque modèle pour son rôle spécifique, améliorant ainsi les performances sur des tâches complexes.

• Évolutivité : développez de manière indépendante les capacités de planification et d'action et pouvez vous adapter efficacement à la complexité des différentes tâches.

• Explicabilité : la séparation explicite des étapes améliore la transparence du processus de prise de décision.

• Adaptabilité : il est plus facile d'intégrer des connaissances ou des contraintes spécifiques à un domaine dans n'importe quelle phase sans nécessiter de changements à l'échelle du système.

3.2 Ensemble de données de planification

Notre framework utilise le modèle Octopus comme modèle d'action et n'a besoin que de former l'agent de planification. Nous utilisons le format d'ensemble de données suivant pour affiner l'agent de planification :

Les marqueurs spéciaux comme et pour la pré-formation du modèle de chat sont facultatifs. Nous avons défini n entre 1 et 5, sur la base de notre constatation selon laquelle la plupart des tâches sur les applications mobiles comportent moins de 5 étapes. Le processus de génération et de conservation de l'ensemble de données comprend :

1. Collecte de l'ensemble de données : étant donné les fonctions F disponibles, nous utilisons un grand modèle de langage (GPT-4) pour générer diverses requêtes auxquelles répondent ces fonctions. Nous augmentons le paramètre de température du modèle pour garantir la diversité des requêtes. La réponse est ensuite générée dans le format d'ensemble de données spécifié. Il est important d'utiliser des descriptions fonctionnelles pendant le processus de génération mais de ne pas les inclure dans l'ensemble de données final. Au lieu de cela, le modèle de planification internalise ces informations fonctionnelles pendant la formation.

2. Validation des données : nous utilisons le même modèle de langage comme outil de validation pour évaluer l'exactitude des paires requête-réponse. Bien qu'il y ait eu quelques erreurs lors de la génération initiale, nous avons constaté que le modèle classifiait efficacement le contenu généré comme valide ou invalide, ce qui nous permettait de filtrer les sorties erronées et de maintenir la qualité de l'ensemble de données.

Des exemples de points de données pour différents nombres de sous-étapes sont présentés ci-dessous :

Voir la figure 3 pour une visualisation de la collection d'ensembles de données. Des exemples de fonctions sont décrits à l'annexe 7.1.

3.3 Conception de base

Notre évaluation repose sur un ensemble de données de test soigneusement construit. Cet ensemble de données est conçu pour représenter la complexité de la planification réelle, en utilisant une approche en plusieurs étapes combinant génération automatique, validation par des experts et tests empiriques.

Le processus commence par un ensemble de données initial de 1 000 points de données généré automatiquement à l'aide de GPT-4. Ces points de données sont ensuite soumis à un processus d’assurance qualité rigoureux pour garantir leur exhaustivité et leur pertinence. Les critères d'évaluation de la qualité sont les suivants :

• Chaque étape doit correspondre à une fonction existante

• L'ordre des étapes doit être correct ;

Pour garantir la fiabilité de l'évaluation, nous avons inclus une étape supplémentaire de vérification humaine. Cette phase implique la sélection d'un sous-ensemble d'exemples pour l'exécution du modèle de bout en bout, validant ainsi l'exactitude des résultats et réalisant une évaluation complète des performances du modèle.

Pour évaluer notre modèle de planification proposé, nous utilisons GPT-4 comme Oracle pour déterminer l'exactitude des plans générés. Ce choix est basé sur des observations empiriques montrant que GPT-4 fonctionne efficacement dans notre cas d'utilisation spécifique.

4 Conception expérimentale

Notre conception expérimentale évalue les performances d'Octo-planner dans la planification d'agents IA sur appareil. Notre objectif est d'identifier les configurations optimales pour déployer des modèles de planification efficaces et précis sur des appareils aux ressources limitées tout en conservant l'adaptabilité à de nouveaux domaines et fonctions. Nos expérimentations se concentrent sur quatre domaines clés :

1. Compromis en termes de performances et d'efficacité entre le réglage fin complet et LoRA.

2. Précision de Multi-LoRA lors du traitement simultané de différents ensembles de fonctions.

3. Comparaison des performances de divers modèles et échelles de base.

4. L'impact de la taille de l'ensemble de données sur la précision, allant de 100 à 1 000 exemples de formation.

Nous effectuons un réglage fin supervisé sur un ensemble de données organisé, en utilisant Phi-3 Mini et quelques autres alternatives comme modèle de base. La formation comprend la mise au point complète et la technologie LoRA. Pour toutes les expériences, nous avons défini la taille de l'ensemble de données à 800 fois le nombre de fonctions disponibles et l'avons affiné sur un GPU NVIDIA A100. Nous utilisons des hyperparamètres optimisés sur les deux techniques : taux d'apprentissage 5×10-6, taille de lot 4, taux d'échauffement 0,2, entraînement pendant 2 époques. Pour LoRA, nous définissons target_modules sur all Linear.

5 Résultats

5.1 Full Fine-tuning vs. LoRA

Le Tableau 1 montre la comparaison détaillée de notre modèle de planification sur les méthodes Full Fine-tuning et LoRA. Nos expériences montrent des différences significatives dans les performances de ces méthodes. Le réglage fin complet permet d'obtenir les performances les plus élevées avec une précision de 98,1 %, affichant des performances supérieures. En revanche, les performances de LoRA dépendent de la taille du classement. Au rang 64 et alpha 256, LoRA atteint une précision de 85,1 %, tandis qu'en réduisant au rang 16 et alpha 32, la précision tombe à 72,9 %. Ces résultats mettent en évidence le compromis entre les performances du modèle et l’efficacité des calculs lors de l’utilisation de LoRA. Bien qu'un réglage fin complet offre une meilleure précision, LoRA offre une alternative plus attrayante en termes d'efficacité des ressources, et les performances dépendent de la configuration du classement.

                                                                                                                                                                                                           ^{Tableau 1 : Pleine amende -tuning et benchmark LoRA}

5.2 Formation et fusion multi-LoRA

valable sur un ensemble spécifique de fonctions, les applications du monde réel doivent souvent gérer de nouvelles ou un ensemble étendu de fonctions. Pour relever ce défi, nous proposons une méthode permettant de fusionner chaque poids LoRA formé sur un sous-ensemble différent de fonctions dans le même modèle de base. Cette approche crée un modèle de composition qui combine les connaissances de divers ensembles de fonctions pour fournir des solutions évolutives pour les requêtes multidomaines complexes dans des environnements aux ressources limitées.

Pour évaluer cette approche, nous avons construit un ensemble de données de référence en sélectionnant au hasard des fonctions pour chaque domaine LoRA et en les combinant en flux de travail. Les requêtes et les plans sont générés par GPT-4. Par exemple, lors du test de deux LoRA fusionnées, la requête peut impliquer des fonctions Android, des fonctions de commerce électronique ou les deux avec une probabilité égale.

Le bloc de code suivant montre un exemple de requête dans notre ensemble de données de référence et les résultats d'inférence correspondants pour le modèle de fusion multi-LoRA :

Le tableau 2 montre les résultats de performances de notre technique de fusion multi-LoRA. Chaque LoRA individuelle a été entraînée avec des hyperparamètres cohérents : rang 64, lora_alpha 256, target_modules réglés sur « tout linéaire ». L'ensemble de fonctions Android à domaine unique LoRA atteint une précision de 85,1 %. En combinant LoRA des deux domaines (Android et e-commerce), la précision chute légèrement à 82,2 %. La précision diminue avec la poursuite de la fusion comme suit : 78,9 % pour trois domaines (ajout du streaming vidéo) et 69,7 % pour quatre domaines (ajout des voyages). Ces résultats révèlent une tendance à la diminution progressive de la précision à mesure que nous intégrons davantage d'ensembles de fonctions, notamment après l'ajout d'un troisième domaine.

                                                                                                                                                                                                        ^{Tableau 2 : Référence Multi-LoRA}

5.3 Réglage fin complet en utilisant différents modèles de base

Précision de base en utilisant différents modèles de base après le réglage. Le Google Gemma 2b a atteint une précision de 85,6 %, tandis que le plus grand Gemma 7b a excellé avec une précision de 99,7 %. Le Microsoft Phi-3 Mini a également réalisé d'excellents résultats, atteignant une précision de 98,1 %. Ces résultats démontrent que notre cadre s'adapte à une variété de LLM côté appareil, les modèles plus grands atteignant généralement une plus grande précision.

5.4 Affinement complet à l'aide de différentes tailles d'ensemble de données

Notre ensemble de données d'entraînement par défaut contient 1 000 points de données, répartis uniformément en séquences de 1 à 5 étapes (200 chacune) pour représenter la complexité des différentes tâches. Nous étudions l'impact de la taille de l'ensemble de données sur les performances du modèle afin d'optimiser l'efficacité de l'intégration des ensembles de fonctions et de gérer les coûts de génération de données synthétiques. Le tableau 4 montre la précision de base pour différentes tailles d'ensembles de données d'entraînement :

Les résultats montrent une corrélation claire entre la taille de l'ensemble de données et la précision. L'ensemble complet de données de 1 000 points a atteint une précision de 98,1 %, tandis que sa réduction à 500 points de données a réduit la précision à 92,5 %. En réduisant encore à 250 et 100 points de données, la précision est respectivement de 85,3 % et 78,1 %. Ces résultats suggèrent que pour des performances optimales, il est recommandé d'utiliser des ensembles de données d'entraînement contenant plus de 1 000 points de données.

6 Conclusion

Cet article présente Octo-planner, un agent de planification côté appareil conçu pour fonctionner avec des agents mobiles tels qu'Octopus V2.

En séparant la planification et l'exécution des actions, nous augmentons la spécialisation et l'adaptabilité. Notre approche affine Phi-3 Mini, un LLM de 3,8 milliards de paramètres, pour qu'il s'exécute de manière native sur les appareils de pointe, atteignant un taux de réussite de 97 % dans les tests dans le domaine. Nous avons réduit les besoins de calcul, amélioré la latence et la durée de vie de la batterie, et mis en œuvre la technologie multi-LoRA pour faire évoluer les capacités du modèle sans recyclage complet. Octo-planner contribue à résoudre les problèmes de déploiement de l'IA, notamment la confidentialité des données, la latence et les fonctions hors ligne. Cela représente un pas en avant vers des agents d’IA pratiques et sophistiqués pour les appareils personnels.

En open source nos pondérations de modèles, nous visons à stimuler l'innovation dans l'IA sur les appareils, en facilitant le développement d'applications efficaces et respectueuses de la vie privée qui améliorent la vie quotidienne sans compromettre les performances ou la sécurité.

7. Limites et travaux futurs

Bien que notre modèle actuel fonctionne efficacement dans le cas d'utilisation spécifique du téléphone mobile, il présente des limites en termes d'applicabilité plus large.

Contrairement aux frameworks comme ReAct, qui alternent entre les étapes de planification et l'exécution d'actions basées sur des retours en temps réel, notre modèle effectue toute la planification à l'avance. Cette approche planifiée est efficace pour gérer des tâches simples, mais peut être moins adaptable dans des scénarios complexes ou imprévisibles où les conditions peuvent changer pendant l'exécution.

Les travaux futurs se concentreront sur l'exploration de méthodes de planification itérative basées sur l'observation en temps réel pour améliorer l'adaptabilité aux environnements dynamiques. Nous prévoyons également d'étudier l'intégration de notre modèle de planification à divers modèles d'action pour étendre ses capacités au-delà des applications mobiles, telles que l'Internet des objets, la robotique et les systèmes de maison intelligente. Ces avancées permettront de remédier aux limites actuelles, d’élargir la multifonctionnalité de nos modèles de planification sur appareil et de combler le fossé entre le traitement efficace et localisé de l’IA et les besoins complexes du monde réel.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!