Choisir GPT-3.5 ou Jordan Llama 2 et d'autres modèles open source ? Après une comparaison complète, la réponse est

En comparant les paramètres de GPT-3.5 et Llama 2 sur différentes tâches, nous pouvons savoir dans quelles circonstances choisir GPT-3.5 et dans quelles circonstances choisir Llama 2 ou d'autres modèles.

Apparemment, le serrage du GPT-3.5 coûte très cher. Cet article vérifie expérimentalement si un modèle de couple manuel peut approcher les performances du GPT-3.5 à une fraction du coût du GPT-3.5. Il est intéressant de noter que le journal l’a fait.

En comparant les résultats sur les tâches SQL et les tâches de représentation de fonctions, l'article a révélé que :

• GPT-3.5 est meilleur que Code after Lora sur les deux ensembles de données (un sous-ensemble de l'ensemble de données Spider et l'ensemble de données de représentation de fonction Viggo ) Llama 34B a obtenu des résultats légèrement meilleurs.

• Le coût de formation de GPT-3.5 est 4 à 6 fois plus élevé, et le coût de déploiement est également plus élevé.

L'une des conclusions de cette expérience est que GPT-3.5 est adapté au travail de vérification initiale, mais après cela, un modèle comme Llama 2 peut être le meilleur choix, pour résumer brièvement :

• Si vous souhaitez une vérification à résoudre spécifiquement La bonne approche pour votre tâche/ensemble de données, ou si vous souhaitez un environnement entièrement géré, ajustez GPT-3.5.

• Si vous souhaitez économiser de l'argent, obtenir des performances maximales de votre ensemble de données, avoir plus de flexibilité dans la formation et le déploiement de l'infrastructure, et souhaitez ou conserver certaines données, alors consommez quelque chose comme le modèle Open source Llama 2.

Voyons ensuite comment le document est mis en œuvre.

La figure ci-dessous montre les performances de Code Llama 34B et GPT-3.5 entraînés à la convergence sur les tâches SQL et les tâches de représentation de fonctions. Les résultats montrent que GPT-3.5 atteint une meilleure précision sur les deux tâches.

En termes d'utilisation du matériel, l'expérience a utilisé un GPU A40, ce qui coûte environ 0,475 $ US.

De plus, l'expérience énumère deux ensembles de données très appropriés pour faire peur, un sous-ensemble de l'ensemble de données Spider et la fonction Viggo représente l'ensemble de données.

Pour faire une comparaison équitable avec le modèle GPT-3.5, des expériences ont été menées sur Llama avec des hyperparamètres minimaux.

Deux choix clés pour les expériences de cet article consistent à utiliser les paramètres Code Llama 34B et Lora au lieu de paramètres complets.度 L'expérience est largement suivie par les règles de configuration des super paramètres LoRa. La charge LoRA est la suivante :

Les invites SQL sont les suivantes :

La partie invite SQL de l'affichage, veuillez vérifier la blog original pour les invites complètes, veuillez consulter le blog original L'expérience n'a pas utilisé l'ensemble de données complet de Spider. Le formulaire spécifique est le suivant

department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]

L'expérience a choisi d'utiliser l'intersection de sql-create-. l'ensemble de données contextuelles et l'ensemble de données Spider. Le contexte fourni pour le modèle est une commande de création SQL comme celle-ci :

CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

Code et adresse de données pour la tâche SQL : https://github.com/samlhuillier/spider-sql-finetune

Exemple d'invite de représentation de fonction Comme indiqué ci-dessous : 提 La fonction indique la partie invite de l'affichage. Pour les invites complètes, veuillez consulter la sortie originale du blog comme indiqué ci-dessous

La fonction représente le code de tâche et l'adresse des données : https://github.com/. samlhuillier/viggo-finetune

Pour plus d'informations, veuillez consulter le blog original.

Lien original:

https: //ragntune.com/blog/gpt3.5-vs-llama2-finetuning? Continuerflag = 11fc7786e20d498fc4daa79c5923e198

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!