Table des matières
Invite
Prix
~1 million de dollars : le coût de la formation d'un modèle de 13 milliards de paramètres sur 1,4 billion de jetons
Maison Périphériques technologiques IA Imitant le divin résumé de Jeff Dean, un ancien ingénieur de Google a partagé les « secrets de développement LLM » : des chiffres que tout développeur devrait connaître !

Imitant le divin résumé de Jeff Dean, un ancien ingénieur de Google a partagé les « secrets de développement LLM » : des chiffres que tout développeur devrait connaître !

May 25, 2023 pm 10:25 PM
ai 开发

Récemment, un internaute a compilé une liste de « chiffres que tout développeur LLM devrait connaître » et a expliqué pourquoi ces chiffres sont importants et comment nous devrions les utiliser.

Quand il était chez Google, il existait un document compilé par le légendaire ingénieur Jeff Dean intitulé "Les chiffres que chaque ingénieur devrait connaître".

模仿Jeff Dean神总结,前谷歌工程师分享「LLM开发秘籍」:每个开发者都应知道的数字!

Jeff Dean : "Les chiffres que tout ingénieur devrait connaître"

Pour les développeurs LLM (Large Language Model), il existe un ensemble similaire d'estimations approximatives. Les nombres sont également très utiles.

模仿Jeff Dean神总结,前谷歌工程师分享「LLM开发秘籍」:每个开发者都应知道的数字!

Invite

40-90% : Économies de coûts après avoir ajouté "concis et concis" à l'invite

Vous devez savoir que vous êtes basé sur le jeton utilisé par LLM lors de la sortie Payé.

Cela signifie que vous pouvez économiser beaucoup d'argent en laissant votre modèle être concis.

En même temps, ce concept peut être étendu à davantage de lieux.

Par exemple, vous vouliez à l'origine utiliser GPT-4 pour générer 10 alternatives, mais vous pourrez maintenant lui demander d'en fournir 5 en premier, puis vous pourrez conserver l'autre moitié de l'argent.

1.3 : Le nombre moyen de jetons par mot

LLM fonctionne en unités de jetons.

Et un jeton est un mot ou une sous-partie d'un mot. Par exemple, « manger » peut être décomposé en deux jetons « manger » et « ing ».

D'une manière générale, 750 mots anglais généreront environ 1000 jetons.

Pour les langues autres que l'anglais, le nombre de jetons par mot sera augmenté, en fonction de leur point commun dans le corpus d'intégration de LLM.

模仿Jeff Dean神总结,前谷歌工程师分享「LLM开发秘籍」:每个开发者都应知道的数字!

Prix

Considérant que le coût d'utilisation du LLM est très élevé, les chiffres liés au prix deviennent particulièrement importants.

~50 : rapport de coût de GPT-4 par rapport à GPT-3.5 Turbo

L'utilisation de GPT-3.5-Turbo est environ 50 fois moins chère que GPT-4. Je dis « approximativement » car GPT-4 facture différemment les invites et la génération.

Donc, dans l'application réelle, il est préférable de confirmer si GPT-3.5-Turbo est suffisant pour répondre à vos besoins.

Par exemple, pour des tâches comme la synthèse, GPT-3.5-Turbo est plus que suffisant.

模仿Jeff Dean神总结,前谷歌工程师分享「LLM开发秘籍」:每个开发者都应知道的数字!

模仿Jeff Dean神总结,前谷歌工程师分享「LLM开发秘籍」:每个开发者都应知道的数字!

5 Il est beaucoup moins cher d'utiliser la génération LLM.

Plus précisément, la recherche dans le système de recherche d'informations neuronales coûte environ 5 fois moins cher que de demander à GPT-3.5-Turbo. Par rapport à GPT-4, l’écart de coût peut atteindre 250 fois !

10 : Ratio de coût de l'intégration OpenAI par rapport à l'intégration auto-hébergée

# 🎜🎜 #

REMARQUE : Ce nombre est très sensible à la charge et à la taille du lot intégré, veuillez donc le considérer comme une approximation.

Avec g4dn.4xlarge (prix à la demande : 1,20 $/heure), nous pouvons exploiter SentenceTransformers avec HuggingFace (comparable aux intégrations d'OpenAI) pour que l'intégration se produise à un rythme d'environ 9 000 jetons par seconde.

Effectuer quelques calculs de base à cette vitesse et à ce type de nœud montre que les intégrations auto-hébergées peuvent être 10 fois moins chères.

6 : Rapport de coût du modèle de base OpenAI et de la requête de modèle affinée

#🎜 🎜#Sur OpenAI, le coût de mise au point du modèle est 6 fois supérieur à celui du modèle de base.

Cela signifie également qu'il est plus rentable d'ajuster les pointes du modèle de base que d'affiner un modèle personnalisé.

1 : rapport de coût du modèle de base auto-hébergé par rapport aux requêtes de modèle affinées# 🎜🎜## 🎜🎜#Si vous hébergez vous-même le modèle, le coût du modèle affiné est quasiment le même que celui du modèle de base : le nombre de paramètres est le même pour les deux modèles.

Formation et mise au point

~1 million de dollars : le coût de la formation d'un modèle de 13 milliards de paramètres sur 1,4 billion de jetons

Adresse papier : https://arxiv.org/pdf/2302.13971.pdf

#🎜 🎜#LLaMa a mentionné qu'il leur avait fallu 21 jours et utilisé 2048 GPU A100 de 80 Go pour entraîner le modèle LLaMa.

En supposant que nous entraînons notre modèle sur l'ensemble d'entraînement Red Pyjama, en supposant que tout fonctionne bien, sans aucun plantage, et qu'il réussisse du premier coup, nous obtiendrons les chiffres ci-dessus .

De plus, ce processus implique également une coordination entre 2048 GPU.

La plupart des entreprises n'ont pas les conditions pour le faire.

Cependant, le message le plus critique est le suivant : il est possible de former notre propre LLM, mais le processus n'est pas bon marché.

Et à chaque exécution, cela prend plusieurs jours.

En comparaison, utiliser un modèle pré-entraîné reviendra bien moins cher.

<0,001 : Tarif pour la mise au point et la formation à partir de zéro

# 🎜🎜#Ce chiffre est un peu général et, dans l'ensemble, le coût de la mise au point est négligeable.

Par exemple, vous pouvez affiner un modèle de paramètres 6B pour environ 7 $.

Même aux tarifs d'OpenAI pour son modèle affiné le plus cher, Davinci , et cela ne coûte que 3 cents pour 1 000 jetons.

模仿Jeff Dean神总结,前谷歌工程师分享「LLM开发秘籍」:每个开发者都应知道的数字!

Cela signifie que si vous souhaitez peaufiner l'ensemble de l'œuvre de Shakespeare (environ 1 million de mots), il vous suffit de dépenser quarante ou cinquante dollars.

Cependant, peaufiner est une chose, s'entraîner à partir de zéro en est une autre...

#🎜 🎜#GPU视频RAM#🎜 🎜#

Si vous auto-hébergez le modèle, il est très important de comprendre la mémoire GPU, car LLM pousse la mémoire GPU à ses limites.

Les statistiques suivantes sont spécifiquement destinées à l'inférence. Si vous souhaitez effectuer un entraînement ou un réglage fin, vous avez besoin d'une certaine quantité de mémoire vidéo.

V100 : 16 Go, A10G : 24 Go, A100 : 40/80 Go : capacité mémoire GPU

# 🎜🎜#

Il est important de connaître la quantité de mémoire vidéo disponible sur les différents types de GPU, car cela limitera la quantité de paramètres que votre LLM peut avoir.

De manière générale, nous aimons utiliser A10G car leur prix à la demande sur AWS est de 1,5 $ à 2 $ de l'heure et ils disposent de 24 Go de mémoire GPU. chaque A100 coûte environ 5 $/heure.

2x Taille du paramètre : exigences typiques en matière de mémoire GPU pour LLM

Par exemple, lorsque vous disposez d’un modèle à 7 milliards de paramètres, vous avez besoin d’environ 14 Go de mémoire GPU.

Cela est dû au fait que dans la plupart des cas, chaque paramètre nécessite un nombre à virgule flottante de 16 bits (ou 2 octets).

Habituellement, vous n'avez pas besoin de plus de 16 bits de précision, mais la plupart du temps, lorsque la précision atteint 8 bits, la résolution commence à diminuer (dans certains cas, cela est également acceptable).

Bien sûr, il y a aussi quelques projets qui ont amélioré cette situation. Par exemple, llama.cpp a exécuté un modèle de 13 milliards de paramètres en quantifiant à 4 bits sur un GPU de 6 Go (8 bits sont également disponibles), mais ce n'est pas courant.

~1 Go : exigences typiques en matière de mémoire GPU pour les modèles intégrés

Chaque fois que vous intégrez des phrases (ce qui est souvent effectué pour des tâches de regroupement, de recherche sémantique et de classification), vous avez besoin d'un modèle d'intégration tel qu'un convertisseur de phrases. OpenAI possède également son propre modèle d'intégration commerciale.

模仿Jeff Dean神总结,前谷歌工程师分享「LLM开发秘籍」:每个开发者都应知道的数字!

Habituellement, vous n'avez pas à vous soucier de la quantité de mémoire vidéo intégrée prennent le GPU, ils sont assez petits, il est même possible d'embarquer LLM sur le même GPU.

>10x : améliorez le débit en regroupant les requêtes LLM

# 🎜🎜# La latence d'exécution des requêtes LLM sur le GPU est très élevée : avec un débit de 0,2 requêtes par seconde, la latence peut prendre jusqu'à 5 secondes.

Fait intéressant, si vous exécutez deux tâches, la latence peut n'être que de 5,2 secondes.

Cela signifie que si vous pouvez regrouper 25 requêtes ensemble, vous aurez besoin d'environ 10 secondes de latence, tandis que le débit a été augmenté à 2,5 requêtes par seconde.

Cependant, veuillez continuer à lire ci-dessous.

~1 Mo : mémoire GPU requise pour générer 1 jeton du modèle à 13 milliards de paramètres# 🎜🎜#La mémoire vidéo dont vous avez besoin est directement proportionnelle au nombre maximum de tokens que vous souhaitez générer.

Par exemple, générer une sortie allant jusqu'à 512 jetons (environ 380 mots) nécessite 512 Mo de mémoire vidéo.

Vous pourriez dire que ce n'est pas grave : j'ai 24 Go de mémoire vidéo, qu'est-ce que 512 Mo ? Cependant, si vous souhaitez exécuter des lots plus importants, ce nombre commence à s'additionner.

Par exemple, si vous souhaitez faire 16 batchs, la mémoire vidéo sera directement augmentée à 8Go.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Pourquoi est-il nécessaire de passer des pointeurs lors de l'utilisation de bibliothèques Go et Viper? Pourquoi est-il nécessaire de passer des pointeurs lors de l'utilisation de bibliothèques Go et Viper? Apr 02, 2025 pm 04:00 PM

GO POINTER SYNTAXE ET ATTENDRE DES PROBLÈMES DANS LA BIBLIOTHÈQUE VIPER Lors de la programmation en langage Go, il est crucial de comprendre la syntaxe et l'utilisation des pointeurs, en particulier dans ...

Comment rendre les données publiques disponibles pour tous les contrôleurs du framework Go Gin? Comment rendre les données publiques disponibles pour tous les contrôleurs du framework Go Gin? Apr 02, 2025 am 10:21 AM

Comment faire en sorte que tous les contrôleurs obtiennent des données publiques dans le framework Gogin? Utilisation de Go ...

GO Language Slice: Pourquoi ne signale-t-il pas une erreur lorsque l'indice de tranche à élément unique 1 interception? GO Language Slice: Pourquoi ne signale-t-il pas une erreur lorsque l'indice de tranche à élément unique 1 interception? Apr 02, 2025 pm 02:24 PM

GO Language Slice Index: Pourquoi une tranche à élément unique intercepte-t-elle de l'index 1 sans erreur? En langue GO, les tranches sont une structure de données flexible qui peut se référer au bas ...

Pourquoi toutes les valeurs deviennent-elles le dernier élément lors de l'utilisation de la plage dans le langage GO pour traverser les tranches et stocker des cartes? Pourquoi toutes les valeurs deviennent-elles le dernier élément lors de l'utilisation de la plage dans le langage GO pour traverser les tranches et stocker des cartes? Apr 02, 2025 pm 04:09 PM

Pourquoi l'itération de la carte dans GO fait-elle que toutes les valeurs deviennent le dernier élément? En langue go, face à des questions d'entrevue, vous rencontrez souvent des cartes ...

GO Language Slice Index: Pourquoi l'interception de la tranche à élément unique ne va-t-elle pas au-delà des limites? GO Language Slice Index: Pourquoi l'interception de la tranche à élément unique ne va-t-elle pas au-delà des limites? Apr 02, 2025 pm 02:36 PM

Exploration du problème de l'indice de tranchage GO de GO: tranche à élément unique interceptant dans GO, les tranches sont une structure de données flexible qui peut être utilisée pour les tableaux ou autres ...

Comment importer correctement les packages personnalisés sous les modules GO? Comment importer correctement les packages personnalisés sous les modules GO? Apr 02, 2025 pm 03:42 PM

Dans le développement du langage GO, l'introduction correctement des packages personnalisés est une étape cruciale. Cet article ciblera "Golang ...

Comportement de la concurrence du langage GO sans tamponner les canaux: pourquoi y a-t-il deux possibilités d'exécution des résultats? Comportement de la concurrence du langage GO sans tamponner les canaux: pourquoi y a-t-il deux possibilités d'exécution des résultats? Apr 02, 2025 am 10:24 AM

Les caractéristiques non bloquantes et le comportement simultané des canaux de langue GO analyseront en détail les résultats de l'opération d'un code de langue GO lors de l'utilisation du canal et expliquent le ...

Dans Go, comment appeler une fonction dans un fichier de frères et sœurs dans le même package? Dans Go, comment appeler une fonction dans un fichier de frères et sœurs dans le même package? Apr 02, 2025 pm 12:33 PM

Comment appeler des fonctions dans les fichiers de frères et sœurs dans le même package? Dans la programmation GO, l'organisation de la structure du projet et de l'importation de packages sont très importantes. Nous...

See all articles