Table des matières
Faites quelques calculs avec Llama 2
À quel moment les coûts de l'OpenAI et des modèles open source sont-ils liés ?
Résumé : Quand est-il vraiment judicieux de posséder une entreprise ?
Maison Périphériques technologiques IA OpenAI ou DIY ? Découvrir le véritable coût de l'auto-hébergement de grands modèles de langage

OpenAI ou DIY ? Découvrir le véritable coût de l'auto-hébergement de grands modèles de langage

Apr 22, 2024 pm 06:01 PM
人工智能 openai 大型语言模型

OpenAI ou DIY ? Découvrir le véritable coût de lauto-hébergement de grands modèles de langage

Votre standard de service a été positionné comme « AIdriven » en intégrant de grands modèles de langage. La page d'accueil de votre site Web présente fièrement l'impact révolutionnaire de vos services basés sur l'IA à travers des démos interactives et des études de cas. C’est également la première marque que votre entreprise laisse dans le domaine mondial de la GenAI.

Votre base d'utilisateurs, petite mais fidèle, bénéficie d'une expérience client améliorée et vous pouvez voir un potentiel de croissance future. Cependant, alors que le mois entre dans sa troisième semaine, vous recevez un e-mail d'OpenAI qui vous surprend :

Il y a à peine une semaine, vous parliez à des clients, évaluiez l'adéquation du produit au marché (PMF), et maintenant, des milliers d'utilisateurs affluent vers votre site Web. (tout peut devenir viral sur les réseaux sociaux de nos jours) et faire planter votre service alimenté par l'IA.

En conséquence, votre service autrefois fiable frustre non seulement les utilisateurs existants, mais affecte également les nouveaux utilisateurs.

Une solution rapide et évidente consiste à rétablir le service immédiatement en augmentant les limites d'utilisation.

Cependant, cette solution temporaire a entraîné un sentiment de malaise. Vous ne pouvez pas vous empêcher d’avoir l’impression d’être enfermé dans une dépendance à l’égard d’un seul fournisseur, avec un contrôle limité sur votre propre IA et ses coûts associés.

« Dois-je le faire moi-même ? » vous demandez-vous.

Vous savez déjà que les grands modèles de langage (LLM) open source sont devenus une réalité. Sur des plateformes comme Hugging Face, des milliers de modèles sont disponibles pour une utilisation immédiate, ce qui offre la possibilité de traiter le langage naturel.

Cependant, les LLM les plus puissants que vous rencontrerez ont des milliards de paramètres, pèsent des centaines de gigaoctets et nécessitent des efforts importants pour évoluer. Dans un système temps réel nécessitant une faible latence, vous ne pouvez pas simplement les connecter à votre application comme vous le faites avec les modèles traditionnels.

Même si vous avez confiance dans la capacité de votre équipe à construire l'infrastructure nécessaire, la véritable préoccupation concerne les implications financières de cette transformation, notamment :

  • Coût de mise au point
  • Coût d'hébergement
  • Coût de service

Donc, une question majeure. La question est : devriez-vous augmenter la limite d'utilisation, ou devriez-vous emprunter la voie auto-hébergée, autrement connue sous le nom de « propre » ?

Faites quelques calculs avec Llama 2

Tout d'abord, don ? ne te précipite pas. C'est une décision importante.

Si vous consultez votre ingénieur en machine learning (ML), il vous dira probablement que Lama 2 est un LLM open source et semble être un bon choix car sur la plupart des tâches, il effectue la même chose que le GPT que vous utilisez actuellement -3 est tout aussi bien.

Vous constaterez également que le modèle est disponible en trois tailles - 7 milliards, 1,3 milliard et 700 millions de paramètres - et vous décidez d'utiliser le plus grand modèle à 7 milliards de paramètres pour rester compétitif avec le modèle OpenAI que vous utilisez actuellement.

LLaMA 2 utilise bfloat16 pour l'entraînement, donc chaque paramètre consomme 2 octets. Cela signifie que la taille du modèle sera de 140 Go.

Si vous pensez que ce modèle demande beaucoup d’ajustements, ne vous inquiétez pas. Avec LoRA, vous n'avez pas besoin d'affiner l'ensemble du modèle avant le déploiement.

En fait, vous n'aurez peut-être besoin d'affiner qu'environ 0,1 % du total des paramètres, soit 70 Mo, ce qui consomme 0,14 Go en représentation bfloat16.

Impressionnant, n'est-ce pas ?

Pour gérer la surcharge de mémoire lors du réglage fin (par exemple, rétropropagation, stockage des activations, stockage des ensembles de données), il est préférable de conserver environ 5 fois l'espace mémoire consommé par les paramètres pouvant être entraînés.

Décomposons cela en détail :

Les poids du modèle LLaMA 2 70B sont fixes lors de l'utilisation de LoRA, cela n'entraîne donc pas de surcharge de mémoire → Mémoire requise = 140 Go.

Cependant, afin d'ajuster la couche LoRA, nous devons maintenir 0,14 Go * (5x) = 0,7 Go.

Cela entraîne un besoin total de mémoire d'environ 141 Go lors du réglage fin.

En supposant que vous ne disposez pas actuellement d’infrastructure de formation, nous supposons que vous préférez utiliser AWS. Selon la tarification à la demande d'AWS EC2, le coût de calcul est d'environ 2,80 $ par heure, donc le coût du réglage fin est d'environ 67 $ par jour, ce qui ne représente pas une dépense énorme car le réglage fin ne dure pas plusieurs jours.

L'intelligence artificielle est à l'opposé d'un restaurant : le coût principal est le service plutôt que la préparation

Lors du déploiement, vous devez conserver deux poids en mémoire :

  • Poids de modèle, consommant 140 Go de mémoire.
  • LoRA affine les poids et consomme 0,14 Go de mémoire.

Le total est de 140,14 Go.

Bien sûr, vous pouvez annuler le calcul du gradient, mais il est toujours recommandé de conserver environ 1,5 fois la mémoire – environ 210 Go – pour tenir compte de toute surcharge inattendue.

Encore une fois, sur la base de la tarification à la demande AWS EC2, le calcul GPU coûte environ 3,70 $ par heure, soit environ 90 $ par jour pour conserver le modèle dans la mémoire de production et répondre aux demandes entrantes.

Cela équivaut à environ 2 700 $ par mois.

Une autre chose à considérer est que des échecs inattendus se produisent tout le temps. Si vous ne disposez pas d'un mécanisme de sauvegarde, vos utilisateurs cesseront de recevoir des prédictions de modèle. Si vous souhaitez éviter que cela ne se produise, vous devez conserver un autre modèle redondant au cas où la première demande de modèle échouerait.

Cela porterait donc votre coût à 180 $ par jour ou 5 400 $ par mois. Vous êtes presque proche du coût actuel d’utilisation d’OpenAI.

À quel moment les coûts de l'OpenAI et des modèles open source sont-ils liés ?

Si vous continuez à utiliser OpenAI, voici le nombre de mots que vous pouvez traiter par jour pour correspondre aux coûts de réglage et de service ci-dessus pour l'utilisation de LLaMA 2. .

Selon les tarifs d'OpenAI, le coût du réglage fin de GPT 3.5 Turbo est de 0,0080 $ pour 1 000 jetons.

En supposant que la plupart des mots ont deux jetons, pour correspondre au coût de réglage fin du modèle open source LLaMA 2 70B (67 $ par jour), vous devrez alimenter le modèle OpenAI avec environ 4,15 millions de mots.

En général, le nombre moyen de mots sur un papier A4 est de 300, ce qui signifie que nous pouvons alimenter le modèle avec environ 14 000 pages de données pour correspondre au coût de réglage fin de l'open source, ce qui est un nombre énorme.

Vous ne disposez peut-être pas de beaucoup de données de réglage fin, donc le coût du réglage fin avec OpenAI est toujours inférieur.

Un autre point qui peut paraître évident est que ce coût de mise au point n'est pas lié au temps de formation, mais à la quantité de données sur lesquelles le modèle est affiné. Ce n'est pas le cas lors du réglage fin des modèles open source, car le coût dépendra de la quantité de données et de la durée d'utilisation des ressources informatiques AWS.

En ce qui concerne le coût du service, selon la page de tarification d'OpenAI, un GPT 3.5 Turbo affiné coûte 0,003 $ pour 1 000 jetons pour l'entrée et 0,006 $ pour la sortie pour 1 000 jetons.

Nous supposons une moyenne de 0,004 $ pour 1 000 jetons. Pour atteindre le coût de 180 $ par jour, nous devons traiter environ 22,2 millions de mots par jour via l'API.

Cela équivaut à plus de 74 000 pages de données, avec 300 mots par page.

Cependant, l'avantage est que vous n'avez pas besoin de vous assurer que le modèle fonctionne 24h/24 et 7j/7, car OpenAI propose une tarification à l'utilisation.

Si votre modèle n’est jamais utilisé, vous n’avez rien à payer.

Résumé : Quand est-il vraiment judicieux de posséder une entreprise ?

Au début, passer à une IA auto-hébergée peut sembler tentant. Mais méfiez-vous des coûts cachés et des maux de tête qui en découlent.

À l'exception des nuits blanches occasionnelles où vous vous demandez pourquoi votre service basé sur l'IA est en panne, presque toutes les difficultés liées à la gestion des LLM dans les systèmes de production disparaissent si vous faites appel à un fournisseur tiers.

Surtout lorsque votre service ne repose pas principalement sur « l'IA », mais sur quelque chose d'autre qui repose sur l'IA.

Pour les grandes entreprises, le coût de possession annuel de 65 000 $ est peut-être une goutte d'eau dans l'océan, mais pour la plupart des entreprises, c'est un chiffre qui ne peut être ignoré.

De plus, il ne faut pas oublier les autres coûts supplémentaires tels que le talent et la maintenance, qui peuvent facilement augmenter le coût total à plus de 200 000 $ à 250 000 $ par an.

Bien sûr, avoir un modèle dès le départ a ses avantages, comme garder le contrôle sur vos données et votre utilisation.

Cependant, pour rendre l'auto-hébergement possible, vous aurez besoin d'un volume de demandes d'utilisateurs bien supérieur à la norme d'environ 22,2 millions de mots par jour, et vous devrez disposer des ressources nécessaires pour gérer à la fois les talents et la logistique.

Pour la plupart des cas d'utilisation, il n'est peut-être pas financièrement rentable d'avoir un modèle au lieu d'utiliser une API.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Bytedance Cutting lance le super abonnement SVIP : 499 yuans pour un abonnement annuel continu, offrant une variété de fonctions d'IA Bytedance Cutting lance le super abonnement SVIP : 499 yuans pour un abonnement annuel continu, offrant une variété de fonctions d'IA Jun 28, 2024 am 03:51 AM

Ce site a rapporté le 27 juin que Jianying est un logiciel de montage vidéo développé par FaceMeng Technology, une filiale de ByteDance. Il s'appuie sur la plateforme Douyin et produit essentiellement du contenu vidéo court pour les utilisateurs de la plateforme. Il est compatible avec iOS, Android et. Windows, MacOS et autres systèmes d'exploitation. Jianying a officiellement annoncé la mise à niveau de son système d'adhésion et a lancé un nouveau SVIP, qui comprend une variété de technologies noires d'IA, telles que la traduction intelligente, la mise en évidence intelligente, l'emballage intelligent, la synthèse humaine numérique, etc. En termes de prix, les frais mensuels pour le clipping SVIP sont de 79 yuans, les frais annuels sont de 599 yuans (attention sur ce site : équivalent à 49,9 yuans par mois), l'abonnement mensuel continu est de 59 yuans par mois et l'abonnement annuel continu est de 59 yuans par mois. est de 499 yuans par an (équivalent à 41,6 yuans par mois) . En outre, le responsable de Cut a également déclaré que afin d'améliorer l'expérience utilisateur, ceux qui se sont abonnés au VIP d'origine

Assistant de codage d'IA augmenté par le contexte utilisant Rag et Sem-Rag Assistant de codage d'IA augmenté par le contexte utilisant Rag et Sem-Rag Jun 10, 2024 am 11:08 AM

Améliorez la productivité, l’efficacité et la précision des développeurs en intégrant une génération et une mémoire sémantique améliorées par la récupération dans les assistants de codage IA. Traduit de EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, auteur JanakiramMSV. Bien que les assistants de programmation d'IA de base soient naturellement utiles, ils ne parviennent souvent pas à fournir les suggestions de code les plus pertinentes et les plus correctes, car ils s'appuient sur une compréhension générale du langage logiciel et des modèles d'écriture de logiciels les plus courants. Le code généré par ces assistants de codage est adapté à la résolution des problèmes qu’ils sont chargés de résoudre, mais n’est souvent pas conforme aux normes, conventions et styles de codage des équipes individuelles. Cela aboutit souvent à des suggestions qui doivent être modifiées ou affinées pour que le code soit accepté dans l'application.

Le réglage fin peut-il vraiment permettre au LLM d'apprendre de nouvelles choses : l'introduction de nouvelles connaissances peut amener le modèle à produire davantage d'hallucinations Le réglage fin peut-il vraiment permettre au LLM d'apprendre de nouvelles choses : l'introduction de nouvelles connaissances peut amener le modèle à produire davantage d'hallucinations Jun 11, 2024 pm 03:57 PM

Les grands modèles linguistiques (LLM) sont formés sur d'énormes bases de données textuelles, où ils acquièrent de grandes quantités de connaissances du monde réel. Ces connaissances sont intégrées à leurs paramètres et peuvent ensuite être utilisées en cas de besoin. La connaissance de ces modèles est « réifiée » en fin de formation. À la fin de la pré-formation, le modèle arrête effectivement d’apprendre. Alignez ou affinez le modèle pour apprendre à exploiter ces connaissances et répondre plus naturellement aux questions des utilisateurs. Mais parfois, la connaissance du modèle ne suffit pas, et bien que le modèle puisse accéder à du contenu externe via RAG, il est considéré comme bénéfique de l'adapter à de nouveaux domaines grâce à un réglage fin. Ce réglage fin est effectué à l'aide de la contribution d'annotateurs humains ou d'autres créations LLM, où le modèle rencontre des connaissances supplémentaires du monde réel et les intègre.

Travail posthume de l'équipe OpenAI Super Alignment : deux grands modèles jouent à un jeu et le résultat devient plus compréhensible Travail posthume de l'équipe OpenAI Super Alignment : deux grands modèles jouent à un jeu et le résultat devient plus compréhensible Jul 19, 2024 am 01:29 AM

Si la réponse donnée par le modèle d’IA est incompréhensible du tout, oseriez-vous l’utiliser ? À mesure que les systèmes d’apprentissage automatique sont utilisés dans des domaines de plus en plus importants, il devient de plus en plus important de démontrer pourquoi nous pouvons faire confiance à leurs résultats, et quand ne pas leur faire confiance. Une façon possible de gagner confiance dans le résultat d'un système complexe est d'exiger que le système produise une interprétation de son résultat qui soit lisible par un humain ou un autre système de confiance, c'est-à-dire entièrement compréhensible au point que toute erreur possible puisse être trouvé. Par exemple, pour renforcer la confiance dans le système judiciaire, nous exigeons que les tribunaux fournissent des avis écrits clairs et lisibles qui expliquent et soutiennent leurs décisions. Pour les grands modèles de langage, nous pouvons également adopter une approche similaire. Cependant, lorsque vous adoptez cette approche, assurez-vous que le modèle de langage génère

Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Jul 25, 2024 am 06:42 AM

L'ensemble de données ScienceAI Question Answering (QA) joue un rôle essentiel dans la promotion de la recherche sur le traitement du langage naturel (NLP). Des ensembles de données d'assurance qualité de haute qualité peuvent non seulement être utilisés pour affiner les modèles, mais également évaluer efficacement les capacités des grands modèles linguistiques (LLM), en particulier la capacité à comprendre et à raisonner sur les connaissances scientifiques. Bien qu’il existe actuellement de nombreux ensembles de données scientifiques d’assurance qualité couvrant la médecine, la chimie, la biologie et d’autres domaines, ces ensembles de données présentent encore certaines lacunes. Premièrement, le formulaire de données est relativement simple, et la plupart sont des questions à choix multiples. Elles sont faciles à évaluer, mais limitent la plage de sélection des réponses du modèle et ne peuvent pas tester pleinement la capacité du modèle à répondre aux questions scientifiques. En revanche, les questions et réponses ouvertes

Les performances de SOTA, la méthode d'IA de prédiction d'affinité protéine-ligand multimodale de Xiamen, combinent pour la première fois des informations sur la surface moléculaire Les performances de SOTA, la méthode d'IA de prédiction d'affinité protéine-ligand multimodale de Xiamen, combinent pour la première fois des informations sur la surface moléculaire Jul 17, 2024 pm 06:37 PM

Editeur | KX Dans le domaine de la recherche et du développement de médicaments, il est crucial de prédire avec précision et efficacité l'affinité de liaison des protéines et des ligands pour le criblage et l'optimisation des médicaments. Cependant, les études actuelles ne prennent pas en compte le rôle important des informations sur la surface moléculaire dans les interactions protéine-ligand. Sur cette base, des chercheurs de l'Université de Xiamen ont proposé un nouveau cadre d'extraction de caractéristiques multimodales (MFE), qui combine pour la première fois des informations sur la surface des protéines, la structure et la séquence 3D, et utilise un mécanisme d'attention croisée pour comparer différentes modalités. alignement. Les résultats expérimentaux démontrent que cette méthode atteint des performances de pointe dans la prédiction des affinités de liaison protéine-ligand. De plus, les études d’ablation démontrent l’efficacité et la nécessité des informations sur la surface des protéines et de l’alignement des caractéristiques multimodales dans ce cadre. Les recherches connexes commencent par "S

ChatGPT est désormais disponible pour macOS avec la sortie d'une application dédiée ChatGPT est désormais disponible pour macOS avec la sortie d'une application dédiée Jun 27, 2024 am 10:05 AM

L'application ChatGPT Mac d'Open AI est désormais accessible à tous, après avoir été limitée aux seuls utilisateurs disposant d'un abonnement ChatGPT Plus au cours des derniers mois. L'application s'installe comme n'importe quelle autre application Mac native, à condition que vous disposiez d'un Apple S à jour.

SK Hynix présentera de nouveaux produits liés à l'IA le 6 août : HBM3E à 12 couches, NAND à 321 hauteurs, etc. SK Hynix présentera de nouveaux produits liés à l'IA le 6 août : HBM3E à 12 couches, NAND à 321 hauteurs, etc. Aug 01, 2024 pm 09:40 PM

Selon les informations de ce site le 1er août, SK Hynix a publié un article de blog aujourd'hui (1er août), annonçant sa participation au Global Semiconductor Memory Summit FMS2024 qui se tiendra à Santa Clara, Californie, États-Unis, du 6 au 8 août, présentant de nombreuses nouvelles technologies de produit. Introduction au Future Memory and Storage Summit (FutureMemoryandStorage), anciennement Flash Memory Summit (FlashMemorySummit) principalement destiné aux fournisseurs de NAND, dans le contexte de l'attention croissante portée à la technologie de l'intelligence artificielle, cette année a été rebaptisée Future Memory and Storage Summit (FutureMemoryandStorage) pour invitez les fournisseurs de DRAM et de stockage et bien d’autres joueurs. Nouveau produit SK hynix lancé l'année dernière

See all articles