Maison Périphériques technologiques IA Qu'est-ce que ChatGPT ? Que signifient G, P et T ?

Qu'est-ce que ChatGPT ? Que signifient G, P et T ?

May 08, 2023 pm 12:01 PM
chatgpt 数据 文本

Bill Gates : ChatGPT est l'avancée technologique la plus révolutionnaire depuis 1980.

Dans cette ère de transformation de l’IA, nous ne pouvons que nous y joindre et suivre le rythme.

Ceci est ma note d'étude, j'espère qu'elle vous sera utile pour comprendre ChatGPT.

1. Que signifient les GPT dans ChatGPT ?

GPT, Generative Pre-trained Transformer, modèle de transformation générative pré-entraînée.

Qu'est-ce que cela signifie ?

Génératif signifie qu'il peut générer du contenu spontanément.

Pré-entraîné, pré-formation, ne vous oblige pas à l'obtenir et à vous entraîner à nouveau. Il prépare directement pour vous un modèle de langage général.

Transformer, modèle de transformation, est un modèle très puissant proposé par Google. Il peut aider à mieux gérer les problèmes liés à la PNL. C'est une très bonne structure de réseau neuronal.

2. Bien que Transformer ait été proposé par Google. Mais l’application la plus réussie est ChatGPT d’OpenAI.

Parce que ChatGPT repose sur les épaules de géants.

ChatGPT est la cristallisation de toute la société humaine sans avoir ouvert la voie, ChatGPT ne se serait pas déroulé aussi facilement.

Il y aura des applications plus puissantes à l'avenir, qui seront basées sur ChatGPT.

3. Il y a un concept très important dans Transformer, le mécanisme d'attention.

Quel est le mécanisme d’attention ?

Cela signifie sélectionner les informations importantes parmi les informations que vous saisissez, vous concentrer sur ces informations importantes et ignorer les informations sans importance. De cette façon, vous pourrez mieux comprendre ce que vous dites.

Le mécanisme d'attention peut aider le modèle Transformer à se concentrer sur la partie la plus importante des informations d'entrée.

4. Les méthodes d'apprentissage automatique sont divisées en apprentissage supervisé, apprentissage non supervisé et apprentissage par renforcement.

Apprentissage supervisé : il y a des données étiquetées, des commentaires directs, et les résultats et l'avenir peuvent être prédits

Apprentissage non supervisé : il n'y a pas d'étiquettes ni d'objectifs, pas de commentaires, mais il recherche par lui-même des résultats cachés dans les données

Apprentissage par renforcement : il s'agit d'un processus de prise de décision qui comporte une série de mécanismes de récompense et de mécanismes de punition pour permettre à l'apprentissage automatique de mieux fonctionner. ChatGPT utilise l'apprentissage non supervisé et l'apprentissage par renforcement.

5. ChatGPT peut générer et créer une grande quantité de contenu, qui repose en fait sur la probabilité de deviner.

Par exemple, le temps est gris et mon humeur est très ___

L'IA entraînée avec une grande quantité de données prédira que le mot ayant la plus forte probabilité d'apparaître dans cet espace est "déprimé".

Ensuite, "déprimé" sera rempli dans ce blanc, donc la réponse est :

Le temps est gris et gris, et je me sens très déprimé

C'est incroyable, mais c'est la vérité.

Toutes les tâches de PNL (traitement du langage naturel) à ce stade ne sont pas des machines capables de véritablement comprendre le monde humain.

Il joue simplement à des jeux de mots et résout des énigmes de probabilité encore et encore.

6. Dans ce jeu de mots consistant à « deviner la probabilité », le Large Language Model (LLM, Large Language Model) a évolué vers les deux directions les plus courantes : BERT et GPT.

BERT était auparavant la direction la plus populaire, dominant presque tous les domaines de la PNL.

Et réussissez bien dans les tâches de compréhension du langage naturel (telles que la classification de textes, le jugement de tendance émotionnelle, etc.).

La direction GPT est relativement faible et l'acteur le plus connu est OpenAl.

En fait, avant la sortie de GPT3.0, la direction de GPT a toujours été plus faible que celle de BERT (GPT3.0 est le prédécesseur de GPT3.5, le modèle derrière ChatGPT).

7. Quelle est la différence entre BERT et GPT ?

BERT est un modèle de langage bidirectionnel. Il devine le mot au milieu avant et après la connexion, il est donc bidirectionnel, tout comme remplir les blancs.

Par exemple : je___rentrer chez moi le 20

BERT a deviné "Je prévois de rentrer chez moi le 20" et a deviné le "plan" au milieu.

GPT est un modèle de langage à sens unique, qui consiste à deviner le mot suivant, c'est donc à sens unique, comme écrire une composition.

Par exemple : je prévois de rentrer chez moi le 20___

GPT a deviné "Je prévois de rentrer chez moi le 20", et a deviné le mot "rentrer chez moi" après.

8. Comment poser des questions à GPT ?

Il existe deux manières : affiner et inviter.

réglage fin, ajustement des paramètres : les paramètres du modèle doivent être mis à jour pour compléter le contenu généré.

la mise au point est professionnelle, avec un seuil élevé et un petit public. Cependant, il présente une grande diversité et précision et convient aux tâches complexes. Un jeu pour quelques joueurs.

invite, mot d'invite : pas besoin de modifier le modèle et les paramètres, donnez simplement quelques conseils et exemples pour terminer la tâche.

l'invite est plus simple, le seuil est bas et le public est large. Convient pour gérer des tâches simples. Tous les joueurs le sont.

Le contenu que nous saisissons dans la zone de saisie ChatGPT est l'invite.

9. ChatGPT est une IA générative.

L'IA est divisée en deux types en termes de méthodes de production de contenu : l'IA analytique et l'IA générative.

L'IA analytique est principalement utilisée pour l'analyse et la classification. La quantité de données que vous lui fournissez, le type de contenu qu'il peut analyser, cela se limite aux données elles-mêmes.

L'IA générative crée un nouveau contenu qui n'existe pas dans les données sur la base de l'apprentissage et de la synthèse de la distribution des données. Peut générer du texte, des images, du code, des synthèses vocales, des vidéos et des modèles 3D.

ChatGPT est une IA générative qui est la meilleure pour écrire du texte et du code.

10. Enfin, du point de vue de l'acquisition de connaissances, ChatGPT est une nouvelle génération de « méthode de représentation et d'invocation des connaissances ».

Au début, les connaissances étaient stockées dans des bases de données de manière structurée. Nous l'obtenons via SQL.

Plus tard, avec la naissance d'Internet, des connaissances plus non structurées telles que des textes, des images et des vidéos ont été stockées sur Internet. Nous l'obtenons via les moteurs de recherche.

Désormais, les connaissances sont stockées dans le grand modèle sous forme de paramètres. Nous invoquons directement ces connaissances en utilisant le langage naturel.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

ChatGPT permet désormais aux utilisateurs gratuits de générer des images en utilisant DALL-E 3 avec une limite quotidienne ChatGPT permet désormais aux utilisateurs gratuits de générer des images en utilisant DALL-E 3 avec une limite quotidienne Aug 09, 2024 pm 09:37 PM

Le DALL-E 3 a été officiellement introduit en septembre 2023 en tant que modèle considérablement amélioré par rapport à son prédécesseur. Il est considéré comme l’un des meilleurs générateurs d’images IA à ce jour, capable de créer des images avec des détails complexes. Cependant, au lancement, c'était exclu

Utilisez ddrescue pour récupérer des données sous Linux Utilisez ddrescue pour récupérer des données sous Linux Mar 20, 2024 pm 01:37 PM

DDREASE est un outil permettant de récupérer des données à partir de périphériques de fichiers ou de blocs tels que des disques durs, des SSD, des disques RAM, des CD, des DVD et des périphériques de stockage USB. Il copie les données d'un périphérique bloc à un autre, laissant derrière lui les blocs corrompus et ne déplaçant que les bons blocs. ddreasue est un puissant outil de récupération entièrement automatisé car il ne nécessite aucune interruption pendant les opérations de récupération. De plus, grâce au fichier map ddasue, il peut être arrêté et repris à tout moment. Les autres fonctionnalités clés de DDREASE sont les suivantes : Il n'écrase pas les données récupérées mais comble les lacunes en cas de récupération itérative. Cependant, il peut être tronqué si l'outil est invité à le faire explicitement. Récupérer les données de plusieurs fichiers ou blocs en un seul

Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire ! Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire ! Apr 03, 2024 pm 12:04 PM

0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Vitesse Internet lente des données cellulaires sur iPhone : correctifs Vitesse Internet lente des données cellulaires sur iPhone : correctifs May 03, 2024 pm 09:01 PM

Vous êtes confronté à un décalage et à une connexion de données mobile lente sur iPhone ? En règle générale, la puissance de l'Internet cellulaire sur votre téléphone dépend de plusieurs facteurs tels que la région, le type de réseau cellulaire, le type d'itinérance, etc. Vous pouvez prendre certaines mesures pour obtenir une connexion Internet cellulaire plus rapide et plus fiable. Correctif 1 – Forcer le redémarrage de l'iPhone Parfois, le redémarrage forcé de votre appareil réinitialise simplement beaucoup de choses, y compris la connexion cellulaire. Étape 1 – Appuyez simplement une fois sur la touche d’augmentation du volume et relâchez-la. Ensuite, appuyez sur la touche de réduction du volume et relâchez-la à nouveau. Étape 2 – La partie suivante du processus consiste à maintenir le bouton sur le côté droit. Laissez l'iPhone finir de redémarrer. Activez les données cellulaires et vérifiez la vitesse du réseau. Vérifiez à nouveau Correctif 2 – Changer le mode de données Bien que la 5G offre de meilleures vitesses de réseau, elle fonctionne mieux lorsque le signal est plus faible

La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données. La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données. Apr 29, 2024 pm 06:55 PM

Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.

L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois. L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois. May 07, 2024 pm 05:00 PM

Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,

Le document multimodal Alibaba 7B comprenant le grand modèle remporte le nouveau SOTA Le document multimodal Alibaba 7B comprenant le grand modèle remporte le nouveau SOTA Apr 02, 2024 am 11:31 AM

Nouveau SOTA pour des capacités de compréhension de documents multimodaux ! L'équipe Alibaba mPLUG a publié le dernier travail open source mPLUG-DocOwl1.5, qui propose une série de solutions pour relever les quatre défis majeurs que sont la reconnaissance de texte d'image haute résolution, la compréhension générale de la structure des documents, le suivi des instructions et l'introduction de connaissances externes. Sans plus tarder, examinons d’abord les effets. Reconnaissance et conversion en un clic de graphiques aux structures complexes au format Markdown : Des graphiques de différents styles sont disponibles : Une reconnaissance et un positionnement de texte plus détaillés peuvent également être facilement traités : Des explications détaillées sur la compréhension du document peuvent également être données : Vous savez, « Compréhension du document " est actuellement un scénario important pour la mise en œuvre de grands modèles linguistiques. Il existe de nombreux produits sur le marché pour aider à la lecture de documents. Certains d'entre eux utilisent principalement des systèmes OCR pour la reconnaissance de texte et coopèrent avec LLM pour le traitement de texte.

See all articles