Maison Problème commun Formule de calcul de l'entropie de l'information

Formule de calcul de l'entropie de l'information

Jun 10, 2019 pm 01:35 PM
信息熵

L'information est un concept très abstrait. Les gens disent souvent qu’il y a beaucoup d’informations, ou qu’il y en a moins, mais il est difficile de dire exactement quelle quantité d’informations il y a. Par exemple, quelle quantité d’informations contient un livre chinois de 500 000 mots ?

Formule de calcul de l'entropie de l'information

Ce n'est qu'en 1948 que Shannon propose le concept d'« entropie de l'information » pour résoudre le problème de la mesure quantitative de l'information. Le terme entropie de l’information est C. E. Shannon l'a emprunté à la thermodynamique. L'entropie thermique en thermodynamique est une grandeur physique qui exprime le degré de désordre d'un état moléculaire. Shannon a utilisé le concept d'entropie de l'information pour décrire l'incertitude de la source d'information. (Apprentissage recommandé : Tutoriel vidéo PHP)

Claude Elwood Shannon, le père de la théorie de l'information, a utilisé pour la première fois le langage mathématique pour clarifier la relation entre probabilité et redondance de l'information.

C. E. Shannon, le père de la théorie de l'information, a souligné dans l'article "A Mathematical Theory of Communication" publié en 1948 qu'il y a une redondance dans toute information, et que la taille de la redondance est liée à chaque symbole dans l'information (chiffres, lettres ou mots) ou l'incertitude.

Shannon s'est inspiré du concept de thermodynamique et a appelé la quantité moyenne d'informations après exclusion de la redondance « entropie de l'information », et a donné une expression mathématique pour calculer l'entropie de l'information.

Signification de l'information

Définition moderne

L'information est l'indication de la matière, de l'énergie, de l'information et de ses propriétés. [Définition de l'information Wiener inverse]

L'information est une augmentation de la certitude. [Définition de l'information inverse de Shannon]

L'information est un ensemble d'éléments et de leurs identifiants d'attribut. 【2002】

Définition originale

Claude E. Shannon, l'un des initiateurs de la théorie de l'information, a défini l'information (entropie) comme la probabilité d'apparition d'événements aléatoires discrets .

La soi-disant entropie de l'information est un concept plutôt abstrait en mathématiques. Ici, nous pourrions tout aussi bien comprendre l'entropie de l'information comme la probabilité d'apparition d'un certain type d'information. L'entropie de l'information et l'entropie thermodynamique sont étroitement liées. Selon la réinterprétation du Démon de Maxwell par Charles H. Bennett, la destruction de l'information est un processus irréversible, donc la destruction de l'information est conforme à la deuxième loi de la thermodynamique. La génération d'informations est le processus d'introduction d'une entropie négative (thermodynamique) dans le système. Par conséquent, le signe de l’entropie informationnelle devrait être opposé à celui de l’entropie thermodynamique.

De manière générale, lorsqu'une information a une plus grande probabilité d'apparaître, cela signifie qu'elle est plus largement diffusée, ou qu'elle est davantage citée. On peut penser que du point de vue de la diffusion de l’information, l’entropie de l’information peut représenter la valeur de l’information. De cette façon, nous disposons d’une norme pour mesurer la valeur de l’information et pouvons tirer davantage de conclusions sur les problèmes de circulation des connaissances.

Formule de calcul

H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑ P(xi)log(2,P(xi)) (i=1,2,..n)

où, x représente une variable aléatoire, correspondant à laquelle est l'ensemble de toutes les sorties possibles, défini est un jeu de symboles et la sortie de la variable aléatoire est représentée par x. P(x) représente la fonction de probabilité de sortie. Plus l'incertitude de la variable est grande, plus l'entropie est grande et plus la quantité d'informations nécessaires pour la comprendre est grande

Pour plus d'articles techniques liés à PHP, veuillez visiter Tutoriel graphique PHP rubrique pour apprendre !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Recherche approfondie Entrée du site officiel Deepseek Recherche approfondie Entrée du site officiel Deepseek Mar 12, 2025 pm 01:33 PM

Au début de 2025, l'IA domestique "Deepseek" a fait un début magnifique! Ce modèle d'IA gratuit et open source a une performance comparable à la version officielle d'OpenAI d'Openai, et a été entièrement lancé sur le côté Web, l'application et l'API, prenant en charge l'utilisation multi-terminale des versions iOS, Android et Web. Recherche approfondie du site officiel de Deepseek et du guide d'utilisation: Adresse officielle du site Web: https://www.deepseek.com/using étapes pour la version Web: cliquez sur le lien ci-dessus pour entrer le site officiel Deepseek. Cliquez sur le bouton "Démarrer la conversation" sur la page d'accueil. Pour la première utilisation, vous devez vous connecter avec votre code de vérification de téléphone mobile. Après vous être connecté, vous pouvez entrer dans l'interface de dialogue. Deepseek est puissant, peut écrire du code, lire des fichiers et créer du code

Version Web Deepseek Entrée officielle Version Web Deepseek Entrée officielle Mar 12, 2025 pm 01:42 PM

La profondeur domestique de l'IA Dark Horse a fortement augmenté, choquant l'industrie mondiale de l'IA! Cette société chinoise de renseignement artificiel, qui n'a été créée que depuis un an et demi, a gagné des éloges des utilisateurs mondiaux pour ses maquettes gratuites et open source, Deepseek-V3 et Deepseek-R1. Deepseek-R1 est désormais entièrement lancé, avec des performances comparables à la version officielle d'Openaio1! Vous pouvez vivre ses fonctions puissantes sur la page Web, l'application et l'interface API. Méthode de téléchargement: prend en charge les systèmes iOS et Android, les utilisateurs peuvent le télécharger via l'App Store; Version Web Deepseek Entrée officielle: HT

Comment résoudre le problème des serveurs occupés pour Deepseek Comment résoudre le problème des serveurs occupés pour Deepseek Mar 12, 2025 pm 01:39 PM

Deepseek: Comment gérer l'IA populaire qui est encombré de serveurs? En tant qu'IA chaude en 2025, Deepseek est gratuit et open source et a une performance comparable à la version officielle d'Openaio1, qui montre sa popularité. Cependant, une concurrence élevée apporte également le problème de l'agitation du serveur. Cet article analysera les raisons et fournira des stratégies d'adaptation. Entrée de la version Web Deepseek: https://www.deepseek.com/deepseek serveur Raison: Accès simultané: des fonctionnalités gratuites et puissantes de Deepseek attirent un grand nombre d'utilisateurs à utiliser en même temps, ce qui entraîne une charge de serveur excessive. Cyber ​​Attack: Il est rapporté que Deepseek a un impact sur l'industrie financière américaine.