Résumé de la collaboration entre l'Université nationale des sciences et technologies et la Première université normale : Révéler comment les réseaux tenseurs « boîte blanche » peuvent améliorer l'interprétabilité et l'efficacité de l'apprentissage automatique quantique

Éditeur | Ziluo

L'apprentissage automatique profond a obtenu un succès remarquable dans divers domaines de l'IA, mais atteindre à la fois une interprétabilité élevée et une efficacité élevée reste un défi de taille

Réseau Tensor, à savoir Tensor Network (TN), issu de la mécanique quantique, est un outil mathématique mature. Il a démontré des avantages uniques dans le développement de solutions efficaces d'apprentissage automatique « boîte blanche »

Récemment, Ran Shiju de la Capital Normal University et Su Gang de l'Université de l'Académie chinoise des sciences se sont inspirés de la mécanique quantique et ont examiné une méthode d'innovation basée sur le TN, apportant une solution prometteuse au défi de longue date consistant à concilier interprétabilité et efficacité dans l’apprentissage automatique profond.

D'une part, l'interprétabilité de TN ML peut être obtenue grâce à une base théorique solide basée sur l'information quantique et la physique à N corps. D’un autre côté, une expression TN puissante et des techniques informatiques avancées développées en physique quantique à N corps peuvent atteindre une efficacité élevée. Avec le développement rapide des ordinateurs quantiques, TN devrait produire dans un avenir proche de nouvelles solutions pouvant fonctionner sur du matériel quantique dans le sens de « l'IA quantique ». Inspired Machine Learning

" s'intitulait "

Intelligent Computing" et a été publié le 17 novembre 2023.

Lien papier : https://spj.science.org/doi/10.34133/icomputing.0061

Les modèles d'apprentissage profond, en particulier les modèles de réseaux neuronaux, sont souvent appelés « boîtes noires » en raison de leur décision. Le processus de fabrication est complexe et difficile à expliquer. Les réseaux de neurones constituent actuellement le modèle d’apprentissage profond le plus puissant. Un excellent exemple de sa puissance est le GPT. Cependant, en raison du manque d'explicabilité, même GPT est confronté à de sérieux problèmes tels que la robustesse et la protection de la vie privée.

Le manque d'explicabilité de ces modèles peut conduire à un manque de confiance dans leurs prédictions et décisions, limitant ainsi leur utilisation dans des domaines importants. Application

Les réseaux tenseurs basés sur l'information quantique et la physique multi-corps offrent une approche « boîte blanche » du ML. Les chercheurs ont déclaré : « Les réseaux tenseurs jouent un rôle crucial dans la connexion des concepts, théories et méthodes quantiques avec le ML et dans la mise en œuvre efficace du ML basé sur les réseaux tenseurs. »

Des outils mathématiques en boîte blanche « issus de la physique quantique ». La physique quantique a donné naissance à de puissants outils mathématiques de type « boîte blanche ».

Avec le développement rapide de l'informatique classique et quantique, TN fournit de nouvelles idées pour surmonter le dilemme entre interprétabilité et efficacité. TN est défini comme la contraction de plusieurs tenseurs. Sa structure de réseau détermine la façon dont le tenseur se rétrécit.

Dans la figure 1, une représentation schématique des trois types de TN est présentée. Ces trois types sont la représentation de l'état du produit matriciel (MPS), l'arbre TN et la représentation de l'état des paires intriquées projetées (PEPS)

Figure 1 : Représentation graphique de 3 types de TN : (A) MPS, (B) )Arbre TN et (C)PEPS. (Source : article)

TN a obtenu un succès remarquable dans le domaine de la mécanique quantique en tant que représentation efficace de l'état des systèmes quantiques à grande échelle. Dans la théorie TN, les états satisfaisant à la loi de l'aire d'entropie d'intrication peuvent être efficacement approchés par une représentation TN avec des dimensions de liaison finies.

Les algorithmes basés sur MPS, y compris les groupes de renormalisation de matrice de densité et l'extraction de blocs évoluant dans le temps, montrent une efficacité significative dans la simulation de l'entropie d'intrication. En outre, les MPS peuvent également représenter de nombreux états construits artificiellement qui sont largement utilisés dans le traitement et le calcul de l'information quantique, tels que l'état de Greenberger – Horne – Zeilinger et l'état W.

PEPS signifie la loi des aires qui obéit à deux dimensions et plus, et a obtenu un grand succès dans l'étude des systèmes quantiques de haute dimension. En résumé, la loi des aires de l'entropie d'intrication fournit une explication intrinsèque de la représentation ou de la puissance de calcul du TN dans la simulation des systèmes quantiques. Cette explication s'applique également à TN ML. De plus, TN en tant qu'outil numérique « boîte blanche » (machine de Born), similaire au modèle de probabilité (classique) de ML, peut être expliqué par l'interprétation de la probabilité quantique de Born (également connue sous le nom de règle de Born)

Image 2 : MPS ( Tensor Train form) peut être utilisé pour représenter ou formuler efficacement un grand nombre d’objets mathématiques. (Cité de : article)

Progrès technologiques de l'apprentissage automatique inspirés par le quantique (Progrès technologiques de l'apprentissage automatique inspirés par le quantique)

TN offre une nouvelle façon de résoudre le dilemme entre interprétabilité et efficacité dans l'apprentissage automatique, grâce à sa théorie solide et ses méthodes efficaces. Actuellement, deux axes de recherche enchevêtrés sont débattus :

1. Comment la théorie quantique peut-elle servir de base mathématique à l'interprétabilité du TN ML ?
2. Comment les méthodes TN de la mécanique quantique et la technologie de l'informatique quantique produisent-elles des solutions T N ML efficaces ?

Dans ce contenu, les chercheurs présentent les récents progrès encourageants du ML d'inspiration quantique du point de vue du mappage de fonctionnalités, de la modélisation et du ML basé sur l'informatique quantique, ouvrant ainsi des discussions autour de ces deux questions. Ces avancées sont étroitement liées aux avantages de l’utilisation de TN pour améliorer l’efficacité et l’interprétabilité. Ces approches de ML sont souvent qualifiées d'« inspirées du quantum » car leurs théories, modèles et méthodes proviennent ou s'inspirent de la physique quantique. Cependant, nous avons besoin de plus d'efforts pour développer un cadre système d'interprétabilité basé sur la physique quantique

Dans le tableau ci-dessous, les principales méthodes sur TN ML et leur relation avec l'efficacité et l'interprétabilité sont résumées

Réseaux techniques qui améliorent le classique Machine Learning

En tant qu'outil mathématique fondamental, les applications des réseaux de neurones en ML ne se limitent pas à celles qui suivent des interprétations probabilistes quantiques. Étant donné que TN peut être utilisé pour représenter et simuler efficacement la fonction de partition des systèmes stochastiques classiques, tels que les modèles d'Ising et Potts, la relation entre TN et les machines de Boltzmann a été largement étudiée.

TN est également utilisé pour améliorer NN et développer de nouveaux modèles ML, ignorant toute interprétation probabiliste. Réécrit en chinois : TN est également utilisé pour améliorer NN et développer de nouveaux modèles ML, quelle que soit toute interprétation probabiliste.

Sur la même base, des méthodes de compression de modèle sont proposées pour décomposer les paramètres variationnels de NN en TN ou représenter directement les paramètres variationnels sous forme de TN. Ce dernier peut ne pas nécessiter un processus de décomposition explicite, où les paramètres du réseau neuronal ne sont pas restitués aux tenseurs mais directement aux formes TT, aux opérateurs de produits matriciels ou aux TN profonds. Des fonctions d'activation non linéaires ont été ajoutées à TN pour améliorer ses performances ML, généralisant TN des modèles multilinéaires aux modèles non linéaires.

Ce qui doit être réécrit est : Conclusion

Les gens s'intéressent depuis longtemps à la résolution du dilemme entre efficacité et explicabilité dans l'intelligence artificielle (en particulier l'apprentissage automatique profond). À cet égard, nous passons en revue les progrès encourageants réalisés par TN, une méthode d'apprentissage automatique interprétable et efficace d'inspiration quantique

Le « papillon N ML » dans la figure 3 répertorie les réalisations de TN en termes d'avantages ML. Pour le ML d’inspiration quantique, les avantages du TN peuvent être résumés en deux aspects clés : la théorie quantique pour l’interprétabilité et les méthodes quantiques pour une efficacité améliorée. D'une part, TN nous permet d'appliquer les statistiques et la théorie quantique (par exemple, la théorie de l'intrication) pour construire des cadres probabilistes d'interprétabilité qui peuvent aller au-delà de ce qui peut être décrit par l'information classique ou la théorie statistique. D’autre part, de puissants algorithmes TN de mécanique quantique et une technologie informatique quantique considérablement améliorée permettront aux méthodes TN ML d’inspiration quantique d’être très efficaces sur les plates-formes informatiques classiques et quantiques.

Figure 3 : « TN ML butterflies » résume 2 avantages uniques : l'interprétabilité basée sur la théorie quantique (aile gauche) et l'efficacité basée sur les méthodes quantiques (aile droite). (Source : article)

En particulier, avec les récents progrès significatifs dans le domaine du GPT, il y a eu une augmentation sans précédent de la complexité des modèles et de la puissance de calcul, ce qui a apporté de nouvelles opportunités et de nouveaux défis au TN ML. Face à l'émergence de l'IA GPT, l'explicabilité devient de plus en plus précieuse, non seulement pour améliorer l'efficacité de la recherche, mais également pour permettre une meilleure application et un contrôle plus sûr.

Dans l'ère actuelle du NISQ et dans le futur réel À l'ère de l'informatique quantique, le TN est rapidement devenir un outil mathématique important pour explorer l'intelligence artificielle quantique, sous diverses perspectives telles que la théorie, le modèle, l'algorithme, les logiciels, le matériel et les applications

Contenu de référence : https://techxplore.com/news/2023 -11-tensor. -réseaux-efficacité-quantum-inspired-machine.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!