Les scientifiques vont sérieux au sujet de grands modèles de langue reflétant la pensée humaine

Explorer les parallèles étonnants entre les LLM et le cerveau humain

Cet article examine la recherche révolutionnaire qui fusionne les neurosciences, la psychologie et l'informatique pour révéler des similitudes surprenantes - et des différences cruciales - entre les modèles de grande langue (LLM) et le cerveau humain, en particulier dans le traitement de texte et le raisonnement procédural.

Introduction:

La montée des LLM a déclenché un débat intense sur leur potentiel pour imiter les processus cognitifs humains. Leurs capacités avancées dans le langage, le raisonnement et la résolution de problèmes soulèvent des questions convaincantes sur les principes opérationnels sous-jacents. Les articles précédents ont exploré cela, en particulier concernant «l'argument de la salle chinoise» et les parallèles entre le traitement du texte LLM et l'acquisition du langage humain:

• Terrain sur le test de Turing, l'argument de la salle chinoise et les modèles de grande langue modernes
• Si la communication orale et écrite a fait que les humains développent l'intelligence… quoi de neuf avec les modèles de langage?
• Les humains sont des "perroquets stochastiques" super avancés?
• Provocateur, les chercheurs de Microsoft disent avoir trouvé des "étincelles d'intelligence artificielle" dans GPT-4
• Et si l'intelligence et peut-être même la conscience surface sans emprunt dans l'IA, tellement lente que…

Les travaux antérieurs ont également analysé le "raisonnement" LLM et l'impact de l'ingénierie rapide sur la précision de résolution de problèmes:

• Nouveau travail DeepMind dévoile les graines invites suprême pour les modèles de langage
• Comment les modèles linguistiques formés sur les chaînes peuvent-ils effectuer des mathématiques?

Des recherches récentes éclairent les similitudes frappantes:

Cet article passe en revue les études récentes explorant les parallèles et les distinctions entre les LLM et le cerveau humain, en se concentrant sur la performance des tâches cognitives, les méthodologies d'évaluation et la nature même de l'intelligence. Cinq articles de recherche clés constituent la base de cette analyse:

• Modèles de grande langue et sciences cognitives: une revue complète des similitudes, des différences… Cette revue (actuellement révisée non révisée) examine l'intersection des LLM et des sciences cognitives, des méthodes de détail pour comparer LLM et humain Traitement de l'information, y compris les adaptations des expériences de psychologie cognitive et des données de neuroimagerie. Il met en évidence des similitudes dans le traitement du langage et les jugements sensoriels, tout en mettant l'accent sur les différences de raisonnement, en particulier avec de nouveaux problèmes.

• Les hiérarchies d'extraction des caractéristiques contextuelles convergent dans les modèles de grands langues et le cerveau - la nature… Cet article analyse douze LLM, évaluant leur capacité à prédire les réponses neuronales (EEG intracrânien) pendant la compréhension de la parole. Les LLM plus performantes ont montré une plus grande similitude du cerveau, alignant leur extraction de caractéristiques hiérarchiques avec les voies du cerveau en utilisant moins de couches. Les informations contextuelles ont considérablement amélioré les performances du modèle et le traitement de type cerveau.

• Échelle Matters: Modèles de grande langue avec des milliards (plutôt que des millions) de paramètres mieux… Cette préimpression examinée dans elife étudie la corrélation entre la taille LLM et la prédiction de l'activité du cerveau humain Pendant le traitement du langage naturel (en utilisant l'électrocorticographie). Les LLM plus importants ont prédit avec précision l'activité neuronale, la couche de prédiction optimale passant à des couches antérieures dans des modèles plus grands.

• Principes de calcul partagés pour le traitement du langage chez l'homme et les modèles de langage profond - PubMed Cet article de 2022 (en utilisant GPT-2) a trouvé des preuves empiriques que les humains et les LLMS partagent trois principes de calcul: prédiction continue du mot de prochain, Utiliser des prédictions de pré-apparition pour calculer la surprise post-ensemble et représenter des mots en utilisant des incorporations contextuelles.

• Connaissances procédurales en matière de pré-formation des motifs du raisonnement dans les modèles de grande langue Cette préimpression examine comment les LLM apprennent à raisonner, en comparant les stratégies de raisonnement avec la récupération des connaissances factuelles. Le raisonnement est motivé par les connaissances procédurales, synthétisant les solutions à partir de documents démontrant des processus de raisonnement similaires.

Parallèles et divergences clés:

similitudes:

1. Traitement du langage hiérarchique: Les LLM et le langage du processus du cerveau humain hiérarchiquement, avec des couches extrait progressivement des caractéristiques linguistiques complexes. La performance LLM est en corrélation avec leur capacité à prédire l'activité cérébrale humaine pendant le traitement du langage.

2. Dépendance contextuelle: Les deux systèmes reposent fortement sur des informations contextuelles. Des fenêtres de contexte plus grandes dans les LLM améliorent leur capacité à prédire les réponses neuronales humaines, reflétant la dépendance du cerveau au contexte de la compréhension.

Différences:

1. Compétence linguistique fonctionnelle et formelle: Bien que les LLM excellaient à la compétence linguistique formelle (grammaire), elles luttent souvent avec la compétence fonctionnelle (pragmatique, des aspects dépendants du contexte comme l'humour ou le sarcasme).

2. Mécanismes de mémoire: La mémoire LLM diffère considérablement de la mémoire humaine. La mémoire humaine est dynamique, s'adaptant basée sur les expériences et les associations; La mémoire LLM repose sur des représentations fixes.

Évaluation des LLM en tant que modèles cognitifs:

L'évaluation des capacités cognitives LLM présente des défis uniques. Les chercheurs adaptent des expériences de psychologie cognitive (comme Cogbench) et utilisent des données de neuroimagerie pour comparer les représentations LLM avec l'activité cérébrale humaine. Cependant, l'interprétation de ces résultats nécessite une prudence en raison des différences fondamentales entre les deux systèmes.

La question de la convergence:

La question de savoir si les LLMS développent une véritable intelligence restent ouvertes. Bien que leurs performances sur les tâches cognitives soient impressionnantes, les différences fondamentales avec le cerveau humain persistent. La convergence des LLM vers un traitement de type cerveau augmente les possibilités intrigantes, mais si elles atteindront jamais l'intelligence au niveau de l'homme restent incertaines.

Conclusion:

La recherche examinée ici met en évidence les parallèles fascinants et les différences entre les LLM et le cerveau humain. Cette enquête en cours fait non seulement progresser notre compréhension de l'intelligence artificielle, mais aussi approfondir notre connaissance de la cognition humaine elle-même.

Lire plus approfondie:

• Une nouvelle méthode pour détecter les "confabulations" hallucinées par des modèles de grande langue
• Utilisations directes des grands modèles de langue dans la science et la technologie modernes
• Une puissante analyse des données et tracer via des demandes de langage naturel en donnant aux LLMS accès à…
• Débrocheur du pouvoir du chat de la classe dans la classe - Discussion après des mois de tests

(www.lucianoabriata.com - Abonnez-vous pour plus d'articles. Services et coordonnées disponibles sur le site Web.)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!