Google explore une nouvelle tâche NLU « Évaluation du langage naturel », laissez l'IA vous aider à vous échauffer avant l'entretien formel !

On peut dire que la « résolution de questions » traverse la vie. Certaines questions peuvent être résolues seules, comme les questions d'examen ; mais pour les questions qui nécessitent une interaction, comme les entretiens, il est difficile pour une seule personne de les résoudre.

Ce type d'interaction est différent des questions et réponses ordinaires. Il nécessite généralement que le « partenaire épargnant » réponde aux questions dans une situation spécifique et guide l'utilisateur dans sa réflexion pour atteindre l'objectif ultime.

Par exemple, l'intervieweur posera non seulement des questions, mais vous guidera également pour exprimer votre compréhension du problème et des solutions facultatives. Ces questions peuvent également être ouvertes, comme l'auto-présentation.

Le but ultime de l'IA est que tout ce que les humains peuvent faire puisse être remplacé par des modèles, et ce type de « formateur à l'entretien » ne fait pas exception.

Mais dans le domaine actuel du traitement du langage naturel, cette capacité n’a pas reçu suffisamment d’attention et est techniquement très difficile.

Récemment, Google a introduit une fonctionnalité importante de compréhension du langage naturel (NLU), à savoir l'évaluation du langage naturel (NLA), sur son blog officiel, et a expliqué comment elle peut être utile dans le contexte de l'éducation.

Les tâches NLU typiques se concentrent sur l'intention de l'utilisateur, tandis que NLA permet d'évaluer la réponse sous plusieurs perspectives.

Dans les situations où les utilisateurs souhaitent connaître la qualité de leur réponse, NLA peut fournir une analyse de la proximité de la réponse par rapport aux attentes.

Dans les situations où il n'y a peut-être pas de « bonne » réponse, NLA peut fournir des informations nuancées, notamment sur l'actualité, la pertinence, les questions longues, et bien plus encore.

Les chercheurs ont étudié la NLA, ont proposé un modèle pratique pour réaliser une NLA topique et ont montré comment la NLA peut être utilisée pour aider les demandeurs d'emploi à s'entraîner à répondre aux questions d'entretien.

Aperçu de l'évaluation du langage naturel

L'objectif de NLA est d'évaluer les réponses données par les utilisateurs par rapport à un ensemble d'attentes.

Par exemple, il existe un système NLA qui interagit avec les étudiants, qui comporte les composants suivants :

• Poser une question à l'étudiant
• Les attentes définissent ce que l'utilisateur s'attend à obtenir dans la réponse ; Par exemple, une réponse textuelle spécifique ou un ensemble de sujets que l'utilisateur s'attend à ce que la réponse couvre, et la réponse doit être concise.
• Réponses fournies par les étudiants ;
• Résultats de l'évaluation. Y compris l'exactitude, les informations manquantes, le fait d'être trop spécifique ou général, les commentaires stylistiques, la prononciation, etc.
• Facultatif : contexte. Par exemple, un paragraphe dans un livre ou un article.

Avec NLA, les attentes en matière de réponses et l'évaluation des réponses peuvent être très larges, ce qui rend les interactions entre enseignants et élèves plus expressives et détaillées.

Questions avec une bonne réponse spécifique

Même lorsqu'il y a une bonne réponse claire, la réponse peut être évaluée de manière plus nuancée que simplement correcte ou incorrecte.

• Contexte : Harry Potter à l'école des sorciers
• Question : Qu'est-ce que Poudlard ?
• Attente : Poudlard est une école de magie
• Réponse ) : Je ne suis pas vraiment sûr, mais je pense que c'est une école.

Pour le système de questions et réponses, la réponse ci-dessus peut être marquée comme incorrecte en raison du manque de détails clés « magiques », car l'utilisateur pensera que la réponse n'est pas complètement correcte et n'a pas beaucoup de sens.

NLA peut fournir une compréhension plus détaillée, par exemple en déterminant que la réponse d'un élève est trop générale et que l'élève n'est pas suffisamment sûr de la réponse.

Cette évaluation nuancée, en plus de remarquer l'incertitude exprimée par les étudiants, est importante pour aider les étudiants à développer leurs compétences dans des contextes conversationnels.

Attentes du sujet

Dans de nombreux cas, la personne qui pose la question n'attend pas de réponse spécifique.

Par exemple, si on pose une question d'opinion à un étudiant et qu'il n'y a pas d'attente de texte spécifique, la personne qui pose la question est plus préoccupée par la pertinence de la réponse et de l'opinion. Peut-être que la concision et la fluidité de la réponse entrent également dans le cadre de. l'évaluation du questionneur.

• Question : Veuillez vous présenter. (Parlez-moi un peu de vous ?)
• Attente : un ensemble de sujets, qui peuvent inclure « l'éducation », « l'expérience », « l'intérêt », etc.
• Réponse : J'ai grandi à Salinas, en Californie, et je suis ensuite allé J'ai étudié au Stanford College, je me suis spécialisé en économie, mais je me suis ensuite enthousiasmé pour l'industrie technologique, alors ensuite je...

Dans ce cas, un résultat d'évaluation utile mapperait les réponses de l'utilisateur à un sous-ensemble des sujets abordés, et éventuellement des marqueurs. pour quelles parties du texte se rapportent à quel sujet.

Du point de vue du traitement du langage naturel, cela représente un défi car les réponses peuvent être longues, les sujets peuvent être mélangés et chaque sujet lui-même peut avoir de multiples facettes.

Modèle de sujet NLA

En principe, le sujet NLA (Topicallity NLA) est une tâche multi-classification standard, et les développeurs peuvent facilement former un classificateur basé sur des modèles couramment utilisés.

Mais pour NLA, il y a très peu de données de formation disponibles, et la collecte de données de formation pour chaque question et sujet est coûteuse et prend du temps.

La solution de Google consiste à décomposer chaque sujet en composants fins qui peuvent être identifiés à l'aide de grands modèles de langage (LLM) et à effectuer des réglages généraux simples.

Les chercheurs ont associé chaque sujet à une liste de questions potentielles et ont défini que si une phrase contenait une réponse à l'une de ces questions potentielles, elle couvrait alors ce sujet.

Pour le thème Expérience, le modèle peut choisir quelques questions potentielles, telles que :

• Où travaillez-vous ?
• Qu’étudies-tu ?
• ...

Sous le thème "Intérêts", il y a aussi quelques questions de base, telles que

• Qu'est-ce qui vous intéresse ?
• Qu'est-ce que tu aimes faire ?
• ...

Ces questions de base sont conçues selon un processus manuel itératif.

Il est important de noter que ces questions étant suffisamment précises, les modèles de langage actuels peuvent capturer la sémantique de ces phrases (telle que la différence entre Quoi et Où), ce qui permet également aux développeurs de fournir un plan zéro pour la configuration des tâches du sujet NLA : Une fois le modèle entraîné une fois, vous pouvez ajouter continuellement de nouvelles questions et de nouveaux sujets, ou adapter les sujets existants en modifiant le contenu de base sans collecter de données spécifiques au sujet.

Aider les demandeurs d'emploi à se préparer aux entretiens

Afin d'explorer les scénarios d'application de NLA, les développeurs de Google ont également travaillé avec des demandeurs d'emploi pour développer un nouvel outil, Interview Warmup, pour aider les utilisateurs dans des métiers à croissance rapide tels que l'informatique. Support et conception de l'expérience utilisateur Préparation sur le terrain pour les entretiens.

Un grand nombre de questions sont proposées sur le site Web, et les demandeurs d'emploi peuvent s'entraîner chez eux à répondre aux questions posées par des experts du secteur pour les aider à devenir plus confiants et à l'aise lors d'entretiens réels.

Google s'est également inspiré des demandeurs d'emploi et a proposé la recherche NLA après avoir compris les difficultés du processus d'entretien.

Interview Warmup n'évalue ni ne juge les réponses. Il fournit uniquement aux utilisateurs un environnement pour s'entraîner seuls et les aide à s'améliorer.

Chaque fois qu'un utilisateur répond à une question d'entretien, la réponse est analysée phrase par phrase par le modèle NLA, et l'utilisateur peut ensuite basculer entre différents points de discussion pour voir lesquels ont été trouvés dans sa réponse.

Les chercheurs ont réalisé qu'il existe de nombreux pièges potentiels lorsqu'il s'agit de signaler aux utilisateurs que leurs commentaires sont « bons », en particulier lorsque le modèle ne détecte qu'un ensemble limité de sujets.

Au lieu de cela, le système met le contrôle entre les mains de l'utilisateur, en utilisant uniquement l'apprentissage automatique pour aider les utilisateurs à découvrir comment s'améliorer.

Jusqu'à présent, l'outil a aidé un grand nombre de demandeurs d'emploi du monde entier avec d'excellents résultats, et l'équipe de développement l'a récemment étendu à l'Afrique et prévoit de continuer à travailler avec les demandeurs d'emploi, en itérant et en réalisant cela outil plus utile aux millions de personnes à la recherche d’un nouvel emploi.

L'évaluation du langage naturel (NLA) est un domaine de recherche techniquement difficile et intéressant.

NLA ouvre la voie à de nouvelles applications conversationnelles, favorisant l'apprentissage grâce à une évaluation nuancée et à l'analyse des réponses sous de multiples perspectives.

En travaillant avec la communauté, des demandeurs d'emploi et des entreprises aux enseignants et étudiants, NLA peut identifier les situations dans lesquelles NLA a le potentiel d'aider les utilisateurs à apprendre, à s'engager et à développer des compétences dans une variété de sujets, en créant des applications de manière responsable, Permet aux utilisateurs d’évaluer leurs capacités et de trouver des moyens de s’améliorer.

Référence : https://ai.googleblog.com/2022/10/natural-lingual-assessment-new.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!