Google untersucht eine neue NLU-Aufgabe „Natural Language Assessment'. Lassen Sie sich von der KI beim Aufwärmen vor dem formellen Vorstellungsgespräch helfen!

Man kann sagen, dass sich das „Fragenlösen“ durch das ganze Leben zieht, z. B. Prüfungsfragen, aber bei Fragen, die Interaktion erfordern, wie z. B. bei Vorstellungsgesprächen, ist es für eine Person schwierig, sie zu lösen.

Diese Art der Interaktion unterscheidet sich von gewöhnlichen Fragen und Antworten. Normalerweise muss der „Sparpartner“ Fragen in einer bestimmten Situation beantworten und den Benutzer zum Nachdenken anregen, um das endgültige Ziel zu erreichen.

Zum Beispiel wird der Interviewer nicht nur Fragen stellen, sondern Sie auch dabei anleiten, Ihr Verständnis des Problems und optionale Lösungen zum Ausdruck zu bringen. Solche Fragen können auch offen sein, wie zum Beispiel eine Selbstvorstellung.

Das ultimative Ziel der KI besteht darin, dass alles, was Menschen tun können, durch Modelle ersetzt werden kann, und diese Art von „Interviewtrainer“ bildet da keine Ausnahme.

Aber im aktuellen Bereich der Verarbeitung natürlicher Sprache wird dieser Fähigkeit nicht genügend Aufmerksamkeit geschenkt und sie ist technisch sehr anspruchsvoll.

Vor kurzem hat Google in seinem offiziellen Blog eine wichtige Funktion zum Verstehen natürlicher Sprache (NLU) vorgestellt, nämlich Natural Language Assessment (NLA), und diskutiert, wie sie im Bildungskontext hilfreich sein kann.

Typische NLU-Aufgaben konzentrieren sich auf die Absicht des Benutzers, während NLA die Bewertung der Antwort aus mehreren Perspektiven ermöglicht.

In Situationen, in denen Benutzer wissen möchten, wie gut ihre Antwort ist, kann NLA eine Analyse bereitstellen, wie nah die Antwort an den Erwartungen liegt.

In Situationen, in denen es möglicherweise keine „richtige“ Antwort gibt, kann NLA differenzierte Erkenntnisse liefern, einschließlich Aktualität, Relevanz, langwierige Fragen und mehr.

Die Forscher untersuchten NLA, schlugen ein praktisches Modell für die Durchführung aktueller NLA vor und zeigten, wie NLA verwendet werden kann, um Arbeitssuchenden beim Üben der Beantwortung von Interviewfragen zu helfen.

Überblick über die Bewertung natürlicher Sprache

Das Ziel von NLA besteht darin, die von Benutzern gegebenen Antworten anhand einer Reihe von Erwartungen zu bewerten.

Zum Beispiel gibt es ein NLA-System, das mit Schülern interagiert und die folgenden Komponenten umfasst:

• Stellen Sie dem Schüler eine Frage;
• Erwartungen definieren, was der Benutzer als Antwort erwartet. Zum Beispiel eine bestimmte Textantwort oder eine Reihe von Themen, die der Benutzer in der Antwort abdecken möchte, und die Antwort muss prägnant sein.
• Antworten von Studierenden;
• Bewertungsergebnisse. Einschließlich Korrektheit, fehlende Informationen, zu spezifische oder allgemeine Formulierungen, stilistisches Feedback, Aussprache usw.
• Optional: Kontext. Zum Beispiel ein Absatz in einem Buch oder Artikel.

Mit NLA können sowohl die Erwartungen an Antworten als auch die Bewertung der Antworten sehr weit gefasst sein, wodurch die Interaktionen zwischen Lehrern und Schülern ausdrucksvoller und detaillierter werden.

Fragen mit einer bestimmten richtigen Antwort

Auch wenn es eine eindeutig richtige Antwort gibt, kann die Antwort differenzierter bewertet werden als nur richtig oder falsch.

• Kontext: Harry Potter und der Stein der Weisen
• Frage: Was ist Hogwarts?
• Erwartung: Hogwarts ist eine Zauberschule
• Antwort): Ich bin mir nicht wirklich sicher, aber ich denke, es ist eine Schule.

Für das Frage- und Antwortsystem kann die obige Antwort aufgrund des Fehlens wichtiger Details als „magisch“ als falsch markiert werden, da der Benutzer denken wird, dass die Antwort nicht vollständig korrekt ist und wenig Sinn ergibt.

NLA kann ein detaillierteres Verständnis liefern, z. B. die Feststellung, dass die Antwort eines Schülers zu allgemein ist und der Schüler sich der Antwort nicht sicher genug ist.

Diese differenzierte Beurteilung ist zusammen mit dem Erkennen der Unsicherheit, die die Schüler zum Ausdruck bringen, wichtig, um den Schülern dabei zu helfen, Fähigkeiten in Konversationskontexten aufzubauen.

Themenerwartungen

In vielen Fällen erwartet der Fragesteller keine konkrete Antwort.

Wenn einem Schüler beispielsweise eine Meinungsfrage gestellt wird und es keine konkreten Texterwartungen gibt, ist der Fragesteller mehr auf die Relevanz der Antwort und die Meinung bedacht. Vielleicht liegen auch die Prägnanz und die Fließfähigkeit der Antwort im Rahmen von die Einschätzung des Fragestellers.

• Frage: Bitte stellen Sie sich vor. (Erzählen Sie mir ein wenig über sich?)
• Erwartung: Eine Sammlung von Themen, die „Bildung“, „Erfahrung“, „Interesse“ usw. umfassen können.
• Antwort: Ich bin in Salinas, Kalifornien, aufgewachsen und bin später dort hingegangen Ich bin auf das Stanford College gegangen, habe Wirtschaftswissenschaften studiert, mich dann aber für die Technologiebranche begeistert, also habe ich als nächstes...

In diesem Fall würde eine nützliche Bewertungsausgabe die Antworten des Benutzers einer Teilmenge der behandelten Themen und möglicherweise Markierungen zuordnen für welche Textteile sich auf welches Thema beziehen.

Aus Sicht der Verarbeitung natürlicher Sprache ist dies eine Herausforderung, da die Antworten lang sein können, die Themen gemischt sein können und jedes Thema selbst vielschichtig sein kann.

Themen-NLA-Modell

Themen-NLA (Topicallity NLA) ist im Prinzip eine Standard-Mehrfachklassifizierungsaufgabe, und Entwickler können einen Klassifikator problemlos auf der Grundlage häufig verwendeter Modelle trainieren.

Aber für NLA stehen nur sehr wenige Trainingsdaten zur Verfügung und das Sammeln von Trainingsdaten für jede Frage und jedes Thema ist kostspielig und zeitaufwändig.

Die Lösung von Google besteht darin, jedes Thema in feinkörnige Komponenten zu zerlegen, die mithilfe großer Sprachmodelle (LLM) identifiziert werden können, und eine einfache allgemeine Optimierung durchzuführen.

Die Forscher ordneten jedes Thema einer Liste potenzieller Fragen zu und definierten, dass ein Satz, der eine Antwort auf eine dieser potenziellen Fragen enthielt, dieses Thema abdeckte.

Für das Thema Erfahrung kann das Model einige potenzielle Fragen auswählen, wie zum Beispiel:

• Wo arbeiten Sie?
• Was studierst du?
• ...

Unter dem Thema Interessen gibt es auch einige grundlegende Fragen, wie zum Beispiel

• Was interessiert dich?
• Was machst du gerne?
• ...

Diese grundlegenden Fragen werden durch einen iterativen manuellen Prozess entworfen.

Da diese Fragen feinkörnig genug sind, ist es wichtig, dass aktuelle Sprachmodelle die Semantik in diesen Sätzen erfassen können (z. B. den Unterschied zwischen Was und Wo), was es Entwicklern auch ermöglicht, einen Nullpunkt für NLA-Fachaufgaben bereitzustellen. Setup: Sobald das Modell einmal trainiert ist, können Sie kontinuierlich neue Fragen und neue Themen hinzufügen oder bestehende Themen anpassen, indem Sie den Grundinhalt ändern, ohne themenspezifische Daten zu sammeln.

Arbeitssuchende bei der Vorbereitung auf Vorstellungsgespräche unterstützen

Um die Anwendungsszenarien von NLA zu erkunden, arbeiteten Google-Entwickler auch mit Arbeitssuchenden zusammen, um ein neues Tool, Interview Warmup, zu entwickeln, um Nutzern in schnell wachsenden Berufen wie der IT zu helfen Support und User Experience Design Feldvorbereitung für Vorstellungsgespräche.

Auf der Website stehen zahlreiche Fragen zur Verfügung, und Arbeitssuchende können die Beantwortung von Fragen von Branchenexperten zu Hause üben, um sich in echten Vorstellungsgesprächen sicherer und wohler zu fühlen.

Google ließ sich auch von Arbeitssuchenden inspirieren und entwickelte eine NLA-Recherche, nachdem es die Schwierigkeiten im Vorstellungsgespräch erkannt hatte.

Interview Warmup bewertet oder beurteilt die Antworten nicht. Es bietet Benutzern lediglich eine Umgebung zum alleinigen Üben und hilft Benutzern, sich zu verbessern.

Jedes Mal, wenn ein Benutzer eine Interviewfrage beantwortet, wird die Antwort vom NLA-Modell Satz für Satz analysiert, und der Benutzer kann dann zwischen verschiedenen Gesprächsthemen wechseln, um zu sehen, welche in seiner Antwort gefunden wurden.

Die Forscher erkannten, dass es viele potenzielle Fallstricke gibt, wenn es darum geht, Benutzern zu signalisieren, dass ihr Feedback „gut“ ist, insbesondere wenn das Modell nur eine begrenzte Anzahl von Themen erkennt.

Stattdessen legt das System die Kontrolle in die Hände des Benutzers und nutzt ausschließlich maschinelles Lernen, um Benutzern dabei zu helfen, Verbesserungsmöglichkeiten zu finden.

Bisher hat das Tool einer großen Anzahl von Arbeitssuchenden aus der ganzen Welt mit großartigen Ergebnissen geholfen, und das Entwicklungsteam hat es kürzlich auf Afrika ausgeweitet und plant, weiterhin mit Arbeitssuchenden zusammenzuarbeiten, es zu iterieren und zu erstellen Tool hilfreicher für die Millionen von Menschen, die auf der Suche nach einem neuen Job sind.

Natural Language Assessment (NLA) ist ein technisch anspruchsvolles und interessantes Forschungsgebiet.

NLA ebnet den Weg für neue Konversationsanwendungen und fördert das Lernen durch differenzierte Bewertung und Analyse von Antworten aus mehreren Perspektiven.

Durch die Zusammenarbeit mit der Community, von Arbeitssuchenden und Unternehmen bis hin zu Klassenlehrern und Schülern, kann NLA Situationen identifizieren, in denen NLA das Potenzial hat, Benutzern beim Lernen, Engagement und der Entwicklung von Fähigkeiten in einer Vielzahl von Themen zu helfen und Anwendungen auf verantwortungsvolle Weise zu erstellen. Ermöglicht Benutzern, ihre Fähigkeiten einzuschätzen und Möglichkeiten zur Verbesserung zu finden.

Referenz: https://ai.googleblog.com/2022/10/natural-lingual-assessment-new.html

Das obige ist der detaillierte Inhalt vonGoogle untersucht eine neue NLU-Aufgabe „Natural Language Assessment'. Lassen Sie sich von der KI beim Aufwärmen vor dem formellen Vorstellungsgespräch helfen!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!