4. Verbesserung basierend auf menschlichem Feedback (RLHF)
Wie kann man es einem Vogel ähnlicher machen? Es handelt sich um verstärkendes Lernen durch menschliches Feedback (RLHF).
Lassen Sie das Modell für dieselbe Frage mehrere unterschiedliche Antworten geben, die Mitarbeiter geben Feedback und Anmerkungen und lassen Sie das Modell dann die Abweichung weiter korrigieren.
Nach mehreren Iterationsrunden sind die Antworten des Modells zunehmend in der Lage, einige von Niaoniaos Textmerkmalen und sogar ihre spezifische Haltung darzustellen.
Werden Sie ein Produkt
Wenn Sie nach dem Training des Modells ein vollständiger „Kleiner Elf“ werden möchten, müssen Sie noch mehrere Aspekte der Algorithmus- und Ingenieurarbeit abschließen:
1. Hören
Damit das Modell erfolgreich in ein Produkt umgewandelt werden kann, muss es vom Benutzer deutlich gehört und verstanden werden – Sprache in Text.
Dieser Prozess nutzt den Cat-Ear-Algorithmus von Tmall Elf.
Das Merkmal von Katzenohren ist, dass der Unterscheidungsfehler sehr empfindlich ist. Wenn Geräusche von verschiedenen Orten ausgehen, drehen sich die Ohren unabhängig voneinander, um verschiedene Geräusche genau zu lokalisieren.
Es gibt zwei Probleme, deren Lösung im Mittelpunkt steht.
Die erste Möglichkeit ist die Echounterdrückung.
Wenn das Gerät im Raum gespielt wird, erzeugt es viele Echos, die Störungen verursachen.
Forscher werden Deep Learning nutzen und eine Reihe von Technologien kombinieren, um Echos zu eliminieren und sicherzustellen, dass jeder von der Maschine gehörte Satz von einer menschlichen Stimme stammt.
Die zweite Möglichkeit ist die Richtungsaufnahme.
Auf dem Gerät befindet sich ein Mikrofonarray. Wenn wir aufwachen, erkennt es, wo sich der Lautsprecher befindet, und dreht sich sofort wie Katzenohren, um die menschliche Stimme genau einzufangen.
Gleichzeitig nutzt es auch die Geräuschreduzierung, um nichtmenschliche Geräusche zu eliminieren, wie zum Beispiel den Ton des Fernsehers zu Hause oder Leute, die in der Ferne sprechen.
2. Ton
Nachdem Tmall Elf gelernt hat zu „hören“, besteht der nächste Schritt darin, die Klangfarbe eher einem Vogel anzupassen.
Dies ist auf das von der DAMO Academy entwickelte Akustikmodell zurückzuführen.
In der Vergangenheit war das Anpassen der Stimme einer Person sehr kompliziert. Es erforderte möglicherweise mehr als 20 Stunden Aufnahme in einem Aufnahmestudio, viele manuelle Anmerkungen und anschließende Modellabstimmung und -bereitstellung. Man kann sagen, dass in der Vergangenheit jedes Jahr individuelle Sounds produziert wurden.
Darüber hinaus ist der Klang, der dabei herauskommt, nach so viel Arbeitskraft und Materialaufwand immer noch offensichtlich mechanisch und es handelt sich offensichtlich um einen Roboter.
Jetzt werden mit der maßgeschneiderten Lösung der DAMO Academy KANN-TTS nur etwa eine Stunde gültige Vogelaufzeichnungen gesammelt, die jederzeit und überall mit einem Mobiltelefon aufgezeichnet werden können. Von der Tonaufnahme bis zum Abschluss des Trainings dauerte es nur etwa eine Woche.
Darüber hinaus sind die Natürlichkeit und der Anthropomorphismus des endgültigen Klangs überraschend, der dem Timbre von Niao Niao selbst sehr nahe kommt.
Und als nächstes wird es einen emotionalen Timbre-Algorithmus geben. Wenn der Vogel dazu bereit ist, wird die Maschine eine leidenschaftliche Stimme erzeugen.
3. Schreibstil
Nach dem Erlernen des Tons ist der nächste Schritt der Schreibstil.
In der Psychologie gibt es eine Theorie namens Labeling-Effekt. Wenn eine Person beispielsweise als introvertiert abgestempelt wird, kann es sein, dass sie nach und nach weniger gesprächig wird und ihr Verhalten der Etikette anpasst.
In großen Modellen kann ein ähnlicher Ansatz verwendet werden, um eine Person mithilfe des Vokabulars der Persönlichkeitsbezeichnungen zu beschreiben.
Während des Experiments traten einige sehr interessante Phänomene auf.
Wenn die Modelfigur ein fröhlicher und humorvoller Mensch sein soll, wird sie nicht nur oft bei Gesprächen lachen, sondern auf die Frage, welche Filme sie mag, auch antworten, dass es sich um eine Komödie handelt.
Nachdem das Model als deprimiert und traurig abgestempelt wurde, verlor es das Interesse an vielen Dingen.
Wenn das Model als sanft, rücksichtsvoll und rücksichtsvoll eingestuft wird, wird es im Gespräch häufiger Familienmitglieder erwähnen, wenn es zum Beispiel antwortet, was es am Wochenende unternehmen möchte meine Familie.
Technisch gesehen gibt es zwei Methoden.
Das erste heißt Plug&Play. In diesem Fall ist das große Modell selbst immer noch ein allgemeines Modell, aber ein Modul wird verwendet, um den Stil zu identifizieren, sodass es eher wie ein Vogel spricht.
Die zweite Methode besteht darin, Eingabeaufforderungen basierend auf einem großen Modell zu erstellen, damit die Stile verschiedener Persönlichkeitsbezeichnungen erlernt werden können.
Beim Training von Vögeln zur Unterscheidung von Vögeln wurden Bezeichnungen wie Talkshow-Schauspieler, Post-90er-Generation, Eingeborener der Inneren Mongolei, tiefgründig, humorvoll und introvertiert verwendet.
4. Dialog
Und diese Demoversion von Tmall Genie unterscheidet sich ein wenig von der vorherigen Version, was den Unterschied im Duplex-Dialog mit sich bringt.
Früher konnten sich die Stimmen von Menschen und Maschinen nicht überschneiden. Wenn eine Person eine Frage stellte, wartete die Maschine, bis die Person zu Ende gesprochen hatte, bevor sie antwortete. Wenn die Maschine antwortet, muss die Person warten, bis sie zu Ende gesprochen hat, bevor sie den nächsten Satz sagt.
Mit der Unterstützung von Vollduplex können Maschinen in beide Richtungen mit Menschen interagieren.
Wenn Sie beispielsweise mit einer Maschine sprechen, sagt sie „ähm“, „Lass mich darüber nachdenken“ und andere fortlaufende Sätze.
Wenn die Maschine während der Antwort zu gesprächig ist, können Sie sie nach Belieben unterbrechen. Sobald wir sprechen, stoppt sie und hört zu.
Da die Latenz sehr gering ist und der Latenz von Gesprächen mit echten Personen sehr nahe kommt, handelt es sich eher um eine wechselseitige Interaktion.
Ändern Sie ein „Gehirn“ für Ihren intelligenten Assistenten
Seit ChatGPT herauskam, haben Internetnutzer aus allen Gesellschaftsschichten ihr Bestes versucht, ChatGPT in Siri zu integrieren.
Zum Beispiel verwendet dieser Typ dieses Modell, um von Menschen gesendete Befehle zu analysieren, und lässt sie dann von Siri in seinem Namen ausführen und baut so ein unbesiegbares Smart-Home-System auf.
„Meine Frau fährt nach Hause und wird voraussichtlich in 15 Minuten nach Hause kommen.“
Im Vergleich zu ChatGPT, Apples Siri, Amazons Alexa und andere herkömmliche Sprachassistenten sind wirklich schwach.
In diesem Zusammenhang hat Microsoft-CEO Nadella eine sehr anschauliche Metapher: „Dumm wie ein Stein.“
Im Gegensatz zu Google, das fast verzweifelt versucht, mit ChatGPT gleichzuziehen, hat Amazon nicht das Gefühl, dass es hinterherhinkt.
Vor mehr als einem Jahrzehnt skizzierte Bezos aufgeregt seine Erwartungen an Alexa auf einem Whiteboard in der Amazon-Zentrale. Damals hatten die Gründer von Amazon auch große Visionen für eine neue sprachgesteuerte Computerplattform – den Bau eines Star Trek-Computers, der sprechen, Raumschiffe steuern und mathematische Rätsel lösen konnte.
Aber jetzt ist die Vision eindeutig gescheitert. Obwohl Alexa Hunderte Millionen digitaler Geräte mit integriertem Assistenten verkauft hat, hat es Amazons Ziel, die nächste große Technologieplattform zu schaffen, nicht erreicht. Bezos war um jeden Preis bereit, Alexa zu entwickeln und dabei sogar Geld zu verlieren.
Das beliebte ChatGPT, das im November letzten Jahres herauskam, zeigt, dass Alexas Innovation stagniert.
Amazon nutzt jedoch eine ganz neue Art, die neue Ära zu begrüßen. Die Sprachfähigkeiten von Alexa sind nicht so gut wie die eines Chatbots, und ein Chatbot kann keine Smart-Home-Geräte steuern. Was wäre also, wenn beides kombiniert würde?
Machen Sie mit, wenn Sie es nicht schaffen. In den letzten Monaten hat Amazon mit KI-Startups Kontakt aufgenommen, um Technologien wie ChatGPT in Alexa zu integrieren.
Wäre es also nicht stärker, wenn wir dem „nativen“ IoT-Gerät direkt ein ChatGPT-ähnliches großes Modell hinzufügen würden?
So gesehen: Wenn Tmall Genie ein neues interaktives OTA-System in großem Maßstab implementieren kann, wird es tatsächlich sehr weit fortgeschritten sein.
Menschenzentrierte KI-Governance
In letzter Zeit streiten sich Größen aus allen Gesellschaftsschichten darüber, ob die Entwicklung einer KI, die stärker als GPT-4 ist, eingestellt werden soll.
Der Schwerpunkt der Debatte liegt auf der Sicherheit von KI – der offene Brief geht davon aus, dass niemand diese KIs jetzt verstehen, vorhersagen und kontrollieren kann, nicht einmal ihre Schöpfer.
Es ist nicht üblich, dass Musk und LeCun einander frontal gegenüberstehen (taktischer Rückzug)
Tatsächlich liegt die Ursache dieses Phänomens in:
1. KI-Technologie Die Eigenschaften verleihen ihr eigene Werte, obwohl sie sich von der Kategorie der technischen Neutralität unterscheidet.
2 Jede mangelnde Überwachung der Schnittstelleninfrastruktur führt zu Ungerechtigkeit.
Die Frage ist: Wenn KI eine Blackbox ist, wie beurteilen wir dann, ob sie gut ist?
In diesem Zusammenhang sagte Yu Yang, ein Forscher der School of Interdisciplinary Information an der Tsinghua-Universität, dass die Antwort in der Prüfung und Steuerung der KI liege. Derzeit kooperiert sein Team auch mit dem Tmall Genie-Team bei der Forschung im Bereich AI-ESG.
Derzeit konzentriert sich die Forschung in verwandten Bereichen auf den Menschen und soll sicherstellen, dass Menschen im Informationszeitalter, insbesondere im Zeitalter der künstlichen Intelligenz, gleichberechtigt und fair behandelt werden können.
Um dies zu erreichen, schlug das Team von Professor Yu Yang eine auf kausaler Schlussfolgerung basierende Prüfmethode für die KI-Governance im gesamten Lebenszyklus vor.
Konkret stellte das Team durch kausale Inferenzanalyse fest, dass das KI-Modell auf der Codierungsebene tatsächlich Etiketten wie Geschlecht und Rasse mit Beruf verknüpft hat.
Einige Literaturstellen gehen davon aus, dass die Leistung des KI-Modells abnimmt, wenn die Codierungsschicht dies nicht tut. Der Grund für dieses Phänomen liegt darin, dass die derzeitige Methode zur Korrektur von Verzerrungen darin besteht, während des Trainings einige Anforderungen an die Belohnungsfunktion hinzuzufügen und diese zu „schlagen“, wenn das Modell voreingenommen ist.
Wenn wir ihm dagegen von Anfang an sagen, dass es keine Personen kennzeichnen kann, dann wird das endgültige Modell nicht nur das Risiko einer Verzerrung erheblich reduzieren, sondern auch die Leistung einiger Aufgaben verbessern.
Letztendlich geht es darum, wie man KI erzieht – schlagen und schimpfen allein reicht nicht aus, man muss auch mit KI argumentieren.
Daran können wir leicht erkennen, dass Auditing nicht nur dabei helfen kann, Probleme zu finden, sondern auch die Transparenz und Erklärbarkeit von KI erhöhen und die Leistung von KI verbessern kann.
Bei intelligenten Terminals, die mit großen Modellen ausgestattet sind, liegt die Bedeutung einer technischen Prüfung auf der Hand. Denn wenn wir eines Tages wie Bird ein eigenes, einzigartiges großes Modell haben, ist das, wenn wir nach dieser Technologiedemonstration urteilen, nicht unbedingt eine Fantasie.
