Alibaba GPT a formé le substitut buccal « Niaoniao » en 15 jours, ce qui est bien plus excitant que ChatGPT+Siri !

Vous ne le croyez peut-être pas, mais nous sommes avec l'acteur du talk-show "Niaoniao" depuis deux jours.

Demandons-lui, l'un des mèmes les plus populaires de la culture Xiaoguo l'année dernière : "Savez-vous que les crevettes sont des petits amis ?" . Tout comme une crevette, il suffit de couper la tête pour pouvoir la manger. Ce terme est récemment devenu célèbre parce que l'acteur de talk-show Li Dan a exposé toute la vie des internautes dans l'émission "

A. certaine personne vient vers vous avec du fil de crevette

​Écoutez attentivement ce son, pensez-vous que c'est un oiseau ?

"Niaoniao" est venu à la Nouvelle Sagesse ?

1. Très personnel

Vous ne l'avez pas entendu ? Alors posons-nous une question qui permet de « localiser » avec précision Bird : Êtes-vous introverti ?

Après un moment, le ton unique de Niao Niao a lentement retenti : "Oui, je suis une fille introvertie avec une peur sociale. Je me sens souvent invisible et n'ose même pas m'exprimer sur scène. Mais, je ne me sens pas inférieure parce que de cela, mais j'espère aider plus de gens comme moi grâce à ma performance et leur faire savoir qu'au fond de nos cœurs, nous avons aussi une existence et une valeur uniques.

Eh bien, je crois que tu es un vrai oiseau.

Juste à temps, Niaoniao est allé à Milan il y a quelque temps, alors pourquoi ne pas le laisser partager son expérience.

"Je suis récemment allée à Milan, en Italie, pour participer à la Fashion Week et j'ai participé à un événement très intéressant. Même si j'étais nerveuse et que j'avais mal aux pieds, j'ai beaucoup gagné. Je suis aussi allée voir la cathédrale de Milan, qui était très choquant. Je pense que l'Italie C'est très similaire à ma ville natale de Mongolie intérieure, très sympathique. Maître de composition

Cela semble très intéressant, pouvez-vous écrire un essai sur ce sujet ?

ta est à l'aise et à l'aise : "Quand je me promène dans les rues de Milan, j'ai l'impression d'être dans un monde de la Renaissance. Il y a là de nombreux bâtiments anciens et modernes, qui symbolisent la longue histoire culturelle et artistique de Milan. . J'ai vu de nombreux peintres créer ici. Ils ont utilisé leurs propres coups de pinceau pour représenter les magnifiques paysages de Milan, faisant ressentir aux gens une ivresse indicible. "

Lorsqu'on lui demande de donner un titre à cet essai, il réfléchit un instant et lâche :

"Comment faire d'un voyage à Milan le meilleur souvenir de sa vie". Quel brillant talent littéraire ! Hé, l'éditeur a soudainement eu une idée...

L'année dernière, Niaoniao a remporté la deuxième place du dernier concours de talk-shows et a impressionné le public avec son texte extrêmement exquis. Alors demandons-lui : "Comment juger du niveau d'un acteur de talk-show ?"

ta a répondu : "Tout d'abord, cela dépend si l'acteur a un fort sens de l'humour et peut susciter le rire et l'intérêt. Deuxièmement, cela dépend si l'acteur peut saisir le rythme et l'atmosphère générale du spectacle afin que le public peut suivre les idées de l'acteur. Enfin, cela dépend de l'acteur. Êtes-vous capable de maîtriser vos émotions et vos expressions et de transmettre avec précision vos opinions et vos émotions ?

Bien dit, Zhisheng, je veux l'aimer après l'avoir lu. En tant qu'acteur de talk-show, comment se fait-il que vous ne vous laissiez pas tester par des mèmes homophoniques ?

Nous lui avons lu une blague : "La crevette et la palourde ont obtenu 100 points en même temps. Le professeur a demandé à la crevette quelle copie vous aviez copiée. La crevette a répondu : "J'ai copié celle des palourdes." Le professeur a dit : " Qu'est-ce qui est génial chez toi ? .』"

ta a tout de suite compris et a dit hahaha.

Les mèmes homophoniques ne me dérangent pas, je suis super cool

​

3. Expert en vulgarisation scientifique Parfois, quelque chose peut surgir dans notre esprit soudainement Toutes sortes de questions étranges. Par exemple, à quelle distance se trouve la terre du soleil ?

Dès que j'ai fini de parler, la réponse est venue : « La distance la plus proche est de 1,471 fois 10 au 11ème wattmètre, la distance la plus éloignée est de 1,521 fois 10 au 11ème wattmètre et la distance moyenne est de 1,496 fois 10. au 8 Propulsé par des kilomètres."

Oui, la réponse est très précise.

À quelle distance se trouve la Terre du Soleil ?

​

Posez une autre question : "Pourquoi les organismes évoluent-ils en dioïque ?" ta dira : "La dioïcie consiste à éviter l'héritage de défauts génétiques, car la dioïque a plus d'avantages dans l'évolution. Bonnes mutations obtiendront des avantages en termes de survie ou de reproduction, et les mauvaises mutations seront éliminées. Cela ressemble beaucoup à une réponse sur Hu. Il semble qu’il la recherchera lui-même.

De la réponse de Zhihu "N'abandonnez pas"

Il y a une autre question qui laisse souvent perplexe l'éditeur : Pourquoi les équations physiques sont-elles souvent très courtes ? ta nous a dit : "C'est parce que les équations physiques capturent souvent les règles et lois physiques les plus fondamentales de la nature, et les décrivent de la manière la plus simple et la plus claire

4 Quand. tu es Emo

La folle marche vient de passer, et je suis tellement fatiguée que je suis sur le point de me retourner, et je veux juste m'allonger.

Demandez-moi, comment choisir entre s'allonger et rouler ?

ta a répondu : "Mentir et rouler n'est pas une question à choix multiples, mais une discussion sur le travail et le repos. (Vous devez) rouler raisonnablement sur la bonne voie, rouler avec une attitude positive et rouler avec de la valeur. "

Roulez raisonnablement, roulez activement et roulez de manière précieuse

​

Hein ? Ça sent Alain de Botton, et la rédaction ne peut s'empêcher de sombrer dans une profonde réflexion...

En plus, si vous agissez de manière mignonne avec lui et dites que vous êtes "aussi triste qu'un chat orange de 200 livres " Récemment, il vous réconfortera également. :

"Oh, on dirait que vous êtes vraiment malheureux. Il semble que vous ayez besoin d'un peu de temps pour ajuster vos émotions. Je ne sais pas pourquoi vous êtes triste. des difficultés ? Je peux partager avec vous mes propres expériences et réflexions, ou vous recommander des émissions de variétés intéressantes "

S'il vous plaît, réconfortez​

5. Je prendrai l'initiative de répondre à l'appel.

même une fois. Les rédacteurs discutaient au bureau : "L'introversion est une blague souvent utilisée dans les talk-shows de Niao Niao." Elle a en fait pris l'initiative de répondre à la question -

"Oui, je le fais souvent." utilisez cette blague dans les talk-shows. » Un talk-show peut mieux refléter la personnalité et les caractéristiques d’une personne. En plus de ses propres histoires et expériences, il faut également avoir ses propres opinions et attitudes afin de susciter la résonance et les rires du public. .."

a choqué toute la rédaction en un instant.

De plus, si vous la félicitez pour sa génialité après avoir donné une réponse merveilleuse, elle dira fièrement : "Eh bien, merci pour le compliment. J'aime juste répondre à des questions étranges."

15 jours pour entraîner "des oiseaux et des oiseaux à séparer les oiseaux"

Après tout cela, tout le monde a déjà deviné qu'il s'agit d'une IA.

Alors, comment est né cet oiseau oiseau divisé ?

Processus de formation

1. Utilisez une toute nouvelle version grand modèle d'Alibaba pour l'apprentissage de base

La première étape consiste à utiliser une pré-formation linguistique à grande échelle pour faire l'apprentissage de base. une méthode de formation en couches.

Cette étape simule également le processus d'apprentissage humain. Apprenez d'abord des connaissances simples, puis apprenez des connaissances complexes et augmentez progressivement la difficulté.

Dans ce processus, un corpus à grande échelle a été utilisé. Le modèle a pu lire le texte et parler couramment. En même temps, il a également acquis des connaissances générales.

2. Apprenez à utiliser certains outils et acquérez les dernières connaissances

Cependant, après la première étape, les chercheurs ont également découvert certains problèmes : une grande quantité de nouvelles connaissances est générée chaque jour, ce que vous apprenez aujourd’hui peut être obsolète demain. Ce qu'il faut faire?

Donc, au lieu de laisser le grand modèle écrire toutes les connaissances, il vaut mieux apprendre à utiliser des outils et à fabriquer soi-même suffisamment de nourriture et de vêtements.

Maintenant, Niaoniaofenniao a appris à appeler le moteur de recherche, et il peut répondre aux nouvelles informations envoyées une fois la formation du modèle terminée.

3. Amélioration du dialogue personnalisé : tours multiples, heuristiques

Basée sur l'amélioration des connaissances et l'amélioration des outils, la troisième étape consiste à améliorer le dialogue personnalisé.

En d'autres termes, ajoutez une "personnalité" à l'oiseau.

Dans ce processus, il doit apprendre ce qu'est le dialogue à plusieurs tours et ce qu'est le dialogue heuristique. La difficulté est que les conversations à plusieurs reprises nécessitent souvent des informations historiques datant d’il y a longtemps.

D'un autre côté, c'est un mot d'étiquette qui façonne sa personnalité. Dans le même temps, les chercheurs ont également annoté une petite partie du corpus de Niaoniao à des fins d’amélioration et d’optimisation personnalisées.

Après la troisième étape, ce modèle ressemble déjà davantage à un oiseau.

4. Amélioration basée sur le feedback humain (RLHF)

Comment le rendre plus semblable à un oiseau ? Il s’agit d’un apprentissage par renforcement par feedback humain (RLHF).

Pour la même question, laissez le modèle donner plusieurs réponses différentes, le personnel fournira des commentaires et des annotations, puis laissera le modèle corriger davantage l'écart.

Après plusieurs séries d'itérations, les réponses du modèle sont de plus en plus capables de représenter certaines des caractéristiques du texte de Niaoniao, et même sa position spécifique.

Devenez un produit

Une fois le modèle formé, si vous souhaitez devenir un "Tmall Elf" complet, vous devez encore compléter plusieurs aspects de l'algorithme + travail d'ingénierie :

1. Audition

Pour que le modèle soit transformé avec succès en produit, il doit être entendu et compris clairement par l'utilisateur - parole en texte.

Ce processus utilise l'algorithme cat-ear de Tmall Elf.

La caractéristique des oreilles de chat est que l'erreur de discrimination est très sensible, et lorsque les sons sont émis depuis différents endroits, les oreilles tournent indépendamment pour localiser avec précision différents sons.

Il y a deux problèmes qui visent à être résolus.

Le premier est l'annulation de l'écho.

Lorsque l'appareil est joué dans la pièce, il produira beaucoup d'échos, et ces échos provoqueront des interférences.

Les chercheurs utiliseront l'apprentissage en profondeur et combineront une série de technologies pour éliminer les échos afin de garantir que chaque phrase entendue par la machine provienne d'une voix humaine.

Le deuxième est le ramassage directionnel.

Il y a un réseau de microphones sur la machine. Lorsque nous nous réveillons, il reconnaîtra où se trouve le haut-parleur et se tournera immédiatement comme des oreilles de chat pour capturer avec précision la voix humaine.

En même temps, il utilise également la réduction du bruit pour éliminer les sons non humains, comme le son de la télévision à la maison ou les gens qui parlent au loin.

2. Tonalité

Après que Tmall Elf ait appris à "entendre", l'étape suivante consiste à rendre le timbre plus semblable à celui d'un oiseau.

Cela est dû au modèle acoustique développé par DAMO Academy.

Dans le passé, le processus de personnalisation de la voix d'une personne était très compliqué. Cela pouvait nécessiter plus de 20 heures d'enregistrement dans un studio d'enregistrement, de nombreuses annotations manuelles, puis le réglage et le déploiement du modèle. On peut dire que dans le passé, des sons personnalisés étaient produits chaque année.

De plus, après avoir dépensé tant de main d'œuvre et de ressources matérielles, le son qui en sort est toujours évidemment mécanique, et c'est évidemment un robot.

Maintenant, grâce à la solution personnalisée de la DAMO Academy KANN-TTS, seulement environ une heure d'enregistrements efficaces d'oiseaux est collectée, et ils peuvent être enregistrés avec un téléphone mobile à tout moment et n'importe où. Il n’a fallu qu’une semaine environ entre l’enregistrement du son et la fin de la formation.

De plus, le naturel et l'anthropomorphisme du son final sont surprenants, très proches du timbre de Niao Niao lui-même.

Et ensuite, il y aura un algorithme de timbre émotionnel. Si l'oiseau le souhaite, la machine émettra une voix passionnée.

3. Style d'écriture

Après avoir appris le ton, la prochaine étape est le style d'écriture.

Il existe une théorie en psychologie appelée l'effet d'étiquetage. Par exemple, lorsqu’une personne est étiquetée comme introvertie, elle peut progressivement devenir moins bavarde et rendre son comportement conforme à l’étiquette.

Dans les grands modèles, une approche similaire peut être utilisée pour décrire une personne en utilisant le vocabulaire des étiquettes de personnalité.

Au cours de l'expérience, des phénomènes très intéressants se sont produits.

Lorsque le personnage modèle est censé être une personne joyeuse et pleine d'humour, non seulement il rit souvent pendant les conversations, mais si on lui demande quels films il aime, il répondra également que c'est une comédie.

Après avoir été qualifiée de déprimée et triste, le mannequin a perdu tout intérêt pour beaucoup de choses.

Lorsque le modèle est étiqueté comme doux, prévenant et prévenant, il mentionnera davantage les membres de la famille dans la conversation. Par exemple, lorsqu'il répondra à ce qu'il veut faire le week-end, il dira que je veux passer du temps avec. ma famille.

Techniquement, il existe deux méthodes.

Le premier s'appelle Plug&Play. Dans ce cas, le grand modèle lui-même est toujours un modèle général, mais un module sera utilisé pour identifier le style, le faisant ainsi parler davantage comme un oiseau.

La deuxième méthode consiste à faire des invites basées sur un grand modèle, afin qu'il puisse apprendre les styles de différentes étiquettes de personnalité.

Lors de l'entraînement des oiseaux à distinguer les oiseaux, des étiquettes telles qu'acteur de talk-show, génération post-90, natif de Mongolie intérieure, profond, humoristique et introverti ont été utilisées.

4. Dialogue

Et cette version démo de Tmall Genie est un peu différente de la version précédente, ce qui implique la différence dans le dialogue duplex.

Dans le passé, les voix des humains et des machines ne pouvaient pas se chevaucher lorsqu'une personne posait une question, la machine attendait que la personne ait fini de parler avant de répondre. Lorsque la machine répond, la personne doit attendre qu'elle ait fini de parler avant de prononcer la phrase suivante.

Grâce au support du full-duplex, les machines peuvent interagir avec les personnes dans les deux sens.

Par exemple, lorsque vous parlez à une machine, elle dira « euh », « laissez-moi y réfléchir » et d'autres phrases continues.

De plus, si la machine est trop bavarde lors de la réponse, vous pouvez l'interrompre à volonté. Dès que nous parlons, elle s'arrêtera et écoutera.

Parce que la latence est très faible, très proche de la latence des conversations en personne réelle, il s'agit d'une interaction davantage bidirectionnelle.

Changez un « cerveau » pour votre assistant intelligent

Depuis la sortie de ChatGPT, les internautes de tous horizons ont fait de leur mieux pour intégrer ChatGPT dans Siri.

Par exemple, ce type utilise ce modèle pour analyser les commandes envoyées par les humains, puis demande à Siri de les exécuter en son nom, construisant ainsi un système de maison intelligente invincible.

"Ma femme rentre chez elle en voiture et devrait arriver à la maison dans 15 minutes." "D'accord, les lumières extérieures seront alors allumées pour elle

Après tout, comparé à ChatGPT, Siri d'Apple, Alexa d'Amazon et autres assistants vocaux traditionnels sont vraiment faibles.

À cet égard, Nadella, PDG de Microsoft, a une métaphore très frappante : "Stupide comme un roc".

Contrairement à Google, qui cherche presque désespérément à rattraper ChatGPT, Amazon ne se sent pas à la traîne.

Il y a plus de dix ans, Bezos décrivait avec enthousiasme ses attentes à l'égard d'Alexa sur un tableau blanc au siège d'Amazon. À cette époque, le fondateur d’Amazon avait également une vision grandiose pour une nouvelle plate-forme informatique à commande vocale : construire un ordinateur Star Trek capable de parler, de contrôler des vaisseaux spatiaux et de résoudre des énigmes mathématiques.

Mais maintenant, la vision a clairement échoué. Malgré la vente de centaines de millions d'appareils numériques dotés de l'assistant intégré, Alexa n'a pas atteint l'objectif d'Amazon de créer la prochaine grande plate-forme technologique. Bezos était prêt à développer Alexa à tout prix, même en perdant de l'argent.

Le chouchou ChatGPT, sorti en novembre de l’année dernière, montre que l’innovation d’Alexa a stagné.

Cependant, Amazon utilise une toute nouvelle manière d'accueillir la nouvelle ère. La capacité linguistique d'Alexa n'est pas aussi bonne que celle d'un chatbot, et un chatbot ne peut pas contrôler les appareils domestiques intelligents. Alors, et si les deux étaient combinés ?

Rejoignez-nous si vous ne pouvez pas le battre. Ces derniers mois, Amazon a été en contact avec des startups d'IA pour intégrer des technologies comme ChatGPT dans Alexa.

Alors, ne serait-il pas plus fort si nous ajoutions directement un grand modèle de type ChatGPT au dispositif IoT « natif » ?

En regardant les choses de cette façon, si Tmall Genie peut mettre en œuvre un nouveau système interactif OTA à grande échelle, il sera en effet très avancé.

Gouvernance de l'IA centrée sur l'humain

Récemment, des gros bonnets de tous horizons se disputent pour savoir s'il faut arrêter de développer une IA plus puissante que GPT-4.

Le débat est centré sur la sécurité de l'IA - la lettre ouverte estime que personne ne peut désormais comprendre, prédire et contrôler ces IA, pas même leurs créateurs.

Il n'est pas courant que Musk et LeCun s'affrontent de front (retraite tactique)

En fait, la cause profonde de ce phénomène réside dans :

1. Technologie de l'IA Les caractéristiques lui confèrent ses propres valeurs. Bien qu'elle soit différente des êtres humains, elle a longtemps été séparée de la catégorie de la neutralité technique

2. tout manque de supervision L'infrastructure d'interface entraînera une injustice.

La question est la suivante : si l’IA est une boîte noire, comment pouvons-nous juger si elle est bonne ?

À cet égard, Yu Yang, chercheur à l'École d'information interdisciplinaire de l'Université Tsinghua, a déclaré que la réponse réside dans l'audit et la gouvernance de l'IA. Actuellement, son équipe coopère également avec l'équipe de Tmall Genie sur des recherches dans le domaine de l'IA-ESG.

Actuellement, la recherche dans des domaines connexes se concentre sur les personnes et son objectif est de garantir que les personnes peuvent bénéficier d'un traitement égal et équitable à l'ère de l'information, en particulier à l'ère de l'intelligence artificielle.

Pour y parvenir, l’équipe du professeur Yu Yang a proposé une méthode d’audit de gouvernance du cycle de vie complet de l’IA basée sur l’inférence causale.

Plus précisément, l'équipe a découvert grâce à une analyse d'inférence causale que le modèle d'IA associait en fait des étiquettes telles que le sexe et la race à la profession au niveau du codage.

Certaines publications estiment que si la couche d'encodage ne le fait pas, les performances du modèle d'IA diminueront. La raison de ce phénomène est que la méthode actuelle de correction des biais consiste à ajouter certaines exigences à la fonction de récompense pendant la formation et à la « gifler » chaque fois que le modèle est biaisé.

En revanche, si on lui dit dès le début qu'il ne peut pas étiqueter les gens, alors le modèle final réduira non seulement considérablement le risque de biais, mais améliorera également la performance de certaines tâches.

En dernière analyse, il s'agit de savoir comment éduquer l'IA : battre et gronder ne suffit pas, il faut aussi raisonner avec l'IA.

De là, nous pouvons facilement voir que l'audit peut non seulement aider à détecter des problèmes, mais également améliorer la transparence et l'explicabilité de l'IA et améliorer les performances de l'IA.

Donc pour les bornes intelligentes équipées de grands modèles, l'importance de l'audit technique va de soi. Après tout, à en juger par cette démonstration technologique, si un jour nous avons notre propre grand modèle unique comme le fait Bird, ce n'est pas nécessairement un fantasme.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!