Dès la sortie de GPT-4, l'application mobile a été accessible. Vous pouvez télécharger des photos et des vidéos pour une interprétation en un clic. Elle a également servi de robot de questions-réponses pour la version américaine de Zhihu.

Cette nouvelle fonctionnalité basée sur GPT-4 s'appelle Virtual Volunteer et est issue de l'application Be My Eyes.

GPT-4 vient de sortir, et il existe déjà des applications mobiles qui y accèdent !

Téléchargez simplement l'image et faites une demande vocale, GPT-4 peut aider les personnes malvoyantes à « voir clairement » le monde devant eux.

Interprétation en temps réel à tout moment et en tout lieu, aussi naturelle que discuter.

Par exemple, si vous souhaitez changer de vêtements, mais que vous ne connaissez pas la couleur des vêtements que vous avez en main :

Il vous suffit de prendre une photo et de la télécharger sur GPT-4, et elle le sera décrire rapidement la texture des vêtements, y compris le matériau, la couleur et la forme. Clair :

△Avant cela, en plus de toucher avec leurs mains, les personnes malvoyantes devaient souvent s'appuyer sur le l'aide de personnes de leur entourage ou de bénévoles pour identifier les objets.

Certains internautes ont fait l'éloge après l'avoir vu : c'est l'une des applications GPT-4 les plus étonnantes que j'ai jamais vues !

Alors, quelles capacités GPT-4, qui a ajouté des fonctions de compréhension d'image, montre-t-il ?

Construite sur la base des capacités de lecture d'images GPT-4

Cette nouvelle fonction basée sur GPT-4 s'appelle

Virtual Volunteer

, qui provient de l'application Be My Eyes. Actuellement, Virtual Volunteer connecté à GPT-4 peut aider les utilisateurs à accomplir des fonctions, notamment demander des directions, naviguer, lire des menus et effectuer des recherches.

Par exemple

demander son chemin

.

Il vous suffit de prendre une photo de l'emplacement, puis de demander à GPT-4 comment se rendre à l'emplacement désigné par la voix, et il affichera une carte d'itinéraire complète et la « lira » à l'utilisateur :

△Traduction par Youdao

Un autre exemple est la lecture d'images

Traduction

.

Il vous suffit de montrer à GPT-4 une description de l'article, ou même simplement la forme de l'objet, et il pourra rechercher et afficher la fonction, les instructions spécifiques et l'utilisation du produit.

△Traduit par Youdao

Un autre exemple est

Navigation dans les lieux publics

. Vous souhaitez aller à la salle de sport, mais vous ne pouvez pas connaître l'emplacement de l'équipement gratuit. Prenez simplement une photo de la scène et GPT-4 pourra vous guider vers l'équipement inoccupé.

△Traduction par Youdao

Bien sûr, vous pouvez également commander de la nourriture, utiliser des distributeurs automatiques pour acheter des boissons, rechercher le nom d'une certaine plante, donner des suggestions de mode...

Juste indiquez à GPT vos besoins -4, cela peut aider les personnes malvoyantes à résoudre les problèmes correspondants.

Cependant, cette fonctionnalité est encore en test. Vous pouvez rejoindre la liste d'attente dans l'Apple Store, et la version Android arrive bientôt.

L'application qui en est équipée, Be My Eyes, est une application caritative développée pour les personnes aveugles.

Elle a d'abord été créée en tant que communauté d'entraide en 2012, et a lancé la version iOS en 2015, puis a lancé la version Android.

Cette application est divisée en deux groupes : les bénévoles et les aveugles. Les bénévoles accepteront des photos ou des vidéos de personnes aveugles et les aideront à résoudre leurs difficultés par communication vocale (appels téléphoniques). Actuellement, il y a près de 450 000+ personnes malvoyantes et 630 000. + utilisation par les bénévoles.

Si vous devenez bénévole, il vous suffit de rester en ligne pour être sûr de pouvoir répondre à tout moment aux appels des personnes malvoyantes.

S'il est utilisé par des personnes malvoyantes, vous pouvez appeler le numéro de téléphone du bénévole lorsque vous avez besoin d'aide, ou demander l'aide de certains professionnels :

Désormais, après avoir rejoint Virtual Volunteer, les aveugles peuvent également appeler le « Virtual Volunteer » " Aide GPT -4, pas besoin de vous inquiéter que personne ne réponde à la question tard dans la nuit.

Le responsable a également joué un mème homophonique, AI→Eyes, "Let AI be your eye" :

Il sert également de version américaine du bot Zhihu Q&A

Bien sûr, en plus du Be My Eyes application, de nombreuses autres applications se précipitent également pour accéder à GPT-4.

Par exemple, sur Poe publié par la version américaine de Zhihu Quora, vous pouvez désormais discuter avec GPT-4 (limité à une phrase) :

Aimez aussi le logiciel d'avocat IA DoNotPay , il a également accédé à GPT-4 et prévoit de l'utiliser pour lancer un service de « contentieux en un clic ».

Grâce à ce service, si vous n'aimez pas les arnaques téléphoniques, vous pouvez signaler une réclamation en un seul clic.

Si vous recevez une arnaque téléphonique, il vous suffit de cliquer sur un bouton, et l'appel téléphonique correspondant sera enregistré dans son intégralité, et un procès de 1 000 mots sera généré pour réclamer une réclamation de 1 500 $ US. (Cependant, il n'est actuellement applicable qu'aux États-Unis)

Il convient de mentionner que le PDG de DoNotPay, Joshua Browder, a déclaré qu'ils avaient déjà utilisé GPT-3.5 pour effectuer des fonctions similaires, mais que l'effet n'est pas très bon, et GPT-4 est déjà très bon. Gardez cette exigence à l’esprit.

Certains internautes ont même essayé d'utiliser GPT-4 pour la découverte de médicaments...

En plus des applications et fonctions mentionnées ci-dessus, certains internautes ont remarqué les perspectives de développement de petits jeux avec GPT- 4.

Le nouveau GPT-4 semble avoir amélioré la fiabilité de la programmation, qu'il s'agisse de réaliser une partie de tennis de table en 60 secondes :

ou de réaliser un serpent complet en 20 minutes :

Cela peut être a déclaré que c'est facile à faire et que la demande de modification peut être complétée à temps. Il n'y a fondamentalement aucun bug qui doit être modifié dans les programmes simples écrits.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!