Der Tastsinn war noch nie so real! Zwei chinesische Doktoranden der University of Southern California entwickeln den Algorithmus „taktile Wahrnehmung' neu

Die Entwicklung der elektronischen Technologie ermöglicht es uns, jederzeit und überall ein „audiovisuelles Fest“ zu genießen, und das menschliche Hören und Sehen wurde vollständig befreit.

In den letzten Jahren hat sich das Hinzufügen von „taktiler Berührung“ zu Geräten nach und nach zu einem neuen Forschungsschwerpunkt entwickelt, insbesondere mit der Unterstützung des „Metaverse“-Konzepts wird das Hinzufügen von Berührungen zweifellos den Realismus der virtuellen Welt erheblich verbessern. .

Die aktuelle taktile Wahrnehmungstechnologie simuliert und rendert hauptsächlich Berührungen durch ein „datengesteuertes“ Modell. Das Modell zeichnet zunächst das Signal des Benutzers auf, der mit der realen Textur interagiert, und gibt das Signal dann in den Texturerzeugungsteil ein. und nutzt Vibration. Diese Methode „spielt“ die Berührungsempfindung für den Benutzer wieder.

Einige neuere Methoden basieren hauptsächlich auf interaktiven Bewegungen des Benutzers und hochfrequenten Vibrationssignalen, um Texturmerkmale wie Reibung und mikroskopische Oberflächenmerkmale zu modellieren.

Obwohl datengesteuert den Realismus der Simulation erheblich verbessert, gibt es immer noch viele Einschränkungen.

Zum Beispiel gibt es „unzählige Arten“ von Texturen auf der Welt. Wenn jede Textur aufgezeichnet würde, wären die erforderlichen Arbeitskräfte und materiellen Ressourcen unvorstellbar und könnten die Bedürfnisse einer Nische nicht erfüllen Benutzer.

Menschen reagieren sehr empfindlich auf die Wahrnehmung von Berührungen, und verschiedene Menschen haben unterschiedliche Gefühle für dasselbe Objekt. Der datengesteuerte Ansatz kann das Problem der Wahrnehmungsinkongruenz von der Texturaufzeichnung bis zur Texturwiedergabe nicht grundsätzlich beseitigen.

Kürzlich haben drei Doktoranden der Viterbi School of Engineering der University of Southern California ein neues „präferenzgesteuertes“ Modellrahmenwerk vorgeschlagen, das die Fähigkeit des Menschen nutzt, Texturdetails aufzulösen, um die erzeugte virtuelle Wahrnehmung anzupassen, und dies letztendlich auch kann Um eine möglichst realistische taktile Wahrnehmung zu erreichen, wurde das Papier in IEEE Transactions on Haptics veröffentlicht Dem Modell wird zunächst eine echte Touch-Textur gegeben, und das Modell verwendet Dutzende Variablen, um zufällig drei virtuelle Texturen zu generieren, aus denen der Benutzer dann diejenige auswählen kann, die sich dem realen Objekt am ähnlichsten anfühlt.

Durch kontinuierliches Ausprobieren und Feedback optimiert das Modell kontinuierlich die Verteilung von Variablen durch die Suche, wodurch die generierte Textur näher an den Präferenzen des Benutzers liegt. Diese Methode hat erhebliche Vorteile gegenüber der direkten Aufzeichnung und Wiedergabe von Texturen, da immer eine Lücke zwischen dem, was der Computer liest, und dem tatsächlichen Gefühl des Menschen besteht.

Dieser Prozess ähnelt tatsächlich „Partei A und Partei B“. Wenn wir als Wahrnehmende (Partei A) das Gefühl haben, dass sich die Berührung falsch anfühlt, rufen wir sie zurück und lassen den Algorithmus (Partei B) ) Ändern und regenerieren Sie es, bis der erzeugte Effekt zufriedenstellend ist.

Das ist eigentlich sehr vernünftig, denn verschiedene Menschen haben unterschiedliche Gefühle, wenn sie dasselbe Objekt berühren, aber das vom Computer ausgegebene Signal ist das gleiche, daher ist es notwendig, die Berührung an jede Person anzupassen!

Das gesamte System besteht aus zwei Modulen. Das erste ist ein Deep Convolutional Generative Adversarial Network (DCGAN), das zur Abbildung der Vektoren des latenten Raums auf das Texturmodell verwendet wird und auf dem UPenn Haptic Texture Toolkit trainiert wird ( HaTT).

Das zweite Modul ist ein vergleichsbasierter Evolutionsalgorithmus: Aus einer Reihe generierter Texturmodelle erstellt die Covariance Matrix Adaptation Evolution Strategy (CMA-ES) ein neues Texturmodell, das auf der Grundlage des Feedbacks der Benutzerpräferenzen weiterentwickelt wird.

Um echte Texturen zu simulieren, bitten Forscher die Benutzer zunächst, echte Texturen mit einem benutzerdefinierten Werkzeug zu berühren und dann eine Reihe virtueller Texturkandidaten mit einem haptischen Gerät zu berühren, wobei haptisches Feedback über einen mit dem Gerät verbundenen Haptuator übertragen wird Stift.

Das Einzige, was der Benutzer tun muss, ist, die virtuelle Textur auszuwählen, die der realen Textur am nächsten kommt, und eine einfache Schieberegler-Oberfläche zu verwenden, um das Ausmaß der Reibung anzupassen, da Reibung für das Texturgefühl entscheidend ist Kann auch von Person zu Person variieren.

Dann werden alle virtuellen Texturen gemäß der Evolutionsstrategie entsprechend der Auswahl des Benutzers aktualisiert, und dann wird der Benutzer erneut auswählen und anpassen.

Wiederholen Sie den obigen Vorgang, bis der Benutzer eine virtuelle Textur findet, die seiner Meinung nach der realen Textur nahe kommt, und diese speichert, oder bis keine nähere virtuelle Textur gefunden werden kann.

Die Forscher teilten den Bewertungsprozess in zwei Phasen mit jeweils einer separaten Teilnehmergruppe ein.

In der ersten Phase generierten und suchten fünf Teilnehmer virtuelle Texturen nach jeweils 5 realen Texturen.

Die zweite Stufe besteht darin, die Lücke zwischen der endgültig gespeicherten präferenzgesteuerten Textur (VTp) und der entsprechenden realen Textur (RT) zu bewerten.

Die Bewertungsmethode verwendet hauptsächlich die Adjektivbewertung, um Wahrnehmungsdimensionen wie Rauheit, Härte und Glätte zu bewerten.

Und vergleichen Sie die Ähnlichkeiten zwischen VTp, RT und datengesteuerten Texturen (VTd).

Die experimentellen Ergebnisse zeigen auch, dass Benutzer nach dem Evolutionsprozess effektiv ein virtuelles Texturmodell finden können, das realistischer ist als das datengesteuerte Modell.

Darüber hinaus waren mehr als 80 % der Teilnehmer der Meinung, dass die vom präferenzgesteuerten Modell generierten virtuellen Texturbewertungen besser seien als die vom datengesteuerten Modell.

Haptische Geräte werden in Videospielen, Modedesign und chirurgischen Simulationen immer beliebter, und selbst zu Hause sehen wir allmählich Benutzer, die haptische Geräte verwenden, die genauso beliebt sind wie Laptops.

Zum Beispiel wird das Hinzufügen von Touch zu Ego-Videospielen den Realitätssinn des Spielers erheblich verbessern.

Der Autor des Artikels erklärte, dass taktiles Feedback nur eine Form, ein sensorisches Feedback ist, wenn wir mit der Umgebung über Werkzeuge interagieren, und Audio ein weiteres sensorisches Feedback ist, die beide sehr wichtig sind.

Neben Spielen werden die Ergebnisse dieser Arbeit besonders nützlich für virtuelle Texturen sein, die in der zahnärztlichen oder chirurgischen Ausbildung verwendet werden und eine hohe Genauigkeit erfordern.

„Chirurgische Ausbildung ist absolut ein riesiges Feld, das sehr realistische Texturen und taktiles Feedback erfordert; Dekorationsdesign erfordert auch eine hochpräzise Simulation von Texturen während der Entwicklung und anschließenden Herstellung.“

Alles, von Videospielen bis hin zu Modedesign, integriert haptische Technologie, und bestehende virtuelle Texturdatenbanken können mit diesem Benutzerpräferenzansatz verbessert werden.

Mit dem Textursuchmodell können Benutzer auch virtuelle Texturen aus Datenbanken wie dem Tactile Texture Toolkit der University of Pennsylvania abrufen, die verfeinert werden können, bis sie die gewünschten Ergebnisse erhalten.

Sobald diese Technologie mit dem Textursuchmodell kombiniert wird, können Sie virtuelle Texturen verwenden, die zuvor von anderen aufgezeichnet wurden, und die Texturen dann basierend auf Strategien optimieren.

Der Autor stellt sich vor, dass Modelle in Zukunft möglicherweise nicht einmal echte Texturen benötigen.

Das Gefühl einiger alltäglicher Dinge in unserem Leben ist sehr intuitiv und wir sind darauf programmiert, unsere Sinne zu verfeinern, indem wir Fotos betrachten, ohne Bezug auf reale Texturen.

Wenn wir beispielsweise einen Tisch sehen, können wir uns vorstellen, wie er sich anfühlen wird, wenn wir ihn berühren. Mithilfe dieser Vorkenntnisse der Oberfläche können wir dem Benutzer visuelles Feedback geben und ihm ermöglichen, passende Inhalte auszuwählen .

Der Erstautor des Artikels, Shihan Lu, ist derzeit Doktorand an der School of Computer Science der University of Southern California. Er hat zuvor klangbezogene Arbeiten im Bereich immersiver Technologien durchgeführt Einführung passender Sounds, wenn Werkzeuge mit ihnen interagieren, wodurch virtuelle Texturen immersiver werden.

Der zweite Autor des Artikels, Mianlun Zheng, ist Doktorand an der School of Computer Science der University of Southern California. Er schloss sein Studium an der Wuhan University mit einem Bachelor- und einem Master-Abschluss ab.

​ ​

Das obige ist der detaillierte Inhalt vonDer Tastsinn war noch nie so real! Zwei chinesische Doktoranden der University of Southern California entwickeln den Algorithmus „taktile Wahrnehmung' neu. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!