Inhaltsverzeichnis
Experiment
Heim Technologie-Peripheriegeräte KI Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Apr 12, 2023 pm 06:55 PM
wifi 研究

In den letzten Jahren hat die menschliche Posenschätzung mithilfe von 2D- und 3D-Sensoren wie RGB-Sensoren, LiDARs oder Radar große Fortschritte gemacht, vorangetrieben durch Anwendungen wie autonomes Fahren und VR. Allerdings weisen diese Sensoren sowohl technisch als auch in der praktischen Anwendung einige Einschränkungen auf. Erstens sind die Kosten hoch und normale Familien oder kleine Unternehmen können sich LiDAR- und Radarsensoren oft nicht leisten. Zweitens sind diese Sensoren für den Alltags- und Haushaltsgebrauch zu stromhungrig.

Bei RGB-Kameras können enge Sichtfelder und schlechte Lichtverhältnisse schwerwiegende Auswirkungen auf kamerabasierte Methoden haben. Verdeckungen stellen ein weiteres Hindernis dar, das kamerabasierte Modelle daran hindert, vernünftige Posenvorhersagen in Bildern zu generieren. Besonders schwierig sind Innenaufnahmen, da Möbel oft Menschen blockieren. Darüber hinaus behindern Datenschutzbedenken den Einsatz dieser Technologien an nicht öffentlichen Orten, und viele Menschen zögern, in ihren Häusern Kameras zu installieren, um ihre Aktivitäten aufzuzeichnen. Aber im medizinischen Bereich müssen viele ältere Menschen aus Sicherheits-, Gesundheits- und anderen Gründen manchmal eine Echtzeitüberwachung mithilfe von Kameras und anderen Sensoren durchführen.

Kürzlich haben drei Forscher der CMU in der Arbeit „DensePose From WiFi“ vorgeschlagen, dass In einigen Fällen das WiFi-Signal verwendet werden kann als Ersatz für RGB-Bilder zur Wahrnehmung des menschlichen Körpers . Beleuchtung und Verdeckung haben kaum Einfluss auf WLAN-Lösungen für die Innenüberwachung. WLAN-Signale tragen zum Schutz der Privatsphäre bei und die benötigte Ausrüstung ist erschwinglich. Die wichtigste Erkenntnis ist, dass in vielen Haushalten WLAN installiert ist, sodass die Technologie möglicherweise ausgeweitet werden könnte, um die Gesundheit älterer Erwachsener zu überwachen oder verdächtiges Verhalten im Haushalt zu erkennen.

Papieradresse: https://arxiv.org/pdf/2301.00250.pdf

# 🎜🎜#

Das Problem, das der Forscher lösen möchte, ist in der ersten Zeile von Abbildung 1 unten dargestellt. Können bei 3 WLAN-Sendern und 3 entsprechenden Empfängern dichte menschliche Posenkorrespondenzen in einer überfüllten Umgebung mit mehreren Personen (vierte Reihe von Abbildung 1) erkannt und wiederhergestellt werden? Es ist zu beachten, dass viele WLAN-Router (z. B. TP-Link AC1750) über 3 Antennen verfügen, sodass in der Methode dieses Artikels nur 2 solcher Router benötigt werden. Jeder Router kostet etwa 30 US-Dollar, was bedeutet, dass die gesamte Einrichtung immer noch viel günstiger ist als LiDAR- und Radarsysteme.

Um den in der vierten Zeile von Abbildung 1 gezeigten Effekt zu erzielen, ließ sich der Forscher von der Deep-Learning-Architektur des Computer Vision inspirieren und schlug ein vor #🎜 🎜# Eine neuronale Netzwerkarchitektur, die eine dichte Posenschätzung basierend auf WLAN durchführen kann und in Szenen mit Okklusion und mehreren Personen eine dichte Posenschätzung nur unter Verwendung von WLAN-Signalen erreicht .

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Das linke Bild unten ist bildbasierte DensePose und das rechte Bild basiert auf WiFi DensePose.

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Quelle: Twitter @AiBreakfast#🎜🎜 ## 🎜🎜#Darüber hinaus ist es erwähnenswert, dass der Erst- und Zweitautor der Dissertation

beide Chinesen sind

. Jiaqi Geng, der Erstautor der Arbeit, erwarb im August letzten Jahres einen Master-Abschluss in Robotik an der CMU, und Dong Huang, der Zweitautor, ist jetzt leitender Projektwissenschaftler an der CMU. #? Körperoberfläche Die UV-Koordinaten erfordern drei Komponenten: Zuerst wird das ursprüngliche CSI-Signal (Kanalzustandsinformation, das das Verhältnis zwischen der gesendeten Signalwelle und der empfangenen Signalwelle angibt) durch Amplituden- und Phasenschritte bereinigt, dann das verarbeitete CSI Die Proben werden über ein Dual-Branch-Encoder-Decoder-Netzwerk in eine 2D-Feature-Map umgewandelt und dann in eine Architektur namens DensePose-RCNN eingespeist (die hauptsächlich das 2D-Bild in ein 3D-Modell des menschlichen Körpers umwandelt). UV-Karte. ​

Die ursprünglichen CSI-Samples sind verrauscht (siehe Abbildung 3 (b)). Darüber hinaus ignorieren die meisten WiFi-basierten Lösungen die CSI-Signalphase und konzentrieren sich auf die Amplitude des Signals (siehe Abbildung 3 (a)). Das Verwerfen von Phaseninformationen kann sich jedoch negativ auf die Modellleistung auswirken. Daher führt diese Studie eine Desinfektionsverarbeitung durch, um stabile Phasenwerte zu erhalten und CSI-Informationen besser nutzen zu können.

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Um die UV-Abbildung im räumlichen Bereich aus dem eindimensionalen CSI-Signal abzuschätzen, muss der Netzwerkeingang zunächst vom CSI-Bereich in den räumlichen Bereich umgewandelt werden. Dieser Artikel wird mithilfe des Modality Translation Network vervollständigt (wie in Abbildung 4 dargestellt). Nach einigen Vorgängen kann eine 3×720×1280-Szenendarstellung in der durch das WiFi-Signal erzeugten Bilddomäne erhalten werden.

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Nach Erhalt einer 3×720×1280-Szenendarstellung im Bildbereich verwendet diese Studie eine Netzwerkarchitektur ähnlich DensePose-RCNN, WiFi-DensePose RCNN, um UV-Karten des menschlichen Körpers vorherzusagen. Insbesondere in WiFi-DensePose RCNN (Abbildung 5) verwendet diese Studie ResNet-FPN als Rückgrat und extrahiert räumliche Merkmale aus der erhaltenen 3 × 720 × 1280-Bildmerkmalskarte. Die Ausgabe wird dann dem Regionsvorschlagsnetzwerk zugeführt. Um komplementäre Informationen aus verschiedenen Quellen besser nutzen zu können, enthält WiFi-DensePose RCNN außerdem zwei Zweige: DensePose Head und Keypoint Head. Anschließend werden die Verarbeitungsergebnisse zusammengeführt und in die Verfeinerungseinheit eingegeben.

Allerdings erfordert das Training des Modality Translation Network und des WiFi-DensePose RCNN-Netzwerks durch zufällige Initialisierung viel Zeit (ca. 80 Stunden). Um die Trainingseffizienz zu verbessern, wurde in dieser Studie ein bildbasiertes DensPose-Netzwerk auf ein WiFi-basiertes Netzwerk migriert (Einzelheiten siehe Abbildung 6).

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Die direkte Initialisierung eines WiFi-basierten Netzwerks mit bildbasierten Netzwerkgewichten kann nicht funktionieren. Daher wurde in dieser Studie zunächst ein bildbasiertes DensePose-RCNN-Modell als Lehrernetzwerk trainiert, und das Schülernetzwerk besteht aus Modalitäten Übersetzungsnetzwerk und WiFi-DensePose RCNN-Zusammensetzung. Der Zweck besteht darin, den Unterschied zwischen den vom Schülermodell und dem Lehrermodell generierten mehrschichtigen Feature-Maps zu minimieren.

Experiment

Die Ergebnisse von Tabelle 1 zeigen, dass die WiFi-basierte Methode einen sehr hohen AP@50-Wert von 87,2 erreichte, was zeigt, dass das Modell die ungefähre Position menschlicher Begrenzungsrahmen effektiv erkennen kann. AP@75 ist mit einem Wert von 35,6 relativ niedrig, was darauf hindeutet, dass die Details des menschlichen Körpers nicht perfekt geschätzt werden.

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Die Ergebnisse von Tabelle 2 zeigen, dass die Werte dpAP・GPS@50 und dpAP・GPSm@50 höher sind, die Werte dpAP・GPS@75 und dpAP・GPSm@75 jedoch niedriger. Dies zeigt, dass unser Modell die Pose des menschlichen Oberkörpers gut einschätzen kann, aber immer noch Schwierigkeiten hat, Details wie Gliedmaßen zu erkennen.

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Die quantitativen Ergebnisse in Tabelle 3 und Tabelle 4 zeigen, dass die bildbasierte Methode einen sehr hohen AP liefert als die WiFi-basierte Methode. Der Unterschied zwischen AP-m-Werten und AP-l-Werten WiFi-basierter Modelle ist relativ gering. Die Studie geht davon aus, dass dies darauf zurückzuführen ist, dass Personen, die weiter von der Kamera entfernt sind, weniger Platz im Bild einnehmen, was zu weniger Informationen über diese Objekte führt. Stattdessen enthält das WLAN-Signal alle Informationen über die gesamte Szene, unabhängig vom Standort des Motivs.

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Ganzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt

Das obige ist der detaillierte Inhalt vonGanzkörperverfolgung, keine Angst vor Okklusion, zwei Chinesen von der CMU haben eine DensePose basierend auf WiFi-Signalen erstellt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Was tun, wenn der HP-Drucker keine Verbindung zum WLAN herstellen kann - Was tun, wenn der HP-Drucker keine Verbindung zum WLAN herstellen kann Was tun, wenn der HP-Drucker keine Verbindung zum WLAN herstellen kann - Was tun, wenn der HP-Drucker keine Verbindung zum WLAN herstellen kann Mar 06, 2024 pm 01:00 PM

Wenn viele Benutzer HP-Drucker verwenden, wissen sie nicht, was zu tun ist, wenn der HP-Drucker keine Verbindung zum WLAN herstellen kann. Im Folgenden finden Sie Lösungen für das Problem, dass HP-Drucker keine Verbindung zum WLAN herstellen. Stellen Sie die Mac-Adresse des HP-Druckers so ein, dass er automatisch die Netzwerkkonfiguration ändert. Geben Sie das Kennwort ein, um eine Verbindung zum HP-Drucker herzustellen.

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle Jan 14, 2024 pm 07:48 PM

Large-Scale Language Models (LLMs) haben überzeugende Fähigkeiten bei vielen wichtigen Aufgaben bewiesen, darunter das Verständnis natürlicher Sprache, die Sprachgenerierung und das komplexe Denken, und hatten tiefgreifende Auswirkungen auf die Gesellschaft. Diese herausragenden Fähigkeiten erfordern jedoch erhebliche Schulungsressourcen (im linken Bild dargestellt) und lange Inferenzzeiten (im rechten Bild dargestellt). Daher müssen Forscher wirksame technische Mittel entwickeln, um ihre Effizienzprobleme zu lösen. Darüber hinaus wurden, wie auf der rechten Seite der Abbildung zu sehen ist, einige effiziente LLMs (LanguageModels) wie Mistral-7B erfolgreich beim Entwurf und Einsatz von LLMs eingesetzt. Diese effizienten LLMs können den Inferenzspeicher erheblich reduzieren und gleichzeitig eine ähnliche Genauigkeit wie LLaMA1-33B beibehalten

Warum kann ich unter Windows 10 keine WLAN-Verbindung herstellen? Warum kann ich unter Windows 10 keine WLAN-Verbindung herstellen? Jan 16, 2024 pm 04:18 PM

Wenn wir das Betriebssystem Win10 verwenden, um eine Verbindung zu einem drahtlosen WLAN-Netzwerk herzustellen, werden wir darauf hingewiesen, dass das WLAN-Netzwerk nicht verbunden werden kann und eingeschränkt ist. Für ein solches Problem können Sie meiner Meinung nach versuchen, Ihr eigenes Netzwerk im Netzwerk- und Freigabecenter zu finden und dann eine Reihe von Anpassungen vorzunehmen. Schauen wir uns die spezifischen Schritte an, um zu sehen, wie der Editor es gemacht hat. Warum kann Win10 keine Verbindung zum WLAN herstellen? Methode 1: 1. Klicken Sie mit der rechten Maustaste auf das WLAN-Symbol im Benachrichtigungsbereich am unteren Rand des Computerbildschirms und wählen Sie „Öffnen Sie die Netzwerk- und Interneteinstellungen“ und klicken Sie dann auf die Schaltfläche „Adapteroptionen ändern“. 2. Suchen Sie in der Popup-Netzwerkverbindungsoberfläche nach der drahtlosen Verbindung mit dem Namen „WLAN“, klicken Sie erneut mit der rechten Maustaste und wählen Sie „Schließen“ (oder „Deaktivieren“). 3. Warten Sie

Lösung für Win11, das WLAN nicht anzeigen kann Lösung für Win11, das WLAN nicht anzeigen kann Jan 29, 2024 pm 04:03 PM

WLAN ist für uns ein wichtiges Medium zum Surfen im Internet, aber viele Benutzer haben kürzlich berichtet, dass Win11 kein WLAN anzeigt, was sollen wir also tun? Benutzer können unter der Suchoption direkt auf den Dienst klicken und dann den Starttyp auswählen, um ihn auf „Automatisch“ zu ändern, oder links auf „Netzwerk und Internet“ klicken, um ihn auszuführen. Lassen Sie diese Website den Benutzern die Analyse des Problems, dass der Win11-Computer die WLAN-Liste nicht anzeigt, sorgfältig vorstellen. Methode 1 zur Analyse des Problems, dass die WLAN-Liste auf dem Win11-Computer nicht angezeigt werden kann: 1. Klicken Sie auf die Suchoption. 3. Dann ändern wir den Starttyp auf automatisch. Methode 2: 1. Drücken Sie win+i, um die Einstellungen einzugeben. 2. Klicken Sie links auf Netzwerk und Internet. 4. Anschließend

So lösen Sie das Problem, dass Sie in Win10 kein WLAN-Passwort eingeben können So lösen Sie das Problem, dass Sie in Win10 kein WLAN-Passwort eingeben können Dec 30, 2023 pm 05:43 PM

Es ist ein sehr deprimierendes Problem, das Passwort für Win10-WLAN nicht eingeben zu können. Öffnen Sie es einfach erneut oder starten Sie den Computer neu. Beeilen Sie sich und schauen Sie sich das an Ausführliches Lösungs-Tutorial. Win10 Wifi kann kein Passwort eingeben, Tutorial-Methode 1: 1. Wenn das Passwort nicht eingegeben werden kann, liegt möglicherweise ein Problem mit unserer Tastaturverbindung vor. Überprüfen Sie sorgfältig, ob die Tastatur verwendet werden kann. 2. Wenn wir die Tastatur zur Eingabe von Zahlen verwenden müssen, müssen wir auch prüfen, ob die Tastatur gesperrt ist. Methode 2: Hinweis: Einige Benutzer berichteten, dass der Computer nach Durchführung dieses Vorgangs nicht eingeschaltet werden konnte. Tatsächlich ist es nicht die Ursache dieser Einstellung, sondern das Problem des Computersystems selbst. Nach der Durchführung dieses Vorgangs hat dies keinen Einfluss auf den normalen Start des Computers und auch nicht auf das Computersystem

Was ist der Grund, warum die WLAN-Funktion nicht aktiviert werden kann? Anhang: So beheben Sie die WLAN-Funktion, die nicht aktiviert werden kann Was ist der Grund, warum die WLAN-Funktion nicht aktiviert werden kann? Anhang: So beheben Sie die WLAN-Funktion, die nicht aktiviert werden kann Mar 14, 2024 pm 03:34 PM

Heutzutage haben Mobiltelefone neben Daten und WLAN zwei Möglichkeiten, auf das Internet zuzugreifen, und OPPO-Mobiltelefone bilden da keine Ausnahme. Aber was sollen wir tun, wenn wir die WLAN-Funktion bei der Nutzung nicht einschalten können? Machen Sie sich noch keine Sorgen, Sie können dieses Tutorial genauso gut lesen, es wird Ihnen helfen! Was soll ich tun, wenn die WLAN-Funktion meines Telefons nicht aktiviert werden kann? Das kann daran liegen, dass es beim Einschalten des WLAN-Schalters zu einer leichten Verzögerung kommt. Bitte warten Sie 2 Sekunden, um zu sehen, ob er dauerhaft eingeschaltet ist. 1. Sie können versuchen, „Einstellungen > WLAN“ aufzurufen und den WLAN-Schalter erneut einzuschalten. 2. Bitte schalten Sie den Flugmodus ein/aus und versuchen Sie erneut, den WLAN-Schalter einzuschalten. 3. Starten Sie das Telefon neu und prüfen Sie, ob WLAN normal aktiviert werden kann. 4. Es wird empfohlen, nach der Datensicherung zu versuchen, die Werkseinstellungen wiederherzustellen. Wenn keine der oben genannten Methoden Ihr Problem löst, bringen Sie bitte das gekaufte Produkt mit

So lösen Sie das Problem, dass nach der Aktualisierung von Win11 keine WLAN-Verbindung hergestellt werden kann_So lösen Sie das Problem, dass nach der Aktualisierung von Win11 keine WLAN-Verbindung hergestellt werden kann So lösen Sie das Problem, dass nach der Aktualisierung von Win11 keine WLAN-Verbindung hergestellt werden kann_So lösen Sie das Problem, dass nach der Aktualisierung von Win11 keine WLAN-Verbindung hergestellt werden kann Mar 20, 2024 pm 05:50 PM

Das Windows 11-System ist derzeit das System, das die meiste Aufmerksamkeit erhält. Viele Benutzer haben ein Upgrade auf Win 11 durchgeführt. Viele Computervorgänge können erst abgeschlossen werden, nachdem eine Verbindung zum Internet hergestellt wurde. Was sollten Sie jedoch tun, wenn Sie nach dem Update auf Win keine Verbindung zum WLAN herstellen können? 11? Der Herausgeber informiert Sie weiter unten über die Lösung für das Problem, dass nach Win11 keine Verbindung zum WLAN hergestellt werden kann. 1. Öffnen Sie zunächst das Startmenü, geben Sie „Einstellungen“ ein und klicken Sie auf „Fehlerbehebung“. 2. Wählen Sie dann „Andere Fehlerbehebung“ und klicken Sie auf der rechten Seite der Internetverbindung auf „Ausführen“. 3. Schließlich hilft Ihnen das System automatisch bei der Lösung des Problems, dass keine Verbindung zum WLAN möglich ist.

Lösung für das Verschwinden des WLAN-Symbols auf einem Win11-Computer Lösung für das Verschwinden des WLAN-Symbols auf einem Win11-Computer Jan 07, 2024 pm 12:33 PM

Im neu aktualisierten Win11-System stellen viele Benutzer fest, dass sie das WLAN-Symbol nicht finden können. Aus diesem Grund haben wir Ihnen eine Lösung für das Verschwinden des WLAN-Symbols auf Win11-Computern bereitgestellt. Was tun, wenn das WLAN-Symbol auf einem Win11-Computer verschwindet: 1. Klicken Sie zunächst mit der rechten Maustaste auf die untere Taskleiste und dann auf „Taskleisteneinstellungen“. 2. Klicken Sie dann in der linken Taskleiste auf die Option „Taskleiste“. 3. Nach dem Herunterziehen können Sie den Benachrichtigungsbereich sehen und auf „Wählen Sie aus, welche Symbole in der Taskleiste angezeigt werden“ klicken. 4. Schließlich können Sie unten die Netzwerkeinstellungen sehen und den Schalter auf der Rückseite einschalten.

See all articles