Die Computer-Vision-Technologie steht vor einem großen Wandel

Wird sich Computer Vision wieder neu erfinden?

Ryad Benosman, Professor für Augenheilkunde an der University of Pittsburgh und außerordentlicher Professor am CMU Robotics Institute, glaubt, dass dies tatsächlich der Fall ist. Als einer der Begründer der ereignisbasierten Vision-Technologie erwartet Benosman, dass neuromorphes Sehen – Computer Vision basierend auf ereignisbasierten Kameras – die nächste Richtung in der Computer Vision sein wird.

„Computer Vision wurde viele Male neu erfunden“, sagte Benosman. „Ich habe gesehen, wie es mindestens zweimal neu erfunden wurde.“

Benosman verwies auf den Wandel von der Bildverarbeitung mit ein wenig Photogrammetrie zu geometriebasierten Methoden in den 1990er Jahren und dann auf die heutigen rasanten Fortschritte beim maschinellen Lernen. Trotz dieser Veränderungen basiert die moderne Computer-Vision-Technologie immer noch hauptsächlich auf Bildsensoren – Kameras, die Bilder erzeugen, die denen des menschlichen Auges ähneln.

Laut Benosman wird das Bilderfassungsparadigma die Innovation alternativer Technologien behindern, bis sie nicht mehr nützlich sind. Die Entwicklung von Hochleistungsprozessoren (z. B. GPUs) verzögert die Notwendigkeit, alternative Lösungen zu finden, und verlängert so diese Auswirkungen.

„Warum verwenden wir Bilder für Computer Vision? Das ist die Millionen-Dollar-Frage“, sagte er. „Wir haben keinen Grund, Bilder zu verwenden – es liegt einfach an der historischen Dynamik. Schon bevor es Kameras gab, hatten Bilder eine Dynamik.“ Im 15. Jahrhundert verwendeten Künstler raumgroße Geräte, um Bilder von Menschen oder Landschaften außerhalb eines Raums auf Leinwand zu zeichnen. Im Laufe der Jahre wurden die Gemälde durch Filme ersetzt, um die Bilder aufzuzeichnen. Innovationen wie die digitale Fotografie machten es schließlich einfach, dass Bildkameras zur Grundlage moderner Computer-Vision-Technologie wurden.

Allerdings glaubt Benosman, dass die auf Bildkameras basierende Computer-Vision-Technologie äußerst ineffizient ist. Sein Vergleich war das Verteidigungssystem einer mittelalterlichen Burg: Wächter, die um die Mauern herum postiert waren, hielten Ausschau nach herannahenden Feinden. Der Trommler schlug gleichmäßig, und bei jedem Schlag schrie jeder Wachmann laut heraus, was er sah. Wie leicht ist es, zu belauschen, wie ein Wachmann in all dem Trubel einen Feind am Rande eines fernen Waldes entdeckt?

Das Hardware-Äquivalent zu Trommelschlägen des 21. Jahrhunderts ist das elektronische Taktsignal, und die Wächter sind die Pixel. Es entstehen große Datenmengen, die in jedem Taktzyklus überprüft werden müssen, was zu einer großen Menge redundanter Informationen führt und somit viele unnötige Berechnungen erfordert.

„Die Menschen verbrauchen so viel Energie, dass sie die gesamte Rechenleistung des Schlosses in Anspruch nehmen, um sich selbst zu schützen“, sagte Benosman. Wenn ein interessantes Ereignis entdeckt wird – in dieser Analogie durch den Feind dargestellt – „muss man herumlaufen und nutzlose Informationen sammeln, überall schreien die Leute, also gibt es viel Bandbreite … Stellen Sie sich nun vor, Sie haben ein komplexes Schloss. All diese Leute.“ Alle müssen gehört werden.“

Betreten Sie Neuromorphic Vision. Die Grundidee ist von der Funktionsweise biologischer Systeme inspiriert, die darin besteht, Veränderungen in der Szenendynamik zu erkennen, anstatt kontinuierlich die gesamte Szene zu analysieren. In unserer Burg-Analogie bedeutet das, die Wachen ruhig zu halten, bis sie etwas Interessantes sehen, und dann ihren Standort anzurufen, um Alarm zu schlagen. In elektronischer Form bedeutet das, einzelne Pixel bestimmen zu lassen, ob sie etwas Relevantes sehen.

„Pixel können selbst entscheiden, welche Nachricht sie senden sollen“, sagte Benosman.

„Anstatt Systeminformationen abzurufen, können sie nach aussagekräftigen Informationen suchen – Funktionen. Das macht den Unterschied.“

Das in Zusammenarbeit mit Sony entwickelte Prophesee DVS Sensor Evaluation Kit. Benosman ist Mitbegründer von Prophesee.

Dieser ereignisbasierte Ansatz kann im Vergleich zur Systemerfassung mit fester Frequenz viel Strom sparen und die Latenz reduzieren.

„Sie wollen etwas adaptiveres, und das ist es, was Ihnen die relativen Veränderungen [ereignisbasiertes Sehen] bieten – die adaptive Erfassungshäufigkeit“, sagte er. „Wenn man sich Amplitudenänderungen ansieht, erhalten wir viele Proben, wenn sich etwas sehr schnell bewegt. Wenn sich etwas nicht ändert, erhalten wir fast Null, also passen Sie Ihre Erfassungsfrequenz basierend darauf an.“ Die Dynamik der Szene. Das ist es, was es mit sich bringt. Deshalb ist es ein gutes Design.“

Benosman betrat das Gebiet des neuromorphen Sehens im Jahr 2000 mit der Überzeugung, dass fortschrittliches Computersehen niemals funktionieren würde, weil Bilder nicht der richtige Ansatz seien.

„Die größte Veränderung besteht darin, zu sagen, dass wir ohne Graustufen und ohne Bilder sehen können, was in den späten 2000er Jahren ketzerisch war – völlig ketzerisch“, sagte er.

Die von Benosman vorgeschlagene Technologie – die Grundlage der heutigen ereignisbasierten Sensorik – war so anders, dass Beiträge, die beim damals wichtigsten IEEE-Journal für Computer Vision eingereicht wurden, ohne Begutachtung abgelehnt wurden. Tatsächlich begann die Technologie erst mit der Entwicklung des Dynamic Vision Sensor (DVS) im Jahr 2008 an Dynamik zu gewinnen.

Neurowissenschaften inspiriert

Neuromorphe Technologie ist eine Technologie, die von biologischen Systemen inspiriert ist, einschließlich des ultimativen Computers: dem Gehirn und seinen Neuronen oder Rechenelementen. Das Problem ist, dass niemand vollständig versteht, wie Neuronen funktionieren. Obwohl wir wissen, dass Neuronen auf eingehende elektrische Signale, sogenannte Spikes, reagieren, haben Forscher Neuronen bis vor Kurzem als eher hastig beschrieben und angenommen, dass nur die Anzahl der Spikes von Bedeutung sei. Diese Hypothese hielt sich jahrzehntelang hartnäckig, aber neuere Arbeiten haben gezeigt, dass der Zeitpunkt dieser Spitzen absolut entscheidend ist und dass das Gehirn so strukturiert ist, dass es Verzögerungen bei diesen Spitzen erzeugt, um Informationen zu verschlüsseln.

Heutige Spike-Neuronale Netze simulieren die im Gehirn sichtbaren Spikes und sind vereinfachte Versionen der Realität – oft binäre Darstellungen von Spikes. „Ich bekomme eine 1, ich wache auf, ich rechne, ich schlafe“, erklärte Benosman. Die Realität ist viel komplexer. Wenn eine Spitze eintrifft, beginnt das Neuron, den Wert der Spitze im Laufe der Zeit zu integrieren; die Neuronen verlieren ebenfalls, was bedeutet, dass die Ergebnisse dynamisch sind. Darüber hinaus gibt es etwa 50 verschiedene Arten von Neuronen mit 50 verschiedenen Integrationsprofilen.

Aktuellen elektronischen Versionen fehlen integrierte dynamische Pfade, Konnektivität zwischen Neuronen sowie unterschiedliche Gewichtungen und Verzögerungen. „Das Problem ist, dass man nicht die ganze Komplexität nachahmen kann, um ein funktionierendes Produkt herzustellen, weil wir es nicht verstehen“, sagte er. „Wenn wir eine gute Theorie des Gehirns hätten, würden wir sie lösen. Das Problem ist, dass wir es einfach nicht wissen.“

Bensoman betreibt ein einzigartiges Labor, das sich dem Verständnis der Mathematik hinter kortikalen Berechnungen widmet, mit dem Ziel, neue zu schaffen Mathematische Modelle und deren Replikation in Siliziumgeräte. Dies beinhaltet die direkte Überwachung von Spitzen aus echten Netzhäuten.

Derzeit lehnt Bensoman die originalgetreue Replikation biologischer Neuronen ab und bezeichnet diesen Ansatz als veraltet.

„Die Idee, Neuronen in Silizium zu replizieren, entstand, weil die Leute sich Transistoren ansahen und einen Mechanismus sahen, der wie ein echtes Neuron aussah, also gab es am Anfang einige Überlegungen dahinter“, sagte er. „Wir haben keine Zellen; wir haben Silizium. Sie müssen Ihr Computersubstrat anpassen, nicht umgekehrt … Wenn ich weiß, was ich rechne, und den Chip habe, kann ich diese Gleichung optimieren und es umsetzen.“ zu den niedrigsten Kosten, dem geringsten Stromverbrauch und der geringsten Latenz für den Betrieb.“ Obwohl Systeme bereits kommerziell verfügbar sind, sind Fortschritte erforderlich, bevor vollständig menschenähnliches Sehen kommerziell genutzt werden kann.

Benosman sagt, dass die ursprünglichen DVS-Kameras „große, dicke Pixel“ hatten, weil die Komponenten rund um die Fotodiode selbst den Füllfaktor stark reduzierten. Während Investitionen in die Entwicklung dieser Kameras die Technologie beschleunigt haben, machte Benosman deutlich, dass die heutigen Vorfallkameras lediglich Verbesserungen der ursprünglichen Forschungsausrüstung aus dem Jahr 2000 darstellen. Die fortschrittlichsten DVS-Kameras von Sony, Samsung und Omnivision verfügen über winzige Pixel, die fortschrittliche Technologien wie 3D-Stacking integrieren und Rauschen reduzieren. Benosmans Sorge ist, ob die heute verwendeten Sensortypen erfolgreich skaliert werden können.

„Das Problem ist, dass man, sobald man die Pixelanzahl erhöht, viele Daten erhält, weil man immer noch sehr schnell ist“, sagte er. „Man könnte es wahrscheinlich immer noch in Echtzeit verarbeiten, aber man würde zu viele relative Änderungen durch zu viele Pixel erhalten. Das bringt im Moment alle um, weil sie das Potenzial sehen, aber sie haben nicht die richtigen Prozessoren, um es zu unterstützen.“

Dieses Prophesee-Kundenanwendungsbeispiel zeigt den Unterschied zwischen der Bildkamera (obere linke Ecke jedes Felds) und der DVS-Sensorausgabe.

Neuromorphe Allzweckprozessoren hinken ihren DVS-Kamera-Gegenstücken hinterher. Die Bemühungen einiger der größten Player der Branche (IBM Truenorth, Intel Loihi) dauern noch an. Der richtige Prozessor und der richtige Sensor seien eine unschlagbare Kombination, sagte Benosman.

„[Die heutigen DVS-]Sensoren sind extrem schnell, haben eine extrem niedrige Bandbreite und einen hohen Dynamikbereich, sodass Sie drinnen und draußen sehen können“, sagte Benosman. „Das ist die Zukunft. Wird es durchstarten? Auf jeden Fall.“

„Wer den Prozessor einbauen und den vollen Stack liefern kann, wird gewinnen, weil er unschlagbar sein wird“, fügte er hinzu.

Das obige ist der detaillierte Inhalt vonDie Computer-Vision-Technologie steht vor einem großen Wandel. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!