Aktualisierter Point Transformer: effizienter, schneller und leistungsfähiger!-KI-php.cn

Originaltitel: Point Transformer V3: Simpler, Faster, Stronger

Papierlink: https://arxiv.org/pdf/2312.10035.pdf

Codelink: https://github.com/Pointcept/PointTransformerV3

Autor Einheit: HKU SH AI Lab MPI PKU MIT

Idee für die Abschlussarbeit:

Dieser Artikel zielt nicht darauf ab, Innovationen innerhalb des Aufmerksamkeitsmechanismus zu suchen. Stattdessen liegt der Schwerpunkt darauf, die Macht der Skalierung zu nutzen, um bestehende Kompromisse zwischen Genauigkeit und Effizienz im Kontext der Punktwolkenverarbeitung zu überwinden. Inspiriert von den jüngsten Fortschritten beim Lernen großräumiger 3D-Darstellungen erkennt dieser Artikel an, dass die Modellleistung stärker von der Skalierung als von der Komplexität des Designs abhängt. Daher wird in diesem Artikel Point Transformer V3 (PTv3) vorgeschlagen, bei dem Einfachheit und Effizienz Vorrang vor der Genauigkeit bestimmter Mechanismen haben, die nach der Skalierung weniger Einfluss auf die Gesamtleistung haben, z. B. Punktwolken, die in bestimmten Mustern organisiert sind, um KNNs zu ersetzen genaue Nachbarschaftssuche. Dieses Prinzip ermöglicht eine erhebliche Skalierung und erweitert das Empfangsfeld von 16 auf 1024 Punkte, während es gleichzeitig effizient bleibt (3x schnellere Verarbeitung und 10x mehr Speichereffizienz im Vergleich zum Vorgänger PTv2). PTv3 erzielt hochmoderne Ergebnisse bei mehr als 20 nachgelagerten Aufgaben, die Innen- und Außenszenarien abdecken. PTv3 bringt diese Ergebnisse mit weiteren Verbesserungen durch gemeinsames Training mit mehreren Datensätzen auf die nächste Ebene.

Netzwerkdesign:

Jüngste Fortschritte beim 3D-Darstellungslernen [85] haben Fortschritte bei der Überwindung von Datenskalenbeschränkungen bei der Punktwolkenverarbeitung durch die Einführung kollaborativer Trainingsmethoden für mehrere 3D-Datensätze gemacht. In Kombination mit dieser Strategie überbrückt ein effizientes Faltungs-Backbone [12] effektiv die Genauigkeitslücke, die typischerweise mit Punktwolkentransformatoren verbunden ist [38, 84]. Allerdings haben Punktwolkentransformatoren selbst aufgrund der Effizienzlücke von Punktwolkentransformatoren im Vergleich zu spärlichen Faltungen noch nicht vollständig von diesem Skalenvorteil profitiert. Diese Entdeckung bildete die ursprüngliche Motivation für diese Arbeit: die Entwurfsentscheidungen von Punkttransformatoren aus der Perspektive des Skalierungsprinzips neu abzuwägen. In diesem Artikel wird davon ausgegangen, dass die Modellleistung stärker von der Skalierung als vom komplexen Design beeinflusst wird.

Daher stellt dieser Artikel Point Transformer V3 (PTv3) vor, bei dem Einfachheit und Effizienz Vorrang vor der Genauigkeit bestimmter Mechanismen haben, um Skalierbarkeit zu erreichen. Solche Anpassungen haben nach der Skalierung vernachlässigbare Auswirkungen auf die Gesamtleistung. Insbesondere hat PTv3 die folgenden Anpassungen vorgenommen, um eine überlegene Effizienz und Skalierbarkeit zu erreichen:

Inspiriert von zwei jüngsten Fortschritten [48, 77] und der Erkenntnis der Skalierbarkeitsvorteile strukturierter unstrukturierter Punktwolken änderte PTv3 die traditionelle räumliche Nähe, die durch K-Nearest definiert wird Die Abfrage von Nachbarn (KNN) macht 28 % der Weiterleitungszeit aus. Stattdessen wird das Potenzial serialisierter Nachbarschaften in Punktwolken untersucht, die nach bestimmten Mustern organisiert sind.
PTv3 verwendet einen vereinfachten Ansatz, der speziell auf serialisierte Punktwolken zugeschnitten ist und komplexere Aufmerksamkeits-Patch-Interaktionsmechanismen wie Shift-Window (was die Fusion von Aufmerksamkeitsoperatoren behindert) und Nachbarschaftsmechanismen (was zu einem hohen Speicherverbrauch führt) ersetzt.
PTv3 eliminiert die Abhängigkeit von der relativen Positionskodierung, die 26 % der Vorlaufzeit ausmacht, und setzt stattdessen auf einfachere Front-End-Faltungsschichten mit geringer Dichte.

In diesem Artikel werden diese Entwürfe als intuitive Entscheidungen betrachtet, die auf Skalierungsprinzipien und Fortschritten bei bestehenden Punktwolkentransformatoren beruhen. Wichtig ist, dass dieser Artikel hervorhebt, wie wichtig es ist, zu verstehen, wie sich Skalierbarkeit auf das Backbone-Design auswirkt, und nicht auf das detaillierte Moduldesign.

Dieses Prinzip verbessert die Skalierbarkeit erheblich und überwindet den traditionellen Kompromiss zwischen Genauigkeit und Effizienz (siehe Abbildung 1). PTv3 bietet eine 3,3-mal schnellere Inferenz und eine 10,2-mal geringere Speichernutzung als sein Vorgänger. Noch wichtiger ist, dass PTv3 seine inhärente Fähigkeit nutzt, den Erfassungsbereich zu skalieren und sein Empfangsfeld von 16 auf 1024 Punkte zu erweitern und gleichzeitig die Effizienz beizubehalten. Diese Skalierbarkeit untermauert seine überlegene Leistung bei realen Wahrnehmungsaufgaben, wobei PTv3 bei mehr als 20 nachgelagerten Aufgaben in Innen- und Außenszenarien hochmoderne Ergebnisse erzielt. PTv3 verbessert diese Ergebnisse weiter, indem es seine Datengröße durch Training mit mehreren Datensätzen weiter erhöht [85]. Wir hoffen, dass die Erkenntnisse dieses Artikels zukünftige Forschungen in dieser Richtung inspirieren werden.