Technologie-Peripheriegeräte
KI
3D-Rekonstruktion von zwei Bildern in 2 Sekunden! Dieses KI-Tool ist auf GitHub beliebt, Netizens: Vergessen Sie Sora
3D-Rekonstruktion von zwei Bildern in 2 Sekunden! Dieses KI-Tool ist auf GitHub beliebt, Netizens: Vergessen Sie Sora
... gestartet wurde, belegte es den zweiten Platz auf der GitHub-Hotlist.
Ein
Internetnutzer hat tatsächlich getestet und zwei Fotos gemacht, um seine Küche wirklich zu rekonstruieren. Der gesamte Vorgang dauerte weniger als 2 Sekunden!
(Zusätzlich zu 3D-Karten können auch Tiefenkarten, Vertrauenskarten und Punktwolkenkarten bereitgestellt werden)
Dieser Freund war so schockiert, dass er sagte: Alle
Vergiss zuerst SoraNun, das ist es, was wir wirklich sehen und anfassen können.
Experimente zeigen, dass DUSt3R SOTA in den drei Aufgaben der Monokular-/Multiview-Tiefenschätzung und der relativen Posenschätzung erreicht.
Das „Manifest“ des Autorenteams(von der Aalto-Universität, Finnland + NAVER LABS Artificial Intelligence Research Institute European Branch) ist ebenfalls voller Schwung: Wir wollen die Welt nicht mehr schwer zu lösenden 3D-Visionen machen Aufgaben.
Also, wie geht das? 
(MVS) besteht der erste Schritt darin, die Kameraparameter, einschließlich interner und externer Parameter, zu schätzen.
Dieser Vorgang ist langweilig und mühsam, aber für die anschließende Triangulation von Pixeln im dreidimensionalen Raum unverzichtbar und ein untrennbarer Bestandteil fast aller MVS-Algorithmen mit besserer Leistung.Eserfordert keine vorherigen Informationen zur Kamerakalibrierung oder Blickwinkelposition und kann eine dichte oder uneingeschränkte 3D-Rekonstruktion beliebiger Bilder durchführen.Beim Studium dieses Artikels verfolgte das vom Autorenteam vorgestellte DUSt3R einen völlig anderen Ansatz.
Hier formuliert das Team das paarweise Rekonstruktionsproblem als Point-Plot-Regression und vereinheitlicht die monokularen und binokularen Rekonstruktionssituationen.
Wenn mehr als zwei Eingabebilder bereitgestellt werden, werden alle Punktbildpaare durch eine einfache und effektive globale Ausrichtungsstrategie in einem gemeinsamen Referenzrahmen dargestellt. Wie in der Abbildung unten gezeigt, gibt DUSt3R bei einer Reihe von Fotos mit unbekannten Kamerapositionen und intrinsischen Merkmalen eine entsprechende Reihe von Punktkarten aus, aus denen wir verschiedene geometrische Größen, die normalerweise schwer gleichzeitig abzuschätzen sind, direkt wiederherstellen können, wie z Kameraparameter, Pixelkorrespondenz, Tiefenkarte und vollständig konsistenter 3D-Rekonstruktionseffekt.(Der Autor erinnert daran, dass DUSt3R auch für ein einzelnes Eingabebild geeignet ist)
In Bezug auf die spezifische Netzwerkarchitektur basiert DUSt3R auf dem
Standard-Transformer-Encoder und -Decoder
, der beeinflusst wurde von CroCo
(durch Cross Eine Studie zum selbstüberwachten Vortraining für 3D-Sehaufgaben wurde von inspiriert und mithilfe eines einfachen Regressionsverlusts trainiert. 
(I1, I2) der Szene zunächst mit dem gemeinsamen ViT-Encoder auf siamesische -Art codiert.
Die resultierende Token-Darstellung (F1 und F2) wird dann an zwei Transformer-Decoder übergeben, die durch gegenseitige Aufmerksamkeit kontinuierlich Informationen austauschen.
Schließlich geben die beiden Regressionsköpfe zwei entsprechende Punktkarten und zugehörige Konfidenzkarten aus.
Der entscheidende Punkt ist, dass beide Punktdiagramme im gleichen Koordinatensystem des ersten Bildes dargestellt werden müssen.Mehrere Aufgaben wurden mit SOTA ausgezeichnet
Das Experiment bewertete zunächst die Leistung von DUSt3R bei der absoluten Posenschätzungsaufgabe für die Datensätze 7Scenes (7 Innenszenen) und Cambridge Landmarks (8 Außenszenen). Die Indikatoren sind Übersetzungsfehler und Rotation. Fehler (je kleiner der Wert, desto besser) .
Der Autor gab an, dass die Leistung von DUSt3R im Vergleich zu anderen vorhandenen Feature-Matching- und End-to-End-Methoden bemerkenswert ist.
Einige Internetnutzer antworteten darauf, dass dies bedeute, dass diese Methode dort keine „objektiven Messungen“ durchführe, sondern sich eher wie eine KI verhalte.
Außerdem sind einige Leute neugierig, 
ob die Methode noch funktioniert, wenn die Eingabebilder von zwei verschiedenen Kameras aufgenommen werden?
Einige Internetnutzer haben es tatsächlich versucht, und die Antwort ist
Ja
Portal:
[1] Papier https://arxiv.org/abs/2312.14132 
[2] Code https://github.com/naver/dust3r
Das obige ist der detaillierte Inhalt von3D-Rekonstruktion von zwei Bildern in 2 Sekunden! Dieses KI-Tool ist auf GitHub beliebt, Netizens: Vergessen Sie Sora. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1382
52
Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!
Apr 03, 2024 pm 12:04 PM
0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr
Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt
KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao
Apr 09, 2024 am 11:52 AM
KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.
Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend
Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen
May 03, 2024 pm 09:01 PM
Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist
KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert
Jun 01, 2024 pm 10:03 PM
Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN
Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen
Apr 29, 2024 pm 06:55 PM
Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.
Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen!
May 06, 2024 pm 04:13 PM
Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil
