Technologie-Peripheriegeräte
KI
Wenn „Alles teilen' auf Bildreparatur trifft: Keine Feinmarkierung erforderlich, klicken Sie auf das Objekt, um das Objekt zu entfernen, den Inhalt zu füllen und die Szene zu ersetzen
Wenn „Alles teilen' auf Bildreparatur trifft: Keine Feinmarkierung erforderlich, klicken Sie auf das Objekt, um das Objekt zu entfernen, den Inhalt zu füllen und die Szene zu ersetzen
Anfang April veröffentlichte Meta das erste grundlegende Bildsegmentierungsmodell in der Geschichte – SAM (Segment Anything Model) [1]. Als Segmentierungsmodell verfügt SAM über leistungsstarke Funktionen und ist sehr benutzerfreundlich. Wenn der Benutzer beispielsweise einfach auf das entsprechende Objekt klickt, wird das Objekt sofort segmentiert und das Segmentierungsergebnis ist sehr genau. Mit Stand vom 15. April hat das GitHub-Repository von SAM eine Sternanzahl von 26.000.
Es ist entscheidend, wie man ein so leistungsstarkes „Alles aufteilen“-Modell sinnvoll nutzen und auf Anwendungsszenarien mit praktischerem Bedarf erweitern kann. Welche Funken werden beispielsweise entstehen, wenn SAM auf praktische Bildinpainting-Aufgaben (Image Inpainting) trifft?
Das Forschungsteam der University of Science and Technology of China und des Eastern Institute of Technology gab eine verblüffende Antwort. Basierend auf SAM schlugen sie das Modell „Inpaint Anything“ (IA) vor. Im Gegensatz zum herkömmlichen Bildreparaturmodell erfordert das IA-Modell keine detaillierten Vorgänge zum Generieren von Masken und unterstützt das Markieren ausgewählter Objekte mit einem Klick. IA kann alles entfernen (Remove Anything), alles füllen (Fill Anything), alles ersetzen deckt eine Vielzahl typischer Bildreparatur-Anwendungsszenarien ab, einschließlich Zielentfernung, Zielfüllung, Hintergrundersetzung usw.
...
- Obwohl aktuelle Bild-Inpainting-Systeme erhebliche Fortschritte gemacht haben, haben sie immer noch Schwierigkeiten bei der Auswahl von Maskenbildern und beim Füllen von Löchern. Basierend auf SAM versuchten Forscher erstmals eine maskenfreie Bildreparatur
- und entwickelten ein neues Paradigma der „Klick- und Füll“-Bildreparatur, das sie „Patching Everything“ (Inpaint Anything) (IA) nannten. Die Kernidee hinter IA besteht darin, die Vorteile verschiedener Modelle zu kombinieren, um ein leistungsstarkes und benutzerfreundliches Bildreparatursystem aufzubauen
. IA hat drei Hauptfunktionen: (i) Alles entfernen: Benutzer müssen nur auf das Objekt klicken, das sie entfernen möchten, und IA entfernt das Objekt, ohne eine Spur zu hinterlassen, wodurch eine effiziente „magische Beseitigung“ erreicht wird; Alles ausfüllen: Gleichzeitig kann der Benutzer IA über eine Textaufforderung (Textaufforderung) weiter mitteilen, was er in das Objekt füllen möchte, und IA steuert dann das eingebettete AIGC-Modell (AI-Generated Content) (z. B. Stable Diffusion). [2]) generiert entsprechende inhaltsgefüllte Objekte, um nach Belieben eine „Inhaltserstellung“ zu erreichen; (iii) Alles ersetzen: Der Benutzer kann auch klicken, um die Objekte auszuwählen, die beibehalten werden müssen, und Textaufforderungen verwenden, um IA mitzuteilen, was er möchte Sie können den Hintergrund des Objekts durch den angegebenen Inhalt ersetzen, um eine lebendige „Umwelttransformation“ zu erzielen. Der Gesamtrahmen von IA ist in der folgenden Abbildung dargestellt: Inpaint Anything (IA)-Diagramm. Benutzer können jedes Objekt im Bild auswählen, indem sie darauf klicken. Mithilfe leistungsstarker Bildverarbeitungsmodelle wie SAM [1], LaMa [3] und Stable Diffusion (SD) [3] ist IA in der Lage, ausgewählte Objekte reibungslos zu entfernen (d. h. „Alles entfernen“). Darüber hinaus kann der Benutzer durch die Eingabe von Textaufforderungen in IA das Objekt mit jedem gewünschten Inhalt füllen (d. h. „Fill Anything“) oder das Objekt des Objekts willkürlich ersetzen (d. h. „Replace Anything“).
Alles entfernen
Schematische Darstellung von „Alles entfernen“
Die Schritte für „Alles entfernen“ sind wie folgt:
- Schritt 1: Der Benutzer klickt auf das Objekt, das er entfernen möchte;
- Schritt 2: SAM segmentiert das Objekt;
- Schritt 3: Image Inpainting Model (LaMa) füllt das Objekt.
Fill Anything
Fill Anything-Diagramm, die im Bild verwendete Textaufforderung: ein Teddybär auf einer Bank
„Alles ausfüllen“ Die Schritte sind wie folgt:
- Schritt 1: Der Benutzer klickt auf das Objekt, das er entfernen möchte;
- Schritt 2: SAM segmentiert das Objekt;
- Schritt 3: Der Benutzer drückt seine Gedanken durch Text aus auszufüllen;
- Schritt 4: Das auf Textaufforderungen basierende Bild-Inpainting-Modell (Stabile Diffusion) füllt das Objekt basierend auf dem vom Benutzer bereitgestellten Text.
Alles ersetzen
Alles ersetzen-Diagramm, die im Bild verwendete Textaufforderung: ein Mann im Büro
Die Schritte „Alles ausfüllen“ lauten wie folgt:
- Schritt 1: Der Benutzer klickt auf das Objekt, das er entfernen möchte.
- Schritt 2: SAM segmentiert das Objekt.
- Schritt 3: Der Benutzer gibt den Hintergrund an, den er durch Text ersetzen möchte : Das auf Texteingabeaufforderungen basierende Bild-Inpainting-Modell (Stabile Diffusion) ersetzt den Hintergrund des Objekts basierend auf dem vom Benutzer bereitgestellten Text.
- Modellergebnisse
Alle Versuchsergebnisse entfernen
Alle Versuchsergebnisse ausfüllen
Textaufforderung: ein Kameraobjektiv in der Hand
Textaufforderung: ein Flugzeugträger auf dem Meer
Textaufforderung: ein Picasso-Gemälde an der Wand
Ersetzen Sie alle experimentellen Ergebnisse
Texteingabe: Auf der Schaukel sitzen
Texteingabe: Frühstück
Texteingabe: ein Bus, mitten auf einer Landstraße, Sommer
Textaufforderung: Kreuzung in der Stadt
Zusammenfassung
Die Forscher haben auf diese Weise ein interessantes Projekt entwickelt, um die Leistungsfähigkeit der Nutzung bestehender groß angelegter Modelle der künstlichen Intelligenz zu demonstrieren und das unbegrenzte Potenzial der „zusammensetzbaren KI“ aufzudecken. . Das vom Projekt vorgeschlagene Inpaint Anything (IA) ist ein multifunktionales Bildreparatursystem, das Objektentfernung, Inhaltsfüllung, Szenenersetzung und andere Funktionen integriert (weitere Funktionen sind in Vorbereitung, also bleiben Sie dran). IA kombiniert grundlegende visuelle Modelle wie SAM, Bildreparaturmodelle (wie LaMa) und AIGC-Modelle (wie Stable Diffusion), um eine benutzerfreundliche maskenlose Bildreparatur zu erreichen, und unterstützt gleichzeitig „Zum Löschen klicken, Füllen auffordern“ und andere humanisierte Operationen im „Narrenstil“. Darüber hinaus kann IA Bilder mit beliebigen Seitenverhältnissen und 2K-HD-Auflösung verarbeiten, unabhängig vom ursprünglichen Bildinhalt.
Projekt vollständig Open Source. Schließlich ist jeder willkommen, Inpaint Anything (IA) zu teilen und zu fördern, und ich freue mich darauf, weitere neue Projekte zu sehen, die auf IA basieren. In Zukunft werden Forscher das Potenzial von Inpaint Anything (IA) weiter erforschen, um praktischere neue Funktionen wie feinkörniges Ausschneiden, Bearbeiten usw. von Bildern zu unterstützen und es auf realere Anwendungen anzuwenden.
Das obige ist der detaillierte Inhalt vonWenn „Alles teilen' auf Bildreparatur trifft: Keine Feinmarkierung erforderlich, klicken Sie auf das Objekt, um das Objekt zu entfernen, den Inhalt zu füllen und die Szene zu ersetzen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1359
52
Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt
KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert
Jun 01, 2024 pm 10:03 PM
Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN
Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend
Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden
Apr 01, 2024 pm 07:46 PM
Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus
KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao
Apr 09, 2024 am 11:52 AM
KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.
Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen!
May 06, 2024 pm 04:13 PM
Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil
FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera
Apr 26, 2024 am 11:37 AM
Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren
DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch!
Mar 21, 2024 pm 05:21 PM
In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.
