Inhaltsverzeichnis
Keine zusätzliche Schulung erforderlich
Heim Technologie-Peripheriegeräte KI Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Apr 12, 2023 pm 05:31 PM
ai 模型

Dieser Artikel wird mit Genehmigung von AI New Media Qubit (öffentliche Konto-ID: QbitAI) nachgedruckt. Bitte wenden Sie sich für einen Nachdruck an die Quelle.

Jetzt ist es wirklich an der Zeit, im KI-Kreis mit der Handgeschwindigkeit zu konkurrieren.

Nein, Metas SAM wurde erst vor ein paar Tagen auf den Markt gebracht und einheimische Programmierer sind gekommen, um die Verbesserungen zu überlagern und Zielerkennung, Segmentierung und Generierung wichtiger visueller KI-Funktionen in einem zu integrieren!

Zum Beispiel können Sie basierend auf Stable Diffusion und SAM den Stuhl auf dem Foto nahtlos durch ein Sofa ersetzen:

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Auch das Ändern von Kleidung und Haarfarbe ist so einfach:

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Sobald das Projekt abgeschlossen ist veröffentlicht wurde, riefen viele Leute aus: Die Handgeschwindigkeit ist zu hoch!

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Jemand anderes sagte: Es gibt neue Hochzeitsfotos von Yui Aragaki und mir.

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Das Obige ist der Effekt von Gounded-SAM. Das Projekt hat 1,8.000 Sterne auf GitHub erhalten.

Einfach ausgedrückt handelt es sich um eine Zero-Shot-Vision-Anwendung, die nur Bilder eingeben muss, um Bilder automatisch zu erkennen und zu segmentieren.

Diese Forschung stammt vom IDEA Research Institute (Guangdong-Hong Kong-Macao Greater Bay Area Digital Economy Research Institute), dessen Gründer und Vorsitzender Shen Xiangyang ist.

Keine zusätzliche Schulung erforderlich

Grounded SAM besteht hauptsächlich aus zwei Modellen: Grounding DINO und SAM.

Unter diesen ist SAM (Segment Anything) ein Zero-Sample-Segmentierungsmodell, das Meta erst vor 4 Tagen eingeführt hat.

Es können Masken für alle Objekte in Bildern/Videos generiert werden, einschließlich Objekten und Bildern, die während des Trainingsprozesses nicht erschienen sind.

Indem SAM eine gültige Maske für jede Eingabeaufforderung zurückgibt, kann das Modell eine sinnvolle Maske unter allen Möglichkeiten ausgeben, selbst wenn die Eingabeaufforderung mehrdeutig ist oder auf mehrere Objekte verweist. Diese Aufgabe wird verwendet, um das Modell vorab zu trainieren und allgemeine nachgelagerte Segmentierungsaufgaben über Hinweise zu lösen.

Das Modell-Framework besteht hauptsächlich aus einem Bild-Encoder, einem Hinweis-Encoder und einem schnellen Masken-Decoder. Nach der Berechnung der Bildeinbettung ist SAM in der Lage, innerhalb von 50 Millisekunden eine Segmentierung basierend auf einer beliebigen Eingabeaufforderung im Web zu generieren.

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Die Erdung von DINO ist eine bestehende Errungenschaft dieses Forschungsteams.

Dies ist ein Zero-Shot-Erkennungsmodell, das Objektboxen und Beschriftungen mit Textbeschreibungen generieren kann.

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Nachdem Sie beides kombiniert haben, können Sie jedes Objekt im Bild anhand der Textbeschreibung finden und dann die leistungsstarken Segmentierungsfunktionen von SAM verwenden, um die Maske feinkörnig zu segmentieren.

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Zusätzlich zu diesen Funktionen Sie überlagern auch die Fähigkeit der stabilen Diffusion, der eingangs gezeigten steuerbaren Bilderzeugung.

Es ist erwähnenswert, dass Stable Diffusion zuvor ähnliche Funktionen erreichen konnte. Löschen Sie einfach die Bildelemente, die Sie ersetzen möchten, und geben Sie die Textaufforderung ein.

Dieses Mal kann Grounded SAM den Schritt der manuellen Auswahl einsparen und ihn direkt über die Textbeschreibung steuern.

Darüber hinaus werden in Kombination mit BLIP (Bootstrapping Language-Image Pre-training) Bildtitel generiert, Beschriftungen extrahiert und anschließend Objektboxen und Masken generiert.

Derzeit sind weitere interessante Funktionen in der Entwicklung.

Zum Beispiel einige Erweiterungen der Charaktere: Änderung der Kleidung, Haarfarbe, Hautfarbe usw.

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team


Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Die spezifische Verbrauchsmethode wurde auch auf GitHub angegeben. Das Projekt erfordert Python 3.8 oder höher, Pytorch 1.7 oder höher, Torchvision 0.8 oder höher und relevante Abhängigkeiten müssen installiert sein. Spezifische Inhalte finden Sie auf der GitHub-Projektseite.

Das Forschungsteam stammt vom IDEA Research Institute (Guangdong-Hong Kong-Macao Greater Bay Area Digital Economy Research Institute).

Öffentliche Informationen zeigen, dass das Institut eine internationale innovative Forschungseinrichtung für künstliche Intelligenz, digitale Wirtschaftsindustrie und Spitzentechnologie ist. Der ehemalige Chefwissenschaftler des Microsoft Asia Research Institute und der ehemalige Vizepräsident von Microsoft Global Intelligence Dr fungiert als Gründerperson und Vorsitzender.

Noch etwas

Für die zukünftige Arbeit von Grounded SAM hat das Team mehrere Perspektiven:

    Bilder automatisch generieren, um einen neuen Datensatz zu bilden
  • Leistungsstarkes Basismodell mit Segmentierungs-Vorschulung
  • Kooperieren mit (Chat- )GPT
  • Bilden Sie eine Pipeline, die automatisch Bildbeschriftungen, Boxen und Masken generiert und neue Bilder generieren kann.
Es ist erwähnenswert, dass viele der Teammitglieder dieses Projekts aktive Befragte im Bereich KI auf Zhihu sind. Diesmal beantworteten sie auch Fragen zu Grounded SAM auf Zhihu. Sie können eine Nachricht für Ratschläge hinterlassen

Einheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team

Das obige ist der detaillierte Inhalt vonEinheitliche visuelle KI-Funktionen! Automatisierte Bilderkennung und -segmentierung sowie kontrollierbare vinzentinische Bilder, erstellt von einem chinesischen Team. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Wie hört Uvicorn kontinuierlich auf HTTP -Anfragen ohne Serving_forver () an? Wie hört Uvicorn kontinuierlich auf HTTP -Anfragen ohne Serving_forver () an? Apr 01, 2025 pm 10:51 PM

Wie hört Uvicorn kontinuierlich auf HTTP -Anfragen an? Uvicorn ist ein leichter Webserver, der auf ASGI basiert. Eine seiner Kernfunktionen ist es, auf HTTP -Anfragen zu hören und weiterzumachen ...

Wie erstelle ich dynamisch ein Objekt über eine Zeichenfolge und rufe seine Methoden in Python auf? Wie erstelle ich dynamisch ein Objekt über eine Zeichenfolge und rufe seine Methoden in Python auf? Apr 01, 2025 pm 11:18 PM

Wie erstellt in Python ein Objekt dynamisch über eine Zeichenfolge und ruft seine Methoden auf? Dies ist eine häufige Programmieranforderung, insbesondere wenn sie konfiguriert oder ausgeführt werden muss ...

Wie kann die technische Fragen und Antworten in der Chatgpt -Ära auf Herausforderungen reagieren? Wie kann die technische Fragen und Antworten in der Chatgpt -Ära auf Herausforderungen reagieren? Apr 01, 2025 pm 11:51 PM

Die technische Q & A -Community in der Chatgpt -Ära: SegmentFaults Antwortstrategie Stackoverflow ...

Wie kann man mit dem Fehler in der Python-Multi-Process-Rohrkommunikation anmutig umgehen? Wie kann man mit dem Fehler in der Python-Multi-Process-Rohrkommunikation anmutig umgehen? Apr 01, 2025 pm 11:12 PM

Python Multi-Process-Rohrfehler "Pipe ist geschlossen"? Wenn Sie die Pipe-Methode in Pythons Multiprocessing-Modul für die Kommunikation über Eltern-Kind-Prozess verwenden, können Sie ...

Wie löse ich das Problem des fehlenden dynamischen Ladeninhalts beim Erhalten von Webseitendaten? Wie löse ich das Problem des fehlenden dynamischen Ladeninhalts beim Erhalten von Webseitendaten? Apr 01, 2025 pm 11:24 PM

Probleme und Lösungen, die bei der Verwendung der Anforderungsbibliothek zum Crawl -Webseitendaten auftreten. Wenn Sie die Anforderungsbibliothek verwenden, um Webseitendaten zu erhalten, begegnen Sie manchmal auf die ...

Wie kann man Go oder Rost verwenden, um Python -Skripte anzurufen, um eine echte parallele Ausführung zu erreichen? Wie kann man Go oder Rost verwenden, um Python -Skripte anzurufen, um eine echte parallele Ausführung zu erreichen? Apr 01, 2025 pm 11:39 PM

Wie kann man Go oder Rost verwenden, um Python -Skripte anzurufen, um eine echte parallele Ausführung zu erreichen? Vor kurzem habe ich Python verwendet ...

Was ist der Grund für die Umleitung von 404 Fehlern nach dem Anmelden bei Selen? Wie löst ich es? Was ist der Grund für die Umleitung von 404 Fehlern nach dem Anmelden bei Selen? Wie löst ich es? Apr 01, 2025 pm 10:54 PM

Lösung zum Umleiten von 404 -Fehlern nach der Simulationsanmeldung Bei der Verwendung von Selen für die Simulationsanmeldung stoßen wir häufig auf schwierige Probleme. � ...

See all articles