Inhaltsverzeichnis
Experiment
Heim Technologie-Peripheriegeräte KI Sie können „ohne übereinstimmende Daten' lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Sie können „ohne übereinstimmende Daten' lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Nov 20, 2023 am 11:54 AM
模型 训练

Multimodale Kontrastdarstellung (MCR) zielt darauf ab, Eingaben aus verschiedenen Modalitäten in einen semantisch ausgerichteten gemeinsamen Raum zu kodieren Erzielen Sie bei vielen nachgelagerten Aufgaben erhebliche Verbesserungen, diese Methoden basieren jedoch stark auf umfangreichen, qualitativ hochwertigen gepaarten Daten eine multimodale kontrastive Darstellungslernmethode, die keine gepaarten Daten erfordert und äußerst effizient im Training ist.

Bitte klicken Sie auf den folgenden Link, um das Papier anzuzeigen: https://arxiv.org/abs/2305.14381

C-MCR-Projekt-Homepage-Link: https://c-mcr.github.io /C- MCR/Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Modell- und Codeadresse: https://github.com/MCR-PEFT/C-MCR

Diese Methode verbindet verschiedene Voreinstellungen durch Pivot-Modalitäten, ohne gepaarte Daten zu verwenden Darstellungen lernten wir leistungsstarke audiovisuelle und 3D-Punktwolken-Textdarstellungen und erzielten SOTA-Ergebnisse bei mehreren Aufgaben wie audiovisuellem Abruf, Schallquellenlokalisierung und 3D-Objektklassifizierung.

Einführung

Multimodale kontrastive Darstellung (MCR) zielt darauf ab, Daten aus verschiedenen Modalitäten in einem einheitlichen semantischen Raum abzubilden. Mit dem großen Erfolg von CLIP im visuell-linguistischen Bereich ist das Erlernen kontrastiver Darstellungen zwischen mehr modalen Kombinationen zu einem heißen Forschungsthema geworden, das immer mehr Aufmerksamkeit auf sich zieht.

Die Generalisierungsfähigkeit bestehender multimodaler kontrastiver Darstellungen profitiert jedoch hauptsächlich von einer großen Anzahl hochwertiger Datenpaare. Dies schränkt die Entwicklung kontrastiver Darstellungen für Modalitäten, für die es an umfangreichen, qualitativ hochwertigen Daten mangelt, erheblich ein. Beispielsweise ist die semantische Korrelation zwischen Audio- und visuellen Datenpaaren oft nicht eindeutig, und gepaarte Daten zwischen 3D-Punktwolken und Text sind rar und schwer zu erhalten.

Wir haben jedoch beobachtet, dass diese Modalkombinationen, denen gepaarte Daten fehlen, häufig über eine große Menge hochwertiger gepaarter Daten mit demselben Zwischenmodus verfügen. Beispielsweise gibt es im audiovisuellen Bereich, obwohl die Qualität audiovisueller Daten unzuverlässig ist, eine große Menge hochwertiger gepaarter Daten zwischen Audiotext und Textvisuell.

Auch wenn die Verfügbarkeit von 3D-Punktwolken-Text-Paarungsdaten begrenzt ist, sind 3D-Punktwolken-Bild- und Bild-Text-Daten reichlich vorhanden. Diese Hub-Modi können weitere Verbindungen zwischen Modi herstellen.

Angesichts der Tatsache, dass Modalitäten mit einer großen Menge gepaarter Daten häufig bereits über vorab trainierte kontrastive Darstellungen verfügen, versucht dieser Artikel direkt, die kontrastiven Darstellungen zwischen verschiedenen Modalitäten über die Hub-Modalität zu verbinden und so eine bessere Darstellung für Modalitäten bereitzustellen, denen es an gepaarten Daten mangelt Daten. Kombinationen konstruieren neue kontrastierende Darstellungsräume.

Mit der Concatenated Multimodal Contrast Representation (C-MCR) können Sie durch überlappende Modi Verbindungen zu einer großen Anzahl vorhandener multimodaler Kontrastdarstellungen herstellen und so Ausrichtungsbeziehungen zwischen einem breiteren Spektrum von Modalitäten erlernen. Dieser Lernprozess erfordert keine gepaarten Daten und ist äußerst effizient.

C-MCR hat zwei wesentliche Vorteile:

Der Fokus liegt auf Flexibilität:

C-MCRs Fähigkeit liegt darin, Modalitätslernen bereitzustellen kontrastierende Darstellungen, denen direkte Paarungen fehlen. Aus einer anderen Perspektive behandelt C-MCR jeden vorhandenen multimodalen Kontrastdarstellungsraum als Knoten und überlappende Modalitäten als wichtige Hub-Modalitäten. Durch die Verbindung einzelner isolierter multimodaler Kontrastdarstellungsräume sind wir in der Lage um das erworbene multimodale Alignment-Wissen flexibel zu erweitern und ein breiteres Spektrum intermodaler Kontrastdarstellungen zu erschließen

2. Effizienz:

Da nur C-MCR Es ist notwendig, Verbindungen für die bestehende Darstellung aufzubauen Platz, sodass nur zwei einfache Mapper erlernt werden müssen und ihre Trainingsparameter und Trainingskosten äußerst niedrig sind.

In diesem Experiment haben wir Text als Drehscheibe verwendet, um die Darstellungsräume für visuellen Text (CLIP) und Text-Audio (CLAP) zu vergleichen und schließlich eine hochwertige visuelle Audio-Darstellung zu erhalten

Ähnlicherweise von Beim Vergleich der bildverbundenen Text-Visual- (CLIP) und der Visual-3D-Punktwolke (ULIP) zur Darstellung des Raums kann auch eine Reihe von 3D-Punktwolken-Text-Vergleichsdarstellungen erhalten werden

Methode

Abbildung 1 ( a) Der Algorithmusablauf von C-MCR wird vorgestellt (am Beispiel der Verwendung von Text zur Verbindung von CLIP und CLAP).

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Die Textdaten (überlappende Modalitäten) werden von den Textkodierern von CLIP bzw. CLAP in Textmerkmale kodiert:,.

Gleichzeitig wird eine große Menge ungepaarter Einzelmodaldaten in CLIP- bzw. CLAP-Räume codiert und bildet einen Bildspeicher und einen Audiospeicher.

Die semantische Verbesserung von Funktionen bezieht sich auf die Verbesserung und Optimierung von Funktionen, der Reihe nach um seine Fähigkeit zum semantischen Ausdruck zu verbessern. Durch die entsprechende Anpassung der Funktionen kann die auszudrückende Bedeutung genauer wiedergegeben werden, wodurch die Wirkung des Sprachausdrucks verbessert wird. Die Technologie zur semantischen Verbesserung von Merkmalen hat einen wichtigen Anwendungswert im Bereich der Verarbeitung natürlicher Sprache. Sie kann Maschinen dabei helfen, Textinformationen zu verstehen und zu verarbeiten und die Fähigkeiten der Maschine beim semantischen Verständnis und der semantischen Generierung zu verbessern. Wir können mit der Verbesserung der semantischen Informationen beginnen Darstellung, um die Robustheit und Vollständigkeit räumlicher Verbindungen zu verbessern. In diesem Zusammenhang untersuchen wir zunächst die beiden Perspektiven semantische Konsistenz und semantische Vollständigkeit. Intermodale semantische Konsistenz. CLIP und CLAP haben eine zuverlässige ausgerichtete Bild-Text- und Text-Audio-Darstellung gelernt.

Wir nutzen diese intrinsische Modalitätsausrichtung in CLIP und CLAP, um Bild- und Audiomerkmale zu generieren, die semantisch mit dem i-ten Text konsistent sind, was eine bessere Quantifizierung der Modalitätslücke im kontrastiven Darstellungsraum und eine direktere Mining-Korrelation zwischen nicht ermöglicht -überlappende Modalitäten:

Semantische Integrität innerhalb der Modalität

Unterschiedliche Darstellungsräume haben unterschiedliche Tendenzen für den semantischen Ausdruck von Daten, daher wird es in unterschiedlichen Räumen zwangsläufig zu semantischen Abweichungen kommen Verluste im Text. Diese semantische Tendenz wird bei der Verbindung von Repräsentationsräumen akkumuliert und verstärkt.

Um die semantische Vollständigkeit jeder Darstellung zu verbessern, schlagen wir vor, den Darstellungen Gaußsches Rauschen mit dem Mittelwert Null hinzuzufügen und sie auf die Einheitshypersphäre zu renormieren:

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

wie in Abbildung 1 gezeigt ( Wie in c ), im kontrastiven Darstellungsraum kann jede Darstellung als Darstellung eines Punktes auf der Einheitshypersphäre angesehen werden. Durch Hinzufügen von Gauß'schem Rauschen und Renormierung kann die Darstellung einen Kreis auf der Einheitskugel darstellen.

Je der räumliche Abstand zwischen zwei Merkmalen geringer ist, ist ihre semantische Ähnlichkeit höher. Daher haben die Features innerhalb des Kreises eine ähnliche Semantik und der Kreis kann die Semantik vollständiger darstellen

2. Ausrichtung von Inter-MCR

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Nach der Charakterisierung der semantischen Verbesserung verwenden wir zwei Mapper und Remapping CLIP und CLAP-Darstellungen in einen neuen gemeinsamen Raum

Der neue Raum erfordert die Sicherstellung, dass semantisch ähnliche Darstellungen aus verschiedenen Räumen nahe beieinander liegen.

(Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden), die aus demselben Text stammen, sind von Natur aus semantisch konsistent und können als echte Tag-Paare angesehen werden, während (Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,) aus (Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden) Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden stammen ) können als Pseudo-Label-Paare betrachtet werden. Die Semantik zwischen

(Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden) ist sehr konsistent, aber die daraus gelernten Verbindungen sind für audiovisuelle Medien indirekt. Obwohl die semantische Konsistenz des (Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden)-Paares weniger zuverlässig ist, ist sie für die audiovisuelle Darstellung direkter von Vorteil.

Um die beiden kontrastierenden Darstellungsräume umfassender zu verbinden, richten wir gleichzeitig (Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden) und (Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden) aus:

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

3 ment

Neben der Verbindung zwischen Räumen gibt es auch ein Modalitätslückenphänomen innerhalb des Kontrastdarstellungsraums. Das heißt, im kontrastiven Repräsentationsraum sind die Repräsentationen unterschiedlicher Modalitäten zwar semantisch ausgerichtet, aber auf völlig unterschiedliche Unterräume verteilt. Dies bedeutet, dass die stabileren Verbindungen, die von (Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden,Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden) gelernt wurden, möglicherweise nicht gut von audiovisuellen vererbt werden.

Um dieses Problem zu lösen, schlagen wir vor, die verschiedenen modalen Darstellungen jedes kontrastiven Darstellungsraums neu auszurichten. Insbesondere entfernen wir die Negativbeispiel-Ausschlussstruktur in der Kontrastverlustfunktion, um eine Verlustfunktion zur Reduzierung der Modalitätslücke abzuleiten. Eine typische kontrastive Verlustfunktion kann wie folgt ausgedrückt werden:

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Nachdem wir den negativen Paarabstoßungsterm eliminiert haben, kann die endgültige Formel wie folgt vereinfacht werden:

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Experiment

Experimentell verwenden wir Textverkettung Audio-Text-Raum (CLAP) und Text-Visual-Raum (CLIP), um audiovisuelle Darstellungen zu erhalten. Verwenden Sie Bilder, um den 3D-Punktwolken-Bildraum (ULIP) und den Bild-Text-Raum (CLIP) zu verketten, um 3D-Punktwolkentext zu erhalten Darstellung.

Die Ergebnisse des Zero-Sample-Audiobildabrufs auf AVE und Flickr-SoundNet sind wie folgt:

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Die Zero-Sample-Ergebnisse der Schallquellenlokalisierung auf MUSIC-Solo und VGGSS lauten wie folgt:

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Die Zero-Sample-Ergebnisse der kontrafaktischen Audiobilderkennung auf Ex-VGGSS und Ex-FlickrNet lauten wie folgt :

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Die Zero-Shot-3D-Punktwolken-Klassifizierungsergebnisse auf ModelNet40 lauten wie folgt:

Sie können „ohne übereinstimmende Daten lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden

Das obige ist der detaillierte Inhalt vonSie können „ohne übereinstimmende Daten' lernen! Die Universität Zhejiang und andere haben vorgeschlagen, die multimodale Kontrastdarstellung C-MCR zu verbinden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Apr 03, 2024 pm 12:04 PM

0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Apr 29, 2024 pm 06:55 PM

Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.

Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet. Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet. May 07, 2024 pm 05:00 PM

Kürzlich wurde die Militärwelt von der Nachricht überwältigt: US-Militärkampfflugzeuge können jetzt mithilfe von KI vollautomatische Luftkämpfe absolvieren. Ja, erst kürzlich wurde der KI-Kampfjet des US-Militärs zum ersten Mal der Öffentlichkeit zugänglich gemacht und sein Geheimnis gelüftet. Der vollständige Name dieses Jägers lautet „Variable Stability Simulator Test Aircraft“ (VISTA). Er wurde vom Minister der US-Luftwaffe persönlich geflogen, um einen Eins-gegen-eins-Luftkampf zu simulieren. Am 2. Mai startete US-Luftwaffenminister Frank Kendall mit einer X-62AVISTA auf der Edwards Air Force Base. Beachten Sie, dass während des einstündigen Fluges alle Flugaktionen autonom von der KI durchgeführt wurden! Kendall sagte: „In den letzten Jahrzehnten haben wir über das unbegrenzte Potenzial des autonomen Luft-Luft-Kampfes nachgedacht, aber es schien immer unerreichbar.“ Nun jedoch,

Die Kuaishou-Version von Sora „Ke Ling' steht zum Testen offen: Sie generiert über 120 Sekunden Videos, versteht die Physik besser und kann komplexe Bewegungen genau modellieren Die Kuaishou-Version von Sora „Ke Ling' steht zum Testen offen: Sie generiert über 120 Sekunden Videos, versteht die Physik besser und kann komplexe Bewegungen genau modellieren Jun 11, 2024 am 09:51 AM

Was? Wird Zootopia durch heimische KI in die Realität umgesetzt? Zusammen mit dem Video wird ein neues groß angelegtes inländisches Videogenerationsmodell namens „Keling“ vorgestellt. Sora geht einen ähnlichen technischen Weg und kombiniert eine Reihe selbst entwickelter technologischer Innovationen, um Videos zu produzieren, die nicht nur große und vernünftige Bewegungen aufweisen, sondern auch die Eigenschaften der physischen Welt simulieren und über starke konzeptionelle Kombinationsfähigkeiten und Vorstellungskraft verfügen. Den Daten zufolge unterstützt Keling die Erstellung ultralanger Videos von bis zu 2 Minuten mit 30 Bildern pro Sekunde, mit Auflösungen von bis zu 1080p und unterstützt mehrere Seitenverhältnisse. Ein weiterer wichtiger Punkt ist, dass es sich bei Keling nicht um eine vom Labor veröffentlichte Demo oder Video-Ergebnisdemonstration handelt, sondern um eine Anwendung auf Produktebene, die von Kuaishou, einem führenden Anbieter im Bereich Kurzvideos, gestartet wurde. Darüber hinaus liegt das Hauptaugenmerk darauf, pragmatisch zu sein, keine Blankoschecks auszustellen und sofort nach der Veröffentlichung online zu gehen. Das große Modell von Ke Ling wurde bereits in Kuaiying veröffentlicht.

See all articles