Fügen Sie Videos in einem Satz Spezialeffekte hinzu; die bisher umfassendste Karte des Insektengehirns

Verzeichnis:

1. Komponist: Kreative und kontrollierbare Bildsynthese mit zusammensetzbaren Bedingungen
2. Struktur- und inhaltsgesteuerte Videosynthese mit Diffusion. Modelle
3. Die Konnektom eines Insektengehirns
4. Unsicherheitsgesteuerte Dynamik für aktives Lernen interatomarer Potenziale
5. Kombinatorische Synthese für KI-gesteuerte Materialentdeckung
6. Maskierte Bilder sind kontrafaktische Beispiele für robuste Feinabstimmung
7. Ein Transformator passt für alle Verteilungen in Multi- Modale Diffusion im Maßstab
8. ArXiv Weekly Radiostation: NLP, CV, ML Weitere ausgewählte Artikel (mit Audio)

Aufsatz 1: Komponist: Kreative und kontrollierbare Bildsynthese mit zusammensetzbaren Bedingungen

• Autor: Lianghua Huang et al um die Steuerbarkeit von KI-Malmodellen zu verbessern, d. h. die von den Modellen erzeugten Bilder besser an die menschlichen Anforderungen anzupassen. Vor einiger Zeit hat ein Modell namens ControlNet diese Steuerbarkeit auf einen neuen Höhepunkt gebracht. Etwa zur gleichen Zeit erzielten auch Forscher von Alibaba und Ant Group Ergebnisse auf demselben Gebiet. Dieser Artikel ist eine detaillierte Einführung zu diesem Ergebnis.

Empfohlen:

Neue Ideen für die KI-Malerei: Inländisches Open-Source-Modell mit 5 Milliarden Parametern, das einen Sprung in der synthetischen Steuerbarkeit und Qualität erzielt.

Artikel 2: Struktur- und inhaltsgesteuerte Videosynthese mit Diffusionsmodellen

Autor: Patrick Esser et al

Papieradresse: https://arxiv.org/pdf/ 2302.0301 1 .pdf

• Zusammenfassung: Ich glaube, dass viele Menschen den Charme der generativen KI-Technologie bereits verstanden haben, insbesondere nachdem sie den AIGC-Ausbruch im Jahr 2022 erlebt haben. Die von Stable Diffusion repräsentierte Technologie zur Text-zu-Bild-Generierung war einst auf der ganzen Welt beliebt, und unzählige Benutzer strömten herbei, um ihre künstlerische Fantasie mithilfe von KI auszudrücken ...
• Im Vergleich zur Bildbearbeitung ist die Videobearbeitung eine Anspruchsvolleres Aufgabenproblem, das die Synthese neuer Aktionen erfordert, nicht nur die Änderung des visuellen Erscheinungsbilds, sondern auch die Wahrung der zeitlichen Konsistenz. Es gibt auch viele Unternehmen, die diesen Weg erkunden. Vor einiger Zeit hat Google Dreamix veröffentlicht, um das textbedingte Videodiffusionsmodell (VDM) auf die Videobearbeitung anzuwenden. Kürzlich hat Runway, ein Unternehmen, das an der Entwicklung von Stable Diffusion beteiligt war, ein neues künstliches Intelligenzmodell „Gen-1“ auf den Markt gebracht, das vorhandene Videos in neue umwandeln kann, indem es Textaufforderungen oder einen durch Referenzbilder festgelegten Stil anwendet .Video. Um beispielsweise „Menschen auf der Straße“ in „Tonpuppen“ zu verwandeln, ist nur eine Eingabezeile erforderlich.

Empfohlen: Spezialeffekte mit nur einem Satz oder einem Bild hinzufügen, die Firma Stable Diffusion hat mit AIGC einen neuen Streich gespielt.

Aufsatz 3: Das Konnektom eines Insektengehirns

Autor: MICHAEL WINDING et al

Aufsatzadresse: https://www.science.org/doi/10.1126/ science .add9330

• Zusammenfassung: Forscher haben den bisher fortschrittlichsten Atlas des Insektengehirns fertiggestellt, eine bahnbrechende Errungenschaft in der Neurowissenschaft, die Wissenschaftler einem echten Verständnis der Mechanismen des Geistes näher bringt.

  Ein internationales Team unter der Leitung der Johns Hopkins University und der University of Cambridge hat eine erstaunlich detaillierte Karte aller neuronalen Verbindungen im Gehirn einer Fruchtfliegenlarve erstellt, einen wissenschaftlichen Prototyp, der mit dem menschlichen Gehirnmodell vergleichbar ist. Die Forschung könnte die zukünftige Hirnforschung unterstützen und neue Architekturen für maschinelles Lernen inspirieren.

  

  Empfehlung: Die bisher vollständigste Insektengehirnkarte, die möglicherweise neue Architekturen für maschinelles Lernen inspiriert.

  Aufsatz 4: Unsicherheitsgesteuerte Dynamik für aktives Lernen interatomarer Potentiale

  • Autor: Maksim Kulichenko et al
  • Aufsatzadresse: https://www.nature.com/ Artikel /s43588-023-00406-5

  Zusammenfassung: Modelle des maschinellen Lernens (ML), wenn sie auf Datensätzen aus hochpräzisen Quantensimulationen trainiert werden, können genaue und effiziente interatomare Potentiale erzeugen. Aktives Lernen (AL) ist ein leistungsstarkes Werkzeug zur iterativen Generierung verschiedener Datensätze. Bei diesem Ansatz liefert das ML-Modell Unsicherheitsschätzungen und Vorhersagen für jede neue Atomkonfiguration. Wenn die Unsicherheitsschätzung einen bestimmten Schwellenwert überschreitet, wird die Konfiguration in den Datensatz aufgenommen.

  Kürzlich haben Forscher des Los Alamos National Laboratory in den Vereinigten Staaten eine Strategie entwickelt: Uncertainty-Driven Dynamics of Active Learning (UDD-AL), um sinnvoll erweiterte Trainingsdaten schneller zu entdecken und die Konfiguration festzulegen. UDD-AL modifiziert die potenziellen Energieoberflächen, die in Molekulardynamiksimulationen verwendet werden, um Bereiche des Konfigurationsraums zu unterstützen, in denen große Modellunsicherheiten bestehen. Die Leistung von UDD-AL wird an zwei AL-Aufgaben demonstriert. Die folgende Abbildung zeigt einen Vergleich der UDD-AL- und MD-AL-Methoden für den Glycin-Testfall.

  

  Empfohlen: Unsicherheitsgesteuerte Dynamik für aktives Lernen für automatische Probenahme.

  Aufsatz 5: Kombinatorische Synthese für KI-gesteuerte Materialentdeckung

  • Autor: John M. Gregoire et al
  • Aufsatzadresse: https://www.nature.com/ Artikel /s44160-023-00251-4

  Zusammenfassung: Synthese ist der Eckpfeiler des Experimentierens mit Festkörpermaterialien, und jede Synthesetechnik erfordert notwendigerweise die Änderung einiger Syntheseparameter, am häufigsten der Zusammensetzung und der Glühtemperatur. Unter kombinatorischer Synthese versteht man im Allgemeinen die automatisierte/parallele Materialsynthese zur Erstellung von Materialsammlungen mit systematischen Variationen eines oder mehrerer Syntheseparameter. Durch künstliche Intelligenz gesteuerte experimentelle Arbeitsabläufe stellen neue Anforderungen an die kombinatorische Synthese.

  Hier geben Caltech-Forscher einen Überblick über die kombinatorische Synthese und stellen sich eine Zukunft der beschleunigten Materialwissenschaft vor, die durch die gemeinsame Entwicklung von kombinatorischer Synthese und KI-Technologien vorangetrieben wird. und zehn Metriken zur Bewertung der Kompromisse zwischen verschiedenen Technologien festgelegt, die Geschwindigkeit, Skalierbarkeit, Umfang und Qualität abdecken. Diese Metriken helfen bei der Bewertung der Eignung einer Technologie für einen bestimmten Arbeitsablauf und veranschaulichen, wie Fortschritte in der kombinatorischen Synthese eine neue Ära der beschleunigten Materialwissenschaft einleiten werden. Im Folgenden sind die Syntheseindikatoren und jeweiligen Bewertungen der kombinierten Syntheseplattform aufgeführt.

  

  Empfohlen: Nature Synthesis Review: Kombinatorische Synthese für die durch künstliche Intelligenz gesteuerte Materialentdeckung.

  Aufsatz 6: Maskierte Bilder sind kontrafaktische Beispiele für eine robuste Feinabstimmung

  • Autor: Yao Xiao et al.
  • Papieradresse: https://arxiv.org/abs/2303.03052

  Zusammenfassung: Sun Yat-sen University Intelligenzkonvergenz Laboratory (HCP) hat fruchtbare Erfolge bei AIGC und multimodalen Großmodellen erzielt. In der jüngsten AAAI 2023 und CVPR 2023 wurden mehr als zehn Arbeiten ausgewählt, die zu den Spitzenreitern globaler Forschungseinrichtungen zählen. Eine der Arbeiten implementierte den Einsatz von Kausalmodellen, um die Kontrollierbarkeit und Generalisierung multimodaler großer Modelle beim Tuning deutlich zu verbessern – „Masked Images Are Counterfactual Samples for Robust Fine-tuning“.

  

  Empfehlung: Neuer Durchbruch im HCP-Labor der Sun Yat-sen-Universität: Aktualisierung multimodaler großer Modelle mit Kausalparadigma.

  Aufsatz 7: Ein Transformator passt alle Verteilungen in multimodaler Diffusion im Maßstab an

  • Autor: Fan Bao et al.
  • Aufsatzadresse: https://ml.cs. tsinghua .edu.cn/diffusion/unidiffuser.pdf

  Zusammenfassung: Dieses Papier schlägt ein probabilistisches Modellierungsframework UniDiffuser vor, das für Multimodalität entwickelt wurde, und übernimmt die transformatorbasierte Netzwerkarchitektur U-, die vom Team ViT vorgeschlagen wurde trainierte ein Modell mit einer Milliarde Parametern auf dem Open-Source-Bild- und Textdatensatz LAION-5B in großem Maßstab, wodurch ein zugrunde liegendes Modell eine Vielzahl von Generierungsaufgaben mit hoher Qualität erledigen konnte (Abbildung 1). Vereinfacht ausgedrückt kann es neben der unidirektionalen Textgenerierung auch mehrere Funktionen wie Bildgenerierung, gemeinsame Bild- und Textgenerierung, bedingungslose Bild- und Textgenerierung, Bild- und Textumschreibung usw. realisieren, was die Produktion erheblich verbessert Effizienz von Text- und Bildinhalten und verbessert die Generierung von Text und Grafiken weiter.

  

  Empfehlung: Das Team von Tsinghua Zhu Jun hat das erste große multimodale Diffusionsmodell auf Basis von Transformer als Open Source bereitgestellt, bei dem Text und Grafiken zusammenarbeiten und neu geschrieben werden.

  ArXiv Weekly Radiostation

  Heart of Machine kooperiert mit der von Chu Hang, Luo Ruotian und Mei Hongyuan initiierten ArXiv Weekly Radiostation und wählt diese Woche weitere wichtige Artikel auf der Grundlage von 7 Artikeln aus, darunter NLP, CV, ML. Es gibt 10 Es werden ausgewählte Artikel in jedem Fachgebiet sowie abstrakte Einführungen der Beiträge in Audioform bereitgestellt.

  Die 10 ausgewählten NLP-Artikel dieser Woche sind:

  1. GLEN: General-Purpose Event Detection for Thousands of Types

  2 Modelle: Aktuelle Entwicklungen und Ausblick. (von C.-C. Jay Kuo)

  und GPT-4 mit schnellem Lernen: Vielversprechende Ergebnisse, Einschränkungen und Potenzial 6. Analysieren Transformer beim Vorhersagen des maskierten Wortes? (von Sanjeev Arora) 7. Die Erlernbarkeit des kontextbezogenen Lernens für Abstractive Discharge Summary Generation? (von Yuji Matsumoto)

  9

  1. Von lokalen Binärmustern zu Pixeldifferenznetzwerken für effizientes visuelles Repräsentationslernen (von Matti Pietikäinen, Li Liu)

  2. Mehrteilige 3D-Formbaugruppe mit mehreren Gelenken auf Kategorieebene.  (von Wojciech Matusik, Leonidas Guibas)

  3. PartNeRF: Generieren teilebewusster, bearbeitbarer 3D-Formen ohne 3D-Überwachung.  (von Leonidas Guibas)

  4. Erforschung der wiederkehrenden langfristigen zeitlichen Fusion für die 3D-Wahrnehmung in mehreren Ansichten.  (von Xiangyu Zhang)

  5. Schnappen Sie sich, was Sie brauchen: Überdenken Sie die Erkennung komplexer Tabellenstrukturen mit flexibler Komponentenberatung.  (von Bing Liu)

  6. Einheitliche visuelle Beziehungserkennung mit Seh- und Sprachmodellen.  (von Ming-Hsuan Yang)

  7. Kontrastives halbüberwachtes Lernen für die Wiederherstellung von Unterwasserbildern über eine zuverlässige Bank.  (von Huan Liu)

  8. InstMove: Instanzbewegung für objektzentrierte Videosegmentierung.  (von Xiang Bai, Alan Yuille)

  9. ViTO: Vision Transformer-Operator.  (von George Em Karniadakis)

  10. Ein einfaches Framework für die Segmentierung und Erkennung von offenem Vokabular.  (von Jianfeng Gao, Lei Zhang)

  本周 10 篇 ML 精选论文是:

  1. Generalisierung und Entkopplung des neuronalen Kollapses über die Hyperspherical Uniformity Gap.  (von Bernhard Schölkopf)

  2. AutoTransfer: AutoML mit Wissenstransfer – eine Anwendung zur grafischen Darstellung neuronaler Netze.  (von Jure Leskovec)

  3. Relationales Multitasking-Lernen: Modellierung von Beziehungen zwischen Daten und Aufgaben.  (von Jure Leskovec)

  4. Interpretierbare Ausreißerzusammenfassung.  (von Samuel Madden)

  5. Auf visuellen Eingabeaufforderungen basierendes personalisiertes föderiertes Lernen.  (von Dacheng Tao)

  6. Interpretierbare gemeinsame Ereignis-Teilchen-Rekonstruktion für die Neutrinophysik bei NOvA mit spärlichen CNNs und Transformatoren.  (von Pierre Baldi)

  7. FedLP: Schichtweiser Bereinigungsmechanismus für kommunikations- und recheneffizientes föderiertes Lernen.  (von Fei Wang, Khaled B. Letaief)

  8. Traffic4cast auf der NeurIPS 2022 – Prognostizieren Sie die Dynamik entlang von Diagrammkanten anhand spärlicher Knotendaten: Gesamtstadtverkehr und voraussichtliche Ankunftszeit mithilfe stationärer Fahrzeugdetektoren.  (von Sepp Hochreiter)

  9. Erreichen eines besseren Stabilitäts-Plastizitäts-Kompromisses durch Hilfsnetzwerke beim kontinuierlichen Lernen.  (von Thomas Hofmann)

  10. Lenkungsprototyp mit zeitnaher Abstimmung für probenfreies kontinuierliches Lernen.  (von Dimitris N. Metaxas)

Das obige ist der detaillierte Inhalt vonFügen Sie Videos in einem Satz Spezialeffekte hinzu; die bisher umfassendste Karte des Insektengehirns. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!