Ajoutez des effets spéciaux aux vidéos en une phrase, la carte du cerveau des insectes la plus complète à ce jour ;

Répertoire :

1. Composer : synthèse d'images créative et contrôlable avec des conditions composables
2. Synthèse vidéo guidée par la structure et le contenu avec des modèles de diffusion
3. Le connectome d'un insecte cerveau
4. Dynamique basée sur l'incertitude pour l'apprentissage actif des potentiels interatomiques
5. Synthèse combinatoire pour la découverte de matériaux pilotée par l'IA
6. Les images masquées sont des échantillons contrefactuels pour un réglage fin robuste
7. Un transformateur s'adapte à toutes les distributions dans plusieurs Diffusion modale à grande échelle
8. Radiostation hebdomadaire ArXiv : PNL, CV, ML Plus d'articles sélectionnés (avec audio)

Article 1 : Compositeur : synthèse d'images créative et contrôlable avec des conditions composables

• Auteur : Lianghua Huang et al
• Adresse papier : https://arxiv.org/pdf/2302.09778v2.pdf

Résumé :Dans le domaine de la peinture par IA, de nombreux chercheurs s'engagent à améliorer la contrôlabilité des modèles de peinture IA, c'est-à-dire à rendre les images générées par les modèles plus cohérentes avec les exigences humaines. Il y a quelque temps, un modèle appelé ControlNet a poussé cette contrôlabilité à un nouveau sommet. À peu près à la même époque, des chercheurs d’Alibaba et d’Ant Group ont également obtenu des résultats dans le même domaine. Cet article est une introduction détaillée à ces résultats.

Recommandé : Nouvelles idées pour la peinture de l'IA : nouveau modèle domestique open source de 5 milliards de paramètres, réalisant un saut en termes de contrôlabilité et de qualité synthétiques.

Article 2 : Synthèse vidéo guidée par la structure et le contenu avec des modèles de diffusion

• Auteur : Patrick Esser et al
• Adresse de l'article : https://arxiv.org/pdf/ 2302.0301 1 .pdf

Résumé : Je crois que de nombreuses personnes ont déjà compris le charme de la technologie de l'IA générative, surtout après avoir vécu l'épidémie d'AIGC en 2022. La technologie de génération de texte en image représentée par Stable Diffusion était autrefois populaire partout dans le monde, et d'innombrables utilisateurs ont afflué pour exprimer leur imagination artistique à l'aide de l'IA...

Comparé à l'édition d'images, le montage vidéo est un problème de tâche plus exigeant, qui nécessite de synthétiser de nouvelles actions, non seulement de modifier l'apparence visuelle, mais également de maintenir une cohérence temporelle. De nombreuses entreprises explorent également cette piste. Il y a quelque temps, Google a publié Dreamix pour appliquer le modèle de diffusion vidéo conditionnelle (VDM) au montage vidéo.

Récemment, Runway, une société qui a participé à la création de Stable Diffusion, a lancé un nouveau modèle d'intelligence artificielle "Gen-1", qui peut convertir des vidéos existantes en nouvelles en appliquant des invites de texte ou tout autre style spécifié par des images de référence. . vidéo. Par exemple, transformer des « gens dans la rue » en « marionnettes d’argile » ne nécessite qu’une seule ligne d’invite.

Recommandation : Ajoutez des effets spéciaux avec une seule phrase ou une image, la société Stable Diffusion a joué un nouveau tour avec AIGC.

Article 3 : Le connectome d'un cerveau d'insecte

• Auteur : MICHAEL WINDING et al
• Adresse de l'article : https://www.science.org/doi/10.1126/ science .add9330

Résumé : Les chercheurs ont réalisé l'atlas le plus avancé du cerveau des insectes à ce jour, une réalisation historique en neurosciences qui rapproche les scientifiques d'une véritable compréhension des mécanismes de l'esprit.

Une équipe internationale dirigée par l'Université Johns Hopkins et l'Université de Cambridge a produit une carte incroyablement détaillée de chaque connexion neuronale dans le cerveau d'une larve de mouche des fruits, un prototype scientifique comparable au modèle du cerveau humain. La recherche pourrait soutenir les futures recherches sur le cerveau et inspirer de nouvelles architectures d’apprentissage automatique.

Recommandé : La carte cérébrale d'insecte la plus complète à ce jour, qui pourrait inspirer de nouvelles architectures d'apprentissage automatique.

Article 4 : Dynamiques basées sur l'incertitude pour l'apprentissage actif des potentiels interatomiques

• Auteur : Maksim Kulichenko et al
• Adresse de l'article : https://www.nature.com/ articles /s43588-023-00406-5

Résumé : Les modèles d'apprentissage automatique (ML), s'ils sont formés sur des ensembles de données issus de simulations quantiques haute fidélité, peuvent générer des potentiels interatomiques précis et efficaces. L'apprentissage actif (AL) est un outil puissant pour générer de manière itérative différents ensembles de données. Dans cette approche, le modèle ML fournit des estimations d'incertitude et ses prédictions pour chaque nouvelle configuration atomique. Si l'estimation de l'incertitude dépasse un certain seuil, la configuration est incluse dans l'ensemble de données.

Récemment, des chercheurs du laboratoire national de Los Alamos aux États-Unis ont développé une stratégie : la dynamique d'apprentissage actif basée sur l'incertitude (UDD-AL) pour découvrir plus rapidement des données d'entraînement significativement augmentées. UDD-AL modifie les surfaces d'énergie potentielle utilisées dans les simulations de dynamique moléculaire pour prendre en charge les régions de l'espace de configuration où existent de grandes incertitudes de modèle. Les performances de l'UDD-AL sont démontrées sur deux tâches AL. La figure ci-dessous montre une comparaison des méthodes UDD-AL et MD-AL pour le cas de test de la glycine.

Recommandé : Sous-journal Nature | Dynamique basée sur l'incertitude pour un apprentissage actif pour l'échantillonnage automatique.

Article 5 : Synthèse combinatoire pour la découverte de matériaux pilotée par l'IA

• Auteur : John M. Gregoire et al
• Adresse de l'article : https://www.nature.com/ articles /s44160-023-00251-4

Résumé : La synthèse est la pierre angulaire de l'expérimentation des matériaux solides, et toute technique de synthèse implique nécessairement de modifier certains paramètres de synthèse, le plus souvent la composition et la température de recuit. La synthèse combinatoire fait généralement référence à la synthèse de matériaux automatisée/parallélisée pour créer des collections de matériaux avec des variations systématiques d'un ou plusieurs paramètres de synthèse. Les flux de travail expérimentaux contrôlés par l’intelligence artificielle imposent de nouvelles exigences à la synthèse combinatoire.

Ici, les chercheurs de Caltech donnent un aperçu de la synthèse combinatoire, envisageant un avenir de science des matériaux accélérée, pilotée par le co-développement de la synthèse combinatoire et des technologies d'IA. et établi dix mesures pour évaluer les compromis entre différentes technologies, couvrant la vitesse, l'évolutivité, la portée et la qualité. Ces mesures aident à évaluer l'adéquation d'une technologie à un flux de travail donné et illustrent comment les progrès de la synthèse combinatoire ouvriront la voie à une nouvelle ère de science des matériaux accélérée. Voici les indicateurs de synthèse et les évaluations respectives de la plateforme de synthèse combinée.

Recommandé : Nature Synthesis Review : synthèse combinatoire pour la découverte de matériaux basée sur l'intelligence artificielle.

Papier 6 : Les images masquées sont des échantillons contrefactuels pour un réglage fin robuste

Auteur : Yao Xiao et al. Convergence (HCP)) a réalisé des réalisations fructueuses dans les domaines de l'AIGC et des grands modèles multimodaux. Lors des récents AAAI 2023 et CVPR 2023, plus de dix articles ont été sélectionnés, se classant parmi les premiers échelons des institutions de recherche mondiales. L'un des travaux a mis en œuvre l'utilisation de modèles causals pour améliorer considérablement la contrôlabilité et la généralisation des grands modèles multimodaux lors du réglage - "Les images masquées sont des échantillons contrefactuels pour un réglage fin robuste".

• Recommandation : Nouvelle percée dans le laboratoire HCP de l'Université Sun Yat-sen : Mise à niveau des grands modèles multimodaux avec un paradigme causal.

Article 7 : Un transformateur s'adapte à toutes les distributions en diffusion multimodale à grande échelle

Auteur : Fan Bao et al

Adresse de l'article : https://ml.cs. tsinghua .edu.cn/diffusion/unidiffuser.pdf

Résumé :

Cet article propose un cadre de modélisation probabiliste UniDiffuser conçu pour la multimodalité et adopte l'architecture de réseau basée sur le transformateur U- proposée par l'équipe ViT a formé un modèle avec un milliard de paramètres sur l'ensemble de données graphiques open source à grande échelle LAION-5B, permettant à un modèle sous-jacent d'effectuer une variété de tâches de génération avec une haute qualité (Figure 1). Pour faire simple, en plus de la génération de texte unidirectionnelle, il peut également réaliser de multiples fonctions telles que la génération d'images, la génération conjointe d'images et de texte, la génération inconditionnelle d'images et de texte, la réécriture d'images et de texte, etc., ce qui améliore considérablement la production. l'efficacité du contenu du texte et des images et améliore encore la génération de texte et de graphiques. L'imagination de l'application du modèle de formule.

• Recommandation : L'équipe de Tsinghua Zhu Jun a open source le premier grand modèle de diffusion multimodale basé sur Transformer, avec interopérabilité et réécriture de textes et de graphiques.

Radio hebdomadaire ArXiv

Heart of Machine coopère avec la radio hebdomadaire ArXiv initiée par Chu Hang, Luo Ruotian et Mei Hongyuan. Sur la base de 7 articles, les articles les plus importants de cette semaine sont sélectionnés, notamment PNL, CV, ML. Il y a 10 articles sélectionnés dans chaque domaine, et des introductions abstraites des articles sous forme audio sont fournies.

Les 10 articles sélectionnés en PNL cette semaine sont :

1 : Détection d'événements à usage général pour des milliers de types (de Martha Palmer, Jiawei Han)

2. Modèles : développements récents et perspectives. (de C.-C. Jay Kuo)

3. Apprentissage des représentations visuelles vocales multilingues (de Maja Pantic)

4. et GPT-4 avec apprentissage rapide : résultats prometteurs, limites et potentiel (de Ge Wang)

5 Une image vaut mille mots : plan de modèles linguistiques à partir de pixels (de Honglak Lee)

. 6. Les transformateurs analysent-ils tout en prédisant le mot masqué ? pour la génération de résumés de décharges abstraites ?. (de Yuji Matsumoto)

9 et des approches multilingues pour la classification des genres, des sujets et des techniques de persuasion (de Kalina Bontcheva)

Les 10 articles sélectionnés par CV cette semaine sont :

1. Des modèles binaires locaux aux réseaux de différences de pixels pour un apprentissage efficace de la représentation visuelle (de Matti Pietikäinen, Li Liu)

.

2. Assemblage de forme 3D multi-joints multi-parties au niveau de la catégorie.  (de Wojciech Matusik, Leonidas Guibas)

3. PartNeRF : génération de formes 3D modifiables en fonction des pièces sans supervision 3D.  (de Léonidas Guibas)

4. Explorer la fusion temporelle récurrente à long terme pour la perception 3D multi-vues.  (de Xiangyu Zhang)

5. Saisissez ce dont vous avez besoin : repenser la reconnaissance de structures de tables complexes avec une délibération sur les composants flexibles.  (de Bing Liu)

6. Détection unifiée des relations visuelles avec des modèles de vision et de langage.  (de Ming-Hsuan Yang)

7. Apprentissage contrastif semi-supervisé pour la restauration d'images sous-marines via Reliable Bank.  (de Huan Liu)

8. InstMove : Instance Motion pour la segmentation vidéo centrée sur les objets.  (de Xiang Bai, Alan Yuille)

9. ViTO : Transformateur-Opérateur de Vision.  (de George Em Karniadakis)

10. Un cadre simple pour la segmentation et la détection à vocabulaire ouvert.  (de Jianfeng Gao, Lei Zhang)

本周 10 篇 ML 精选论文是：

1. Généralisation et découplage de l'effondrement neuronal via un écart d'uniformité hypersphérique.  (de Bernhard Schölkopf)

2. AutoTransfer : AutoML avec transfert de connaissances – Une application pour représenter graphiquement les réseaux de neurones.  (de Jure Leskovec)

3. Apprentissage relationnel multi-tâches : modélisation des relations entre données et tâches.  (de Jure Leskovec)

4. Résumé interprétable des valeurs aberrantes.  (de Samuel Madden)

5. Apprentissage fédéré personnalisé basé sur des invites visuelles.  (de Dacheng Tao)

6. Reconstruction conjointe événement-particule interprétable pour la physique des neutrinos à NOvA avec des CNN et des transformateurs clairsemés.  (de Pierre Baldi)

7. FedLP : mécanisme d'élagage par couches pour un apprentissage fédéré efficace en matière de communication et de calcul.  (de Fei Wang, Khaled B. Letaief)

8. Traffic4cast à NeurIPS 2022 – Prédire la dynamique le long des bords du graphique à partir de données de nœuds clairsemées : trafic dans toute la ville et ETA à partir de détecteurs de véhicules stationnaires.  (de Sepp Hochreiter)

9. Atteindre un meilleur compromis stabilité-plasticité via des réseaux auxiliaires dans l'apprentissage continu.  (de Thomas Hofmann)

10. Prototype de pilotage avec réglage rapide pour un apprentissage continu sans répétition.  (de Dimitris N. Metaxas)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!