Maison Périphériques technologiques IA ICLR 2024 | Offrant une nouvelle perspective pour la séparation audio et vidéo, l'équipe Hu Xiaolin de l'Université Tsinghua a lancé RTFS-Net

ICLR 2024 | Offrant une nouvelle perspective pour la séparation audio et vidéo, l'équipe Hu Xiaolin de l'Université Tsinghua a lancé RTFS-Net

Mar 06, 2024 pm 06:28 PM
产业 Université Qinghua rtfs-net séparation de la parole audiovisuelle

L'objectif principal de la technologie de séparation audiovisuelle de la parole (AVSS) est d'identifier et de séparer la voix du locuteur cible dans le signal mixte, en utilisant les informations faciales pour atteindre cet objectif. Cette technologie a de nombreuses applications dans de nombreux domaines, notamment les assistants intelligents, les conférences à distance et la réalité augmentée. Grâce à la technologie AVSS, la qualité des signaux vocaux dans les environnements bruyants peut être considérablement améliorée, améliorant ainsi les effets de la reconnaissance vocale et de la communication. Le développement de cette technologie a apporté plus de commodité à la vie quotidienne et au travail des gens, facilitant ainsi la tâche.

Les méthodes traditionnelles de séparation de la parole audiovisuelle nécessitent généralement des modèles complexes et une grande quantité de ressources informatiques, en particulier lorsqu'il y a des arrière-plans bruyants ou de nombreux les gens parlent. Dans ce cas, ses performances sont facilement limitées. Pour surmonter ces problèmes, les chercheurs ont commencé à explorer des méthodes basées sur l’apprentissage profond. Cependant, la technologie d’apprentissage profond existante présente des défis liés à une grande complexité informatique et à des difficultés d’adaptation à des environnements inconnus.

Plus précisément, les méthodes actuelles de séparation de la parole audiovisuelle présentent les problèmes suivants :

  • Méthode du domaine temporel : elle peut fournir des effets de séparation audio de haute qualité, mais en raison de davantage de paramètres, d'une complexité de calcul plus élevée et d'une vitesse de traitement plus lente.

  • Méthodes du domaine temps-fréquence : plus efficaces sur le plan informatique, mais historiquement moins performantes que les méthodes du domaine temporel. Ils sont confrontés à trois défis principaux :

1. Manque de modélisation indépendante des dimensions temporelles et fréquentielles.

2. Les signaux visuels provenant de plusieurs champs récepteurs ne sont pas pleinement utilisés pour améliorer les performances du modèle.

3. Un traitement inapproprié de caractéristiques complexes entraîne la perte d'informations clés sur l'amplitude et la phase.

Afin de relever ces défis, des chercheurs de l'équipe du professeur agrégé Hu Xiaolin de l'Université Tsinghua ont proposé un nouveau modèle de séparation de la parole audiovisuelle appelé RTFS-Net. Le modèle adopte une méthode de compression-reconstruction, qui réduit considérablement la complexité de calcul et le nombre de paramètres du modèle tout en améliorant les performances de séparation. RTFS-Net est la première méthode de séparation de la parole audiovisuelle utilisant moins d'un million de paramètres, et c'est également la première méthode à surpasser tous les modèles du domaine temporel en matière de séparation multimodale dans le domaine temps-fréquence.

ICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-Net

  • Adresse papier : https://arxiv.org/abs/2309.17189

  • Page d'accueil papier : https://cslikai.cn/RTFS-Net/AV-Model-Demo.html

  • Adresse du code : https://github.com/spkgyk/RTFS-Net (à venir)

Introduction à la méthode

L'architecture réseau globale de RTFS-Net est présentée dans la figure 1 ci-dessous :

ICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-Net

                                                                                                                                                                                                      Figure 1. Structure du réseau RTFS-Net

Parmi eux, le bloc RTFS (illustré sur la figure 2) compresse et modélise indépendamment les dimensions acoustiques (temps et fréquence), tout en créant un sous-espace de faible complexité autant que possible Réduire la perte d’informations. Plus précisément, le bloc RTFS utilise une architecture à double chemin pour un traitement efficace des signaux audio dans les dimensions temporelle et fréquentielle. Grâce à cette approche, les blocs RTFS sont capables de réduire la complexité des calculs tout en conservant une sensibilité et une précision élevées aux signaux audio. Voici le flux de travail spécifique du bloc RTFS :

1. Compression temps-fréquence : le bloc RTFS compresse d'abord les caractéristiques audio d'entrée dans les dimensions temporelles et fréquentielles.

2. Modélisation dimensionnelle indépendante : une fois la compression terminée, le bloc RTFS modélise indépendamment les dimensions temporelles et fréquentielles.

3. Fusion dimensionnelle : Après avoir traité indépendamment les dimensions temporelles et fréquentielles, le bloc RTFS fusionne les informations des deux dimensions via un module de fusion.

4. Reconstruction et sortie : Enfin, les caractéristiques fusionnées sont reconstruites dans l'espace temps-fréquence d'origine à travers une série de couches de déconvolution.

ICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-Net

                                                                                                                                                                                                       Figure 2. Structure du réseau du bloc RTFS

Le module de fusion d'attention interdimensionnelle (CAF) (illustré dans la figure 3) fusionne efficacement les informations audio et visuelles, améliore l'effet de séparation de la parole et réduit la complexité informatique Cela ne représente que 1,3% de la méthode SOTA précédente. Plus précisément, le module CAF génère d’abord des poids d’attention à l’aide d’opérations de profondeur et de convolution groupée. Ces pondérations s'ajustent dynamiquement en fonction de l'importance des caractéristiques d'entrée, permettant au modèle de se concentrer sur les informations les plus pertinentes. Ensuite, en appliquant les pondérations d'attention générées aux caractéristiques visuelles et auditives, le module CAF est capable de se concentrer sur les informations clés dans plusieurs dimensions. Cette étape implique de pondérer et de fusionner des fonctionnalités de différentes dimensions pour produire une représentation complète des fonctionnalités. En plus du mécanisme d'attention, le module CAF peut également adopter un mécanisme de contrôle pour contrôler davantage le degré de fusion des fonctionnalités provenant de différentes sources. Cette approche peut améliorer la flexibilité du modèle et permettre un contrôle plus fin du flux d'informations.

ICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-Net

                                                                                                                                                                                         nombres complexes pour extraire efficacement le discours du haut-parleur cible à partir de la fonction audio mixte. Cette méthode utilise pleinement les informations de phase et d'amplitude du signal audio et améliore la précision et l'efficacité de la séparation des sources. Et l'utilisation d'un réseau complexe permet au bloc S^3 de traiter le signal avec plus de précision lors de l'isolation de la parole du locuteur cible, notamment en préservant les détails et en réduisant les artefacts, comme indiqué ci-dessous. De même, la conception du bloc S^3 permet une intégration facile dans différents cadres de traitement audio, convient à une variété de tâches de séparation de sources et possède de bonnes capacités de généralisation.

Résultats expérimentauxICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-Net

Effet de séparation

Sur trois ensembles de données de référence sur la séparation de la parole multimodale (LRS2, LRS3 et VoxCeleb2), comme indiqué ci-dessous, RTFS-Net réduit considérablement les paramètres du modèle et les calculs. complexité, approchant ou dépassant les performances de pointe actuelles. Le compromis entre efficacité et performances est démontré par des variantes avec différents nombres de blocs RTFS (4, 6, 12 blocs), où RTFS-Net-6 offre un bon équilibre entre performances et efficacité. RTFS-Net-12 a obtenu les meilleurs résultats sur tous les ensembles de données testés, prouvant les avantages des méthodes du domaine temps-fréquence dans la gestion de tâches complexes de séparation de synchronisation audio et vidéo.

Effets réelsICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-Net

Vidéo mixte :

Audio du haut-parleur féminin :

ICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-NetAudio du haut-parleur masculin : ICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-NetICLR 2024 | 为音视频分离提供新视角,清华大学胡晓林团队推出RTFS-NetRésumé

Avec l'avancement continu du développement technologique de grands modèles, de l'audiovisuel Le domaine de la séparation de la parole poursuit également des modèles à grande échelle pour améliorer la qualité de la séparation. Toutefois, cela n’est pas réalisable pour les appareils finaux. RTFS-Net permet d'améliorer considérablement les performances tout en maintenant une complexité de calcul et un nombre de paramètres considérablement réduits. Cela démontre que l’amélioration des performances AVSS ne nécessite pas nécessairement des modèles plus grands, mais plutôt des architectures innovantes et efficaces qui capturent mieux l’interaction complexe entre les modalités audio et visuelles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Aug 09, 2024 pm 04:01 PM

Mais peut-être qu’il ne pourra pas vaincre le vieil homme dans le parc ? Les Jeux Olympiques de Paris battent leur plein et le tennis de table suscite beaucoup d'intérêt. Dans le même temps, les robots ont également réalisé de nouvelles avancées dans le domaine du tennis de table. DeepMind vient tout juste de proposer le premier agent robot apprenant capable d'atteindre le niveau des joueurs amateurs humains de tennis de table de compétition. Adresse papier : https://arxiv.org/pdf/2408.03906 Quelle est la capacité du robot DeepMind à jouer au tennis de table ? Probablement à égalité avec les joueurs amateurs humains : tant en coup droit qu'en revers : l'adversaire utilise une variété de styles de jeu, et le robot peut également résister : recevoir des services avec des tours différents : Cependant, l'intensité du jeu ne semble pas aussi intense que le vieil homme dans le parc. Pour les robots, le tennis de table

La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison Aug 21, 2024 pm 07:33 PM

Le 21 août, la Conférence mondiale sur les robots 2024 s'est tenue en grande pompe à Pékin. La marque de robots domestiques de SenseTime, "Yuanluobot SenseRobot", a dévoilé toute sa famille de produits et a récemment lancé le robot de jeu d'échecs Yuanluobot AI - Chess Professional Edition (ci-après dénommé "Yuanluobot SenseRobot"), devenant ainsi le premier robot d'échecs au monde pour le maison. En tant que troisième produit robot jouant aux échecs de Yuanluobo, le nouveau robot Guoxiang a subi un grand nombre de mises à niveau techniques spéciales et d'innovations en matière d'IA et de machines d'ingénierie. Pour la première fois, il a réalisé la capacité de ramasser des pièces d'échecs en trois dimensions. grâce à des griffes mécaniques sur un robot domestique et effectuer des fonctions homme-machine telles que jouer aux échecs, tout le monde joue aux échecs, réviser la notation, etc.

Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Sep 02, 2024 pm 01:56 PM

La rentrée scolaire est sur le point de commencer, et ce ne sont pas seulement les étudiants qui sont sur le point de commencer le nouveau semestre qui doivent prendre soin d’eux-mêmes, mais aussi les grands modèles d’IA. Il y a quelque temps, Reddit était rempli d'internautes se plaignant de la paresse de Claude. « Son niveau a beaucoup baissé, il fait souvent des pauses et même la sortie devient très courte. Au cours de la première semaine de sortie, il pouvait traduire un document complet de 4 pages à la fois, mais maintenant il ne peut même plus produire une demi-page. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dans un post intitulé "Totalement déçu par Claude", plein de

Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Aug 22, 2024 pm 10:35 PM

Lors de la World Robot Conference qui se tient à Pékin, l'exposition de robots humanoïdes est devenue le centre absolu de la scène. Sur le stand Stardust Intelligent, l'assistant robot IA S1 a réalisé trois performances majeures de dulcimer, d'arts martiaux et de calligraphie. un espace d'exposition, capable à la fois d'arts littéraires et martiaux, a attiré un grand nombre de publics professionnels et de médias. Le jeu élégant sur les cordes élastiques permet au S1 de démontrer un fonctionnement fin et un contrôle absolu avec vitesse, force et précision. CCTV News a réalisé un reportage spécial sur l'apprentissage par imitation et le contrôle intelligent derrière "Calligraphy". Le fondateur de la société, Lai Jie, a expliqué que derrière les mouvements soyeux, le côté matériel recherche le meilleur contrôle de la force et les indicateurs corporels les plus humains (vitesse, charge). etc.), mais du côté de l'IA, les données réelles de mouvement des personnes sont collectées, permettant au robot de devenir plus fort lorsqu'il rencontre une situation forte et d'apprendre à évoluer rapidement. Et agile

L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o Sep 03, 2024 pm 05:18 PM

Intégration profonde de la vision et de l'apprentissage des robots. Lorsque deux mains de robot travaillent ensemble en douceur pour plier des vêtements, verser du thé et emballer des chaussures, associées au robot humanoïde 1X NEO qui a fait la une des journaux récemment, vous pouvez avoir le sentiment : nous semblons entrer dans l'ère des robots. En fait, ces mouvements soyeux sont le produit d’une technologie robotique avancée + d’une conception de cadre exquise + de grands modèles multimodaux. Nous savons que les robots utiles nécessitent souvent des interactions complexes et exquises avec l’environnement, et que l’environnement peut être représenté comme des contraintes dans les domaines spatial et temporel. Par exemple, si vous souhaitez qu'un robot verse du thé, le robot doit d'abord saisir la poignée de la théière et la maintenir verticalement sans renverser le thé, puis la déplacer doucement jusqu'à ce que l'embouchure de la théière soit alignée avec l'embouchure de la tasse. , puis inclinez la théière selon un certain angle. ce

Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

Les contributeurs ont beaucoup gagné de cette conférence ACL. L'ACL2024, d'une durée de six jours, se tient à Bangkok, en Thaïlande. ACL est la plus grande conférence internationale dans le domaine de la linguistique informatique et du traitement du langage naturel. Elle est organisée par l'Association internationale pour la linguistique informatique et a lieu chaque année. L'ACL s'est toujours classée première en termes d'influence académique dans le domaine de la PNL, et c'est également une conférence recommandée par le CCF-A. La conférence ACL de cette année est la 62e et a reçu plus de 400 travaux de pointe dans le domaine de la PNL. Hier après-midi, la conférence a annoncé le meilleur article et d'autres récompenses. Cette fois, il y a 7 Best Paper Awards (deux inédits), 1 Best Theme Paper Award et 35 Outstanding Paper Awards. La conférence a également décerné 3 Resource Paper Awards (ResourceAward) et Social Impact Award (

Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Aug 08, 2024 am 07:02 AM

Cet après-midi, Hongmeng Zhixing a officiellement accueilli de nouvelles marques et de nouvelles voitures. Le 6 août, Huawei a organisé la conférence de lancement de nouveaux produits Hongmeng Smart Xingxing S9 et Huawei, réunissant la berline phare intelligente panoramique Xiangjie S9, le nouveau M7Pro et Huawei novaFlip, MatePad Pro 12,2 pouces, le nouveau MatePad Air, Huawei Bisheng With de nombreux nouveaux produits intelligents tous scénarios, notamment la série d'imprimantes laser X1, FreeBuds6i, WATCHFIT3 et l'écran intelligent S5Pro, des voyages intelligents, du bureau intelligent aux vêtements intelligents, Huawei continue de construire un écosystème intelligent complet pour offrir aux consommateurs une expérience intelligente du Internet de tout. Hongmeng Zhixing : Autonomisation approfondie pour promouvoir la modernisation de l'industrie automobile intelligente Huawei s'associe à ses partenaires de l'industrie automobile chinoise pour fournir

L'IA utilisée | Le jeu fou Amway AI du président de Microsoft m'a torturé des milliers de fois L'IA utilisée | Le jeu fou Amway AI du président de Microsoft m'a torturé des milliers de fois Aug 14, 2024 am 12:00 AM

Rédacteur du Machine Power Report : Yang Wen La vague d’intelligence artificielle représentée par les grands modèles et l’AIGC a discrètement changé notre façon de vivre et de travailler, mais la plupart des gens ne savent toujours pas comment l’utiliser. C'est pourquoi nous avons lancé la rubrique « AI in Use » pour présenter en détail comment utiliser l'IA à travers des cas d'utilisation de l'intelligence artificielle intuitifs, intéressants et concis et stimuler la réflexion de chacun. Nous invitons également les lecteurs à soumettre des cas d'utilisation innovants et pratiques. Oh mon Dieu, l'IA est vraiment devenue un génie. Récemment, la difficulté de distinguer l’authenticité des images générées par l’IA est devenue un sujet brûlant. (Pour plus de détails, veuillez consulter : IA utilisée | Devenez une beauté de l'IA en trois étapes et retrouvez votre forme originale par l'IA en une seconde) En plus de la populaire dame IA de Google sur Internet, divers générateurs de FLUX ont apparu sur les plateformes sociales

See all articles