NeurIPS 2022 | DetCLIP, une nouvelle méthode de détection de domaine ouvert, améliore l'efficacité du raisonnement de 20 fois

Le problème de détection de domaine ouvert fait référence au problème de savoir comment implémenter la détection de catégories arbitraires dans des scénarios en aval en utilisant un grand nombre de paires image-texte explorées à partir d'Internet ou certaines catégories de données annotées manuellement pour la formation en amont. Les applications des méthodes de détection de domaine ouvert dans l'industrie incluent principalement la détection d'objets routiers dans les systèmes de conduite autonome, la détection de scènes complètes dans le cloud, etc.

Adresse de l'article : https://arxiv.org/abs/2209.09407

Cet article partage l'article sélectionné par NeurIPS 2022 "DetCLIP : Dictionary-Enriched Visual-Concept Parlleled Pre-training for Open -world Detection", cet article propose un cadre de formation parallèle efficace pour combiner conjointement plusieurs sources de données pour le problème de détection en domaine ouvert, et construit également une base de connaissances supplémentaire pour fournir des relations implicites entre les catégories. Dans le même temps, DetCLIP a remporté la première place dans la catégorie détection zéro tir avec un indice de détection moyen de 24,9 % lors du concours ECCV2022 OdinW (Object Detection in the Wild[1]) organisé par Microsoft.

Introduction au problème

Avec la popularité des modèles de pré-entraînement multimodaux (tels que CLIP) formés sur la base de paires d'images et de textes explorés à partir d'Internet, et ses excellentes performances dans le domaine de la classification zéro-shot , de plus en plus De plus en plus de méthodes tentent de transférer cette capacité vers la prédiction dense de domaine ouvert (comme la détection de catégories arbitraires, la segmentation, etc.). Les méthodes existantes utilisent souvent de grands modèles de classification pré-entraînés pour la distillation au niveau des caractéristiques [1] ou apprennent par pseudo-étiquetage et auto-formation [2], mais cela est souvent limité par les performances des grands modèles de classification et le problème de. annotation de légende incomplète.

Le modèle de détection de domaine ouvert SOTA existant GLIP[3] effectue une formation conjointe de plusieurs sources de données en convertissant le format des données de détection au format de données Grounding, tirant pleinement parti des avantages des différentes sources de données (les données de détection l'ensemble de données a des exigences particulières pour les catégories communes (annotation plus complète, tandis que l'ensemble de données Grounding a une gamme plus large d'intervalles de couverture de catégorie). Cependant, nous avons constaté que la manière de concaténer les noms de catégorie conduit à une réduction de l’efficacité globale de l’apprentissage du modèle, tandis que l’utilisation directe de mots de catégorie comme saisie de texte ne peut pas fournir de relations a priori fines entre les catégories.

Figure 1 : Pipeline de modèle de détection de domaine ouvert de pré-formation conjointe multi-sources de données

Cadre de modèle

Comme le montre la figure ci-dessous, il est construit sur la base de l'ATSS[4 ] modèle de détection en une seule étape, DetCLIP Il contient un encodeur d'image ​ pour obtenir les caractéristiques d'image du boîtier de détection ​, et un encodeur de texte ​ pour obtenir les caractéristiques de texte de la catégorie ​. Ensuite, sur la base des caractéristiques de l'image et du texte ci-dessus, la perte d'alignement de classification correspondante ​, la perte de point central ​ et la perte de régression ​ sont calculées.

Figure 2 : Cadre du modèle DetCLIP

Comme le montrent en haut à droite et en haut à gauche de la figure 2, les principaux points d'innovation de cet article sont 1) Proposer de traiter plusieurs sources de données objets avec entrée parallèle - union de texte Cadre de formation pour optimiser l'efficacité de la formation 2) Créer une base de connaissances d'objets supplémentaire pour faciliter la formation à la détection de domaine ouvert ;

Cadre de pré-formation à saisie parallèle à plusieurs sources de données

Par rapport à GLIP, qui convertit les données de détection en forme de mise à la terre (série) en épissant les noms de catégorie, nous extrayons les phrases nominales correspondantes dans les données de mise à la terre et les combinons avec la détection. Les catégories sont utilisées comme entrées indépendantes et sont entrées dans l'encodeur de texte (en parallèle) pour éviter les calculs d'attention inutiles et obtenir une efficacité de formation plus élevée.

Figure 3 : Comparaison entre le cadre de pré-formation des entrées parallèles DetCLIP et GLIP

Base de connaissances d'objets

Afin de résoudre le problème de l'espace de catégories non uniforme de différentes sources de données (le les mêmes noms de catégories sont différents, ou les catégories contiennent, etc.) et fournissons des informations préalables sur la relation entre les catégories, nous construisons une base de connaissances d'objets pour obtenir une formation plus efficace.

Construction : Nous intégrons simultanément les catégories dans les données de détection, les phrases nominales dans la paire image-texte et les définitions correspondantes pour construire la base de connaissances des objets.

Utilisation : 1. Nous utilisons la définition de la base de connaissances des objets pour étendre les mots de catégorie dans les données de détection existantes afin de fournir des informations préalables (enrichissement des concepts) sur la relation entre les catégories.

Figure 4 : Exemple d'utilisation de la base de connaissances d'objets pour étendre les définitions de mots de catégorie

2. En raison du problème d'annotation de légende incomplète dans les données de base et les données de légende d'image (apparaît). sur l'image) la catégorie n'apparaît pas dans la légende), ce qui entraîne un très petit nombre de catégories qui peuvent être utilisées comme échantillons négatifs lors de la formation de ces images, ce qui rend le modèle moins distinguable pour certaines catégories inhabituelles. Par conséquent, nous sélectionnons au hasard des noms d'objets dans la base de connaissances des objets en tant que catégories d'échantillons négatifs afin d'améliorer la discrimination par le modèle des caractéristiques des catégories rares (+ échantillons négatifs).

Figure 5 : Introduction de catégories dans la base de connaissances d'objets en tant qu'échantillons de catégories négatives

3 Pour les données de paire image-texte sans annotation de cadre, nous utilisons l'auto-recherche de Huawei Noah. le modèle FILIP [5] et le RPN pré-entraîné l'étiquetent afin qu'il puisse être converti en données de mise à la terre normales pour l'entraînement. Dans le même temps, afin d'atténuer le problème de l'annotation incomplète des objets dans l'image dans la légende, nous utilisons toutes les expressions de catégorie de la base de connaissances des objets comme catégories candidates pour le pseudo-étiquetage (deuxième ligne), et utilisons uniquement la catégorie effet d'annotation dans la légende (première ligne). La comparaison est la suivante :

Figure 6 : Introduction de catégories dans la base de connaissances d'objets en tant que catégories candidates pour un faux étiquetage

Résultats expérimentaux

Nous avons utilisé l'ensemble de données de détection LVIS en aval (1203 catégories) pour vérifier les performances de détection de domaine ouvert de la méthode proposée. On peut voir que sur l'architecture basée sur le backbone swin-t, DetCLIP a obtenu une amélioration AP de 9,9%. par rapport au modèle SOTA existant GLIP, et une amélioration de 12,4 dans la catégorie Rare % AP, bien que nous n'utilisions que moins de la moitié de la quantité de données par rapport à GLIP. Notez que l'ensemble d'entraînement ne contient aucune image dans LVIS.

Tableau 1 : Comparaison des performances de transfert zéro-shot de différentes méthodes sur LVIS

En termes d'efficacité de la formation, sur la base des mêmes conditions matérielles 32 V100, le temps de formation du GLIP -T est DetCLIP 5x de -T (10,7 000 heures GPU contre 2 000 heures GPU). En termes d'efficacité des tests, basée sur un seul V100, l'efficacité d'inférence de DetCLIP-T de 2,3 FPS (0,4 seconde par image) est 20 fois supérieure à celle de 0,12 FPS de GLIP-T (8,6 secondes par image). Nous avons également étudié séparément l'impact des innovations clés de DetCLIP (cadre parallèle et base de connaissances des objets) sur la précision.

Tableau 3 : Résultats de l'étude d'ablation DetCLIP sur l'ensemble de données LVIS

Résultats de visualisation

Comme le montre la figure ci-dessous, basée sur le même squelette swin-t, visualisation sur l'ensemble de données LVIS. L'effet a été significativement amélioré par rapport à GLIP, notamment dans l'annotation des catégories rares et l'exhaustivité de l'annotation.

​

Figure 7 : Comparaison visuelle des résultats de prédiction de DetCLIP et GLIP sur l'ensemble de données LVIS

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!