Détection d'objets zéro

Dino à la mise à la terre: la détection d'objets zéro a rendu facile

La détection précise d'objets dans les images, en particulier celles ayant des formes irrégulières, présente un défi. Cependant, les modèles de pointe comme la mise à la terre Dino offrent des solutions efficaces pour la détection d'objets à tirs zéro. Ce modèle excelle dans l'identification des objets dans les images à l'aide d'invites de texte, en étendant ses capacités à la détection d'objets à ensemble fermé et à set ouvert. Explorons ses fonctionnalités et ses applications.

Capacités clés:

• Détection zéro-shot: identifie les objets sans avoir besoin de données de formation étiquetées, en s'appuyant sur les descriptions de texte en entrée.
• Requêtes textuelles: permet aux utilisateurs de spécifier des objets cibles à l'aide d'invites en langage naturel.
• Détection ouverte et fermée: gère les classes d'objets connues et inconnues.

Comment fonctionne Dino:

La mise à la terre Dino fonctionne en analysant les invites de texte et en les correspondant aux fonctionnalités visuelles de l'image. Le processus implique:

1. Identification de l'objet: le modèle identifie l'objet décrit dans l'invite de texte.
2. Génération de la proposition d'objet: il crée des "propositions d'objets" basées sur des repères visuels comme la couleur et la forme.
3. Score de probabilité: chaque proposition reçoit un score de probabilité indiquant la probabilité d'une correspondance entre la caractéristique visuelle et la description du texte. Des scores plus élevés indiquent une correspondance plus forte.

Architecture du modèle:

La mise à la terre Dino exploite une architecture à deux voies, combinant des informations visuelles et textuelles:

1. Extraction des fonctionnalités: une épine dorsale visuelle (comme le transformateur SWIN) extrait les caractéristiques de l'image, tandis qu'un encodeur de texte (comme Bert) traite l'invite de texte.
2. Amélioration des fonctionnalités: un amplificateur de fonctionnalités utilise des mécanismes d'auto-agencement pour créer une représentation unifiée des fonctionnalités d'image et de texte.
3. Sélection de requête guidée par le langage: cette étape utilise l'entrée de texte pour sélectionner les fonctionnalités d'image pertinentes, en aidant dans la localisation des objets et l'attribution d'étiquette.
4. Intégration de la modalité croisée: les couches d'attention et les réseaux de Feed-Forward combinent des informations visuelles et textuelles pour affiner la détection d'objets.

Dino à la mise à la terre:

Le modèle peut être exécuté à l'aide de la bibliothèque transformers dans Python. Vous trouverez ci-dessous un exemple simplifié démontrant le processus:

 Demandes d'importation
Importer une torche
à partir de l'image d'importation PIL
De Transformers Import Autoprocesseur, AutomodelforzeroshotObjectDection

Model_id = "Idea-Research / Grounding-Dino-base"
device = "cuda" if torch.cuda.is_available () else "CPU"

processeur = autoprocesseur.from_pretrain (Model_ID)
modèle = automodelforzeroshotobjectDetection.from_pretrain (Model_id) .to (Device)

image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = image.open (requêtes.get (image_url, stream = true) .raw)
text = "un chat. Une télécommande."

entrées = processeur (images = image, text = texte, return_tensers = "pt"). à (périphérique)
avec torch.no_grad ():
    sorties = modèle (** entrées)

résultats = processor.post_process_ground_object_detection (
    sorties,
    entrées.input_ids,
    box_threshold = 0,4,
    text_threshold = 0,3,
    Target_Sizes = [image.size [:: - 1]]
)

Imprimer (résultats) 

Applications du monde réel:

La mise à la terre que les capacités zéro de Dino le rendent adapté à des applications diverses:

• Robotique: reconnaissance d'objets pour les assistants robotiques.
• Véhicules autonomes: détection des véhicules, des feux de circulation et des piétons.
• Analyse d'image: identifier les objets et les personnes dans les images à diverses fins.

Conclusion:

La mise à la terre Dino représente une progression significative de la détection d'objets à tirs zéro. Sa capacité à identifier avec précision les objets à l'aide d'invites de texte, sans avoir besoin de données étiquetées étendues, ouvre de nombreuses possibilités sur divers champs. L'architecture et la fonctionnalité du modèle en font un outil puissant pour un large éventail d'applications.

(Remarque: l'extrait de code fourni est une illustration simplifiée. Reportez-vous à la documentation officielle pour des instructions plus détaillées et une utilisation avancée.)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!