Robotique JavaScript : utilisation de JavaScript pour la vision par ordinateur et la reconnaissance d'objets

Ces dernières années, JavaScript a gagné en popularité en tant que langage de programmation pour le développement d'applications robotiques. Sa polyvalence, sa facilité d’utilisation et son vaste écosystème en font un excellent choix pour construire des robots intelligents interactifs. L’un des aspects les plus passionnants de la robotique est la vision par ordinateur, qui permet aux robots de détecter et d’interpréter leur environnement.

Dans cet article, nous explorerons comment utiliser JavaScript pour implémenter des tâches de vision par ordinateur et de reconnaissance d'objets. Nous approfondirons la théorie derrière la vision par ordinateur, discuterons des bibliothèques et des frameworks JavaScript pertinents et fournirons des exemples pratiques avec des extraits de code détaillés et leur sortie correspondante.

Découvrez la vision par ordinateur

La vision par ordinateur est un domaine de recherche visant à permettre aux ordinateurs d'acquérir une compréhension avancée à partir d'images ou de vidéos numériques. Cela implique de traiter des données visuelles, d’extraire des informations significatives et de prendre des décisions basées sur ces informations. La vision par ordinateur couvre diverses tâches telles que la reconnaissance d'images, la détection d'objets et la compréhension de scènes. Dans le contexte de la robotique, la vision par ordinateur joue un rôle essentiel en permettant aux robots de percevoir et d'interagir efficacement avec leur environnement.

JavaScript et vision par ordinateur

Grâce à de puissantes bibliothèques et frameworks, JavaScript a fait des progrès significatifs dans le domaine de la vision par ordinateur. TensorFlow.js, OpenCV.js et Tracking.js sont des outils JavaScript bien connus qui permettent aux développeurs d'implémenter des algorithmes avancés de vision par ordinateur directement dans JavaScript. Ces bibliothèques offrent un large éventail de fonctionnalités, notamment le filtrage d'images, l'extraction de fonctionnalités, la reconnaissance d'objets, etc. De plus, la compatibilité de JavaScript avec les navigateurs lui permet d'effectuer un traitement en temps réel et d'interagir avec les caméras et les sources vidéo, ce qui en fait un langage idéal pour les tâches de vision par ordinateur dans les applications robotiques.

Reconnaissance d'objets à l'aide de TensorFlow.js

TensorFlow.js est une bibliothèque JavaScript open source développée par Google conçue pour permettre l'apprentissage automatique et l'apprentissage profond dans le navigateur. Il fournit un riche ensemble d'outils pour la formation et le déploiement de modèles, y compris la prise en charge des tâches de reconnaissance d'objets. TensorFlow.js permet aux développeurs d'effectuer facilement une reconnaissance d'objets à l'aide de modèles pré-entraînés et de techniques d'apprentissage par transfert.

Pour illustrer la reconnaissance d'objets à l'aide de TensorFlow.js, regardons un exemple d'identification de différents fruits. La première étape consiste à collecter un ensemble de données d’images de fruits et à les étiqueter en conséquence. Cet ensemble de données servira de données de formation pour le modèle. TensorFlow.js prend en charge l'apprentissage par transfert, qui implique d'affiner un modèle pré-entraîné tel que MobileNet ou ResNet à l'aide d'un ensemble de données collectées. Ce processus aide le modèle à apprendre à reconnaître des objets fruitiers spécifiques.

Une fois la formation du modèle terminée, vous pouvez utiliser la fonction tf.loadLayersModel pour le charger en JavaScript. Ensuite, nous pouvons utiliser l'API getUserMedia pour capturer la vidéo de la caméra de l'utilisateur et l'afficher sur l'élément canevas. Le canevas sera utilisé comme fenêtre d’affichage pour effectuer la détection d’objets.

Pour effectuer la détection d'objets, nous définissons une fonction appelée detectorObjects. Cette fonction capture en continu les images de la source vidéo, les traite et prédit les objets présents dans chaque image.

L'extrait de code suivant démontre la reconnaissance d'objets à l'aide de TensorFlow.js -

// Load the model
const model = await tf.loadLayersModel('model/model.json');

// Capture video from the camera
const video = document.getElementById('video');
const canvas = document.getElementById('canvas');
const context = canvas.getContext('2d');

navigator.mediaDevices.getUserMedia({ video: true })
   .then(stream => {
      video.srcObject = stream;
      video.play();
      detectObjects();
   });

// Perform object detection
function detectObjects() {
   context.drawImage(video, 0, 0, 300, 300);
   const image = tf.browser.fromPixels(canvas);
   const expandedImage = image.expandDims(0);
   const predictions = model.predict(expandedImage);
  
   // Process predictions
   predictions.array().then(data => {
      const maxIndex = data[0].indexOf(Math.max(...data[0]));
      const classes = ['apple', 'banana', 'orange'];
      const prediction = classes[maxIndex];
      console.log('Detected:', prediction);
   });

   requestAnimationFrame(detectObjects);
}

Instructions

Ce code capture la vidéo de la caméra de l'utilisateur et effectue en continu une détection d'objet sur chaque image de la source vidéo. Pour chaque image, le code effectue les étapes suivantes -

• Il dessine l'image vidéo actuelle sur l'élément canevas.

• Utilisez ensuite tf.browser.fromPixels pour convertir l'image du canevas en un tenseur TensorFlow.js.

• Utilisez ExpandDims pour étendre le tenseur de l'image afin qu'il corresponde à la forme d'entrée du modèle.

• Appelez la fonction de prédiction du modèle à l'aide du tenseur d'image étendu pour obtenir des prédictions.

• Utilisez array() pour convertir les prédictions en tableaux JavaScript.

• Identifiez la valeur prédite la plus élevée en trouvant l'index de la plus grande valeur dans le tableau prédit.

• Des tableaux de classes prédéfinies (par exemple ['apple', 'banana', 'orange']) sont utilisés pour mapper les indices aux balises d'objet correspondantes.

• Utilisez console.log('Detected:', Prediction) pour enregistrer l'étiquette de l'objet détecté sur la console.

La sortie réelle varie en fonction des objets présents dans la source vidéo et de la précision du modèle entraîné. Par exemple, si la source vidéo contient une pomme, le code peut afficher « Détecté : Apple » sur la console. De même, si une banane est présente, le résultat pourrait être « Détecté : Banane.

Conclusion

En résumé, JavaScript, avec sa large gamme de bibliothèques et de frameworks, offre de puissantes capacités de vision par ordinateur et de reconnaissance d'objets en robotique. En tirant parti d'outils tels que TensorFlow.js, les développeurs peuvent entraîner des modèles, effectuer une détection d'objets en temps réel et permettre aux robots de détecter et de comprendre efficacement leur environnement. La polyvalence de JavaScript et sa compatibilité avec les navigateurs en font un langage prometteur pour la création de systèmes robotiques intelligents et interactifs. À mesure que le domaine de la robotique continue d’évoluer, l’exploration de la robotique JavaScript et de la vision par ordinateur ouvre des possibilités passionnantes d’innovation et de croissance.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!