HTML5 : utilisez Canvas pour traiter la vidéo en temps réel-Tutoriel H5-php.cn

HTML5 : utilisez Canvas pour traiter la vidéo en temps réel

高洛峰

Libérer： 2018-05-28 17:58:12

original

6104 Les gens l'ont consulté

Contenu du document

Le document XHTML utilisé dans cet article est le suivant.

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<style>
body {
background: black;
color:#CCCCCC;
}
#c2 {
background-image: url(foo.png);
background-repeat: no-repeat;
}
p {
float: left;
border :1px solid #444444;
padding:10px;
margin: 10px;
background:#3B3B3B;
}
</style>
<script type="text/javascript;version=1.8" src="main.js"></script>
</head>

<body onload="processor.doLoad()">
<p>
<video id="video" src="video.ogv" controls="true"/>
</p>
<p>
<canvas id="c1" width="160" height="96"/>
<canvas id="c2" width="160" height="96"/>
</p>
</body>
</html>

Copier après la connexion

Les éléments clés du code ci-dessus sont les suivants :

1. Créez deux éléments de canevas avec les ID c1 et c2 respectivement. c1 est utilisé pour afficher la vidéo originale de l'image actuelle, c2 est utilisé pour afficher la vidéo après avoir effectué des effets spéciaux d'incrustation chromatique ; c2 est préchargé avec une image statique, qui sera utilisée pour remplacer la partie de couleur d'arrière-plan de la vidéo.

2. Le code JavaScript est importé du fichier main.js ; ce script utilise les fonctionnalités de JavaScript 1.8, donc lors de l'importation du script, la version est spécifiée à la ligne 22.

3. Lorsque la page Web est chargée, la méthode processeur.doLoad() dans main.js s'exécutera.

Code JavaScript

Le code JS dans main.js contient trois méthodes.

Initialiser la clé chromatique

La méthode doLoad() est appelée lors du chargement initial du document XHTML. Le but de cette méthode est de préparer les variables requises pour le code de traitement de l'incrustation chroma et de configurer un écouteur d'événement afin que nous puissions détecter le moment où l'utilisateur commence à lire la vidéo.

doLoad: function() {
this.video = document.getElementById("video");
this.c1 = document.getElementById("c1");
this.ctx1 = this.c1.getContext("2d");
this.c2 = document.getElementById("c2");
this.ctx2 = this.c2.getContext("2d");
let self = this;
this.video.addEventListener("play", function() {
self.width = self.video.videoWidth / 2;
self.height = self.video.videoHeight / 2;
self.timerCallback();
}, false);
},

Copier après la connexion

Ce code obtient des références à l'élément vidéo et à deux éléments canevas dans le document XHTML, et obtient également des références au contexte graphique des deux canevas. Ceux-ci seront utilisés lorsque nous implémenterons l’effet d’incrustation chroma.

addEventListener() écoute l'élément vidéo et est appelé lorsque l'utilisateur appuie sur le bouton de lecture de la vidéo. Afin de gérer la lecture de l'utilisateur, ce code prend la largeur et la hauteur de la vidéo, la divise par deux (nous réduirons de moitié la taille de la vidéo lors de l'exécution de l'effet d'incrustation chromatique), puis appelle la méthode timerCallback() pour lancer la capture vidéo. et calculs d'effets visuels.

Rappel du minuteur

La fonction de rappel du minuteur est appelée lorsque la lecture de la vidéo commence (lorsque l'événement "play" se produit), et est ensuite responsable de son propre appel périodique pour implémenter des effets spéciaux de saisie pour chaque image de la vidéo.

timerCallback: function() {
if (this.video.paused || this.video.ended) {
return;
}
this.computeFrame();
let self = this;
setTimeout(function () {
self.timerCallback();
}, 0);
},

Copier après la connexion

La fonction de rappel vérifie d'abord si la vidéo est en cours de lecture ; sinon, la fonction de rappel ne fait rien et revient immédiatement.

Appelez ensuite la méthode calculateFrame(), qui effectue des effets spéciaux d'incrustation chroma sur l'image vidéo actuelle.

La dernière chose que fait la fonction de rappel est d'appeler setTimeout() afin qu'elle puisse être rappelée dès que possible. Dans un environnement réel, vous pouvez définir la fréquence des appels en fonction de la fréquence d'images de la vidéo.

Traitement des données d'image vidéo

La méthode calculateFrame(), comme indiqué ci-dessous, est en fait responsable de la récupération des données de chaque image et de l'exécution des effets spéciaux d'incrustation chroma.

computeFrame: function() {
this.ctx1.drawImage(this.video, 0, 0, this.width, this.height);
let frame = this.ctx1.getImageData(0, 0, this.width, this.height);
let l = frame.data.length / 4;

for (let i = 0; i < l; i++) {
let r = frame.data[i * 4 + 0];
let g = frame.data[i * 4 + 1];
let b = frame.data[i * 4 + 2];
if (g > 100 && r > 100 && b < 43)
frame.data[i * 4 + 3] = 0;
}
this.ctx2.putImageData(frame, 0, 0);
return;
}

Copier après la connexion

Lorsqu'il est appelé, l'élément vidéo affichera les données de l'image vidéo les plus récentes, comme indiqué ci-dessous :

HTML5 : utilisez Canvas pour traiter la vidéo en temps réel

À la ligne 2, l'élément vidéo vidéo Le cadre est copié dans le contexte graphique du premier canevas ctx1, avec les valeurs de hauteur et de largeur spécifiées comme étant la moitié de la taille du cadre que nous avons enregistré précédemment. Notez que vous pouvez dessiner l'image vidéo actuelle en passant l'élément vidéo à la méthode drawImage() du contexte de dessin. Le résultat est :

HTML5 : utilisez Canvas pour traiter la vidéo en temps réel

La troisième ligne de code obtient une copie des données d'image originales de l'image vidéo actuelle en appelant la méthode getImageData() du premier contexte de canevas. Il fournit les données d'image brutes en pixels de 32 bits afin que nous puissions les manipuler. La ligne 4 du code calcule le nombre total de pixels dans l'image en divisant la longueur totale des données de l'image par 4.

La 6ème ligne de code scanne tous les pixels dans une boucle, obtient les valeurs rouge, verte et bleue de chaque pixel et les compare avec la couleur d'arrière-plan prédéfinie. image d'arrière-plan importée dans foo.png remplacer.

Pour chaque pixel détecté comme arrière-plan, faites remplacer sa valeur alpha par zéro, indiquant que le pixel est complètement transparent. En conséquence, la partie d'arrière-plan de l'image finale est transparente à 100 %, de sorte que lorsqu'elle est dessinée dans le contexte de la cible sur la ligne 13, l'effet est que le contenu est superposé à l'arrière-plan statique.

L'image résultante ressemble à ceci :

HTML5 : utilisez Canvas pour traiter la vidéo en temps réel

Faites cela à plusieurs reprises pendant la lecture de la vidéo afin que image par image soit traitée, restituant ainsi la chroma -Key spéciale effets.

Pour en savoir plus sur HTML5 : utiliser Canvas pour traiter la vidéo en temps réel, veuillez faire attention au site Web PHP chinois !