WebCodec - 보내기 및 받기-JS 튜토리얼-php.cn

소개

안녕하세요! ?

이 튜토리얼에서는 WebCodec API를 사용하여 비디오를 보내고 받는 방법을 보여 드리겠습니다.

먼저 서버 코딩을 시작해 보겠습니다.

서버 설정

피어 간에 패킷을 보내고 받으려면 웹소켓 서버가 필요합니다.

이를 위해 nodejs를 사용하여 매우 기본적인 서버를 생성하겠습니다. 먼저 프로젝트를 초기화하세요:

npm init -y

로그인 후 복사

그런 다음 필요한 모듈을 설치합니다.

npm i ws express

로그인 후 복사

다음으로 "index.js"라는 새 파일을 만들고 다음 코드로 채웁니다.

// server.js
const WebSocket = require('ws');
const express = require('express');

const app = express();
const port = 3000;
const connectedClients = new Set();

app.use(express.static(__dirname + '/public'));

const wss = new WebSocket.Server({ noServer: true });

wss.on('connection', ws => {
  console.log('new connection');
  connectedClients.add(ws);

  ws.on('message', message => {
    connectedClients.forEach(client => {
      if (client !== ws && client.readyState === WebSocket.OPEN) {
        client.send(message);
      }
    });
  });

  ws.once('close', () => {
    connectedClients.delete(ws);
    console.log('connection closed');
  });
});

const server = app.listen(port, () => {
  console.log(`server running on port ${port}`);
});

server.on('upgrade', (request, socket, head) => {
  wss.handleUpgrade(request, socket, head, (ws) => {
    wss.emit('connection', ws, request);
  });
});

로그인 후 복사

위 코드는 공개 디렉토리를 제공하고 연결된 모든 피어에게 패킷을 보내는 웹소켓 연결을 처리하는 데 너무 복잡한 것은 없습니다. ?

다음으로 발신자 부분을 처리하겠습니다. 먼저 "public"이라는 새 디렉터리를 만듭니다

mkdir public

로그인 후 복사

발신자 생성

우리가 만들 첫 번째 프런트엔드 파일은 방송 중인 파일입니다. 공개 항목에 "sender.html"이라는 새 파일을 만들고 다음 HTML로 채웁니다.

<!DOCTYPE html>
<html lang="en">
  <head>
    <meta charset="UTF-8"/>
    <meta name="viewport" content="width=device-width, initial-scale=1.0"/>
    <title>Sender</title>
    <style>
      video, canvas {
        width: 640px;
        height: 480px;
        border: 2px solid black;
        margin: 10px;
      }
    </style>
  </head>
  <body>
    <video id="video" autoplay playsinline></video>
    <canvas id="canvas" width="640" height="480"></canvas>

    <script>
      const videoElement = document.getElementById('video');
      const canvas = document.getElementById('canvas');
      const ctx = canvas.getContext('2d');
      let videoEncoder;
      let socket;

      const initWebSocket = () => {
        socket = new WebSocket('ws://localhost:3000');

        socket.onopen = () => console.log('WebSocket connected');
        socket.onerror = error => console.error('WebSocket error:', error);
      };

      const initEncoder = () => {
        videoEncoder = new VideoEncoder({
          output: (encodedChunk) => {
            const chunkData = new Uint8Array(encodedChunk.byteLength);
            encodedChunk.copyTo(chunkData);

            if (socket.readyState === WebSocket.OPEN) {
              socket.send(chunkData.buffer);
            }
          },
          error: (error) => console.error('Encoding error:', error)
        });

        videoEncoder.configure({
          codec: 'vp8',
          width: 640,
          height: 480,
          bitrate: 1_000_000,
          framerate: 30
        });
      };

      navigator.mediaDevices.getUserMedia({ video: true })
        .then((stream) => {
          videoElement.srcObject = stream;
          const videoTrack = stream.getVideoTracks()[0];
          const processor = new MediaStreamTrackProcessor(videoTrack);
          const reader = processor.readable.getReader();

          const processFrames = async () => {
            while (true) {
              const { value: videoFrame, done } = await reader.read();
              if (done) break;

              ctx.drawImage(videoFrame, 0, 0, canvas.width, canvas.height);
              videoEncoder.encode(videoFrame, { keyFrame: true });
              videoFrame.close();
            }
          };

          processFrames();
        })
        .catch((error) => console.error('Failed to get camera', error));

        initEncoder();
        initWebSocket();
    </script>
  </body>
</html>

로그인 후 복사

코드의 기능을 분석하고 설명합니다.

HTML 구조
- 동영상 요소는 사용자 카메라의 실시간 영상을 표시합니다
- 캔버스 요소는 비디오 피드의 개별 프레임을 표시하는 데 사용됩니다. 이는 각 인코딩된 프레임의 시각적 미리보기를 제공합니다
자바스크립트 코드
- initWebSocket 함수는 WebSocket 서버에 연결됩니다. 이 연결은 인코딩된 프레임을 수신기로 스트리밍하는 데 필수적입니다
- initEncoder 함수는 VideoEncoder 개체를 생성합니다. 인코더가 새로운 청크를 생성할 때마다 실행되는 출력 콜백을 정의합니다
- videoEncoder.configure()는 코덱을 1Mbps 비트 전송률 및 30FPS의 VP8로 설정하여 부드럽고 고품질의 인코딩을 보장합니다
- getUserMedia 호출은 카메라에 대한 액세스를 요청하는 데 사용됩니다. 비디오 피드는 비디오 요소에 할당되며 VideoTrackProcessor를 사용하면 각 프레임을 실시간으로 처리할 수 있습니다
- processFrames 함수는 비디오에서 프레임을 읽어 캔버스 요소에 표시하고 videoEncoder.encode()를 사용하여 각 프레임을 인코딩합니다. 그런 다음 각 프레임은 인코딩된 청크로 서버에 전송됩니다.

휴! 그 내용이 이해되셨기를 바랍니다. 다음으로 스트림을 수신할 파일을 생성하겠습니다. ?

수신기 만들기

이 파일은 WebSocket을 통해 인코딩된 비디오 청크를 수신하고 디코딩한 후 캔버스 요소에 표시합니다.

"receiver.html"이라는 공개 디렉토리 아래에 새 파일을 만들고 다음을 입력합니다.

<!DOCTYPE html>
<html lang="en">
  <head>
    <meta charset="UTF-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0"/>
    <title>Receiver</title>
    <style>
      canvas {
        width: 640px;
        height: 480px;
        border: 2px solid black;
        margin: 10px;
      }
    </style>
  </head>
  <body>
    <canvas id="canvas" width="640" height="480"></canvas>

    <script>
      const canvas = document.getElementById('canvas');
      const ctx = canvas.getContext('2d');
      let videoDecoder;

      const initWebSocket = () => {
        const socket = new WebSocket('ws://localhost:3000');
        socket.binaryType = 'arraybuffer';

        socket.onmessage = event => {
          decodeFrame(event.data);
        };
        socket.onerror = error => console.error('WebSocket error:', error);
      };

      const initDecoder = () => {
        videoDecoder = new VideoDecoder({
          output: (videoFrame) => {
            ctx.drawImage(videoFrame, 0, 0, canvas.width, canvas.height);
            videoFrame.close();
          },
          error: (error) => console.error('Decoding error:', error)
        });

        videoDecoder.configure({
          codec: 'vp8',
          width: 640,
          height: 480
        });
      };

      const decodeFrame = (encodedData) => {
        const chunk = new EncodedVideoChunk({
          type: 'key',
          timestamp: performance.now(),
          data: new Uint8Array(encodedData)
        });

        videoDecoder.decode(chunk);
      };

      initDecoder();
      initWebSocket();
    </script>
  </body>
</html>

로그인 후 복사

위 파일을 분석하려면:

HTML
- 캔버스 요소는 디코딩된 비디오 프레임의 기본 표시 영역입니다. 보낸 사람 페이지와 동일하게 너비, 높이, 테두리가 고정되어 있습니다.
자바스크립트
- initWebSocket 함수는 새로운 WebSocket 연결을 생성하여 보낸 사람으로부터 인코딩된 프레임을 수신하고 디코딩을 위해 decodeFrame()에 전달합니다.
- initDecoder는 VP8 코덱용으로 구성된 VideoDecoder 개체를 초기화합니다. 디코더는 각 프레임을 캔버스로 출력합니다.
- decodeFrame은 인코딩된 데이터를 가져와 EncodedVideoChunk(현재 타임스탬프가 포함된 키 프레임)로 래핑한 다음 videoDecoder.decode()를 통해 디코딩합니다. 각 프레임은 캔버스에 실시간으로 표시됩니다

휴! 이제 필요한 모든 부분이 준비되었으므로 실제로 실행해 보겠습니다. ?