WebCodec - 보내기 및 받기-JS 튜토리얼-php.cn

집

웹 프론트엔드

JS 튜토리얼

WebCodec - 보내기 및 받기

Patricia Arquette

Oct 09, 2024 pm 04:35 PM

소개

안녕하세요! ?

이 튜토리얼에서는 WebCodec API를 사용하여 비디오를 보내고 받는 방법을 보여 드리겠습니다.

먼저 서버 코딩을 시작해 보겠습니다.

서버 설정

피어 간에 패킷을 보내고 받으려면 웹소켓 서버가 필요합니다.

이를 위해 nodejs를 사용하여 매우 기본적인 서버를 생성하겠습니다. 먼저 프로젝트를 초기화하세요:

npm init -y

로그인 후 복사

그런 다음 필요한 모듈을 설치합니다.

npm i ws express

로그인 후 복사

다음으로 "index.js"라는 새 파일을 만들고 다음 코드로 채웁니다.

// server.js
const WebSocket = require('ws');
const express = require('express');

const app = express();
const port = 3000;
const connectedClients = new Set();

app.use(express.static(__dirname + '/public'));

const wss = new WebSocket.Server({ noServer: true });

wss.on('connection', ws => {
  console.log('new connection');
  connectedClients.add(ws);

  ws.on('message', message => {
    connectedClients.forEach(client => {
      if (client !== ws && client.readyState === WebSocket.OPEN) {
        client.send(message);
      }
    });
  });

  ws.once('close', () => {
    connectedClients.delete(ws);
    console.log('connection closed');
  });
});

const server = app.listen(port, () => {
  console.log(`server running on port ${port}`);
});

server.on('upgrade', (request, socket, head) => {
  wss.handleUpgrade(request, socket, head, (ws) => {
    wss.emit('connection', ws, request);
  });
});

로그인 후 복사

위 코드는 공개 디렉토리를 제공하고 연결된 모든 피어에게 패킷을 보내는 웹소켓 연결을 처리하는 데 너무 복잡한 것은 없습니다. ?

다음으로 발신자 부분을 처리하겠습니다. 먼저 "public"이라는 새 디렉터리를 만듭니다

mkdir public

로그인 후 복사

발신자 생성

우리가 만들 첫 번째 프런트엔드 파일은 방송 중인 파일입니다. 공개 항목에 "sender.html"이라는 새 파일을 만들고 다음 HTML로 채웁니다.

<!DOCTYPE html>
<html lang="en">
  <head>
    <meta charset="UTF-8"/>
    <meta name="viewport" content="width=device-width, initial-scale=1.0"/>
    <title>Sender</title>
    <style>
      video, canvas {
        width: 640px;
        height: 480px;
        border: 2px solid black;
        margin: 10px;
      }
    </style>
  </head>
  <body>
    <video id="video" autoplay playsinline></video>
    <canvas id="canvas" width="640" height="480"></canvas>

    <script>
      const videoElement = document.getElementById('video');
      const canvas = document.getElementById('canvas');
      const ctx = canvas.getContext('2d');
      let videoEncoder;
      let socket;

      const initWebSocket = () => {
        socket = new WebSocket('ws://localhost:3000');

        socket.onopen = () => console.log('WebSocket connected');
        socket.onerror = error => console.error('WebSocket error:', error);
      };

      const initEncoder = () => {
        videoEncoder = new VideoEncoder({
          output: (encodedChunk) => {
            const chunkData = new Uint8Array(encodedChunk.byteLength);
            encodedChunk.copyTo(chunkData);

            if (socket.readyState === WebSocket.OPEN) {
              socket.send(chunkData.buffer);
            }
          },
          error: (error) => console.error('Encoding error:', error)
        });

        videoEncoder.configure({
          codec: 'vp8',
          width: 640,
          height: 480,
          bitrate: 1_000_000,
          framerate: 30
        });
      };

      navigator.mediaDevices.getUserMedia({ video: true })
        .then((stream) => {
          videoElement.srcObject = stream;
          const videoTrack = stream.getVideoTracks()[0];
          const processor = new MediaStreamTrackProcessor(videoTrack);
          const reader = processor.readable.getReader();

          const processFrames = async () => {
            while (true) {
              const { value: videoFrame, done } = await reader.read();
              if (done) break;

              ctx.drawImage(videoFrame, 0, 0, canvas.width, canvas.height);
              videoEncoder.encode(videoFrame, { keyFrame: true });
              videoFrame.close();
            }
          };

          processFrames();
        })
        .catch((error) => console.error('Failed to get camera', error));

        initEncoder();
        initWebSocket();
    </script>
  </body>
</html>

로그인 후 복사

코드의 기능을 분석하고 설명합니다.

HTML 구조
- 동영상 요소는 사용자 카메라의 실시간 영상을 표시합니다
- 캔버스 요소는 비디오 피드의 개별 프레임을 표시하는 데 사용됩니다. 이는 각 인코딩된 프레임의 시각적 미리보기를 제공합니다
자바스크립트 코드
- initWebSocket 함수는 WebSocket 서버에 연결됩니다. 이 연결은 인코딩된 프레임을 수신기로 스트리밍하는 데 필수적입니다
- initEncoder 함수는 VideoEncoder 개체를 생성합니다. 인코더가 새로운 청크를 생성할 때마다 실행되는 출력 콜백을 정의합니다
- videoEncoder.configure()는 코덱을 1Mbps 비트 전송률 및 30FPS의 VP8로 설정하여 부드럽고 고품질의 인코딩을 보장합니다
- getUserMedia 호출은 카메라에 대한 액세스를 요청하는 데 사용됩니다. 비디오 피드는 비디오 요소에 할당되며 VideoTrackProcessor를 사용하면 각 프레임을 실시간으로 처리할 수 있습니다
- processFrames 함수는 비디오에서 프레임을 읽어 캔버스 요소에 표시하고 videoEncoder.encode()를 사용하여 각 프레임을 인코딩합니다. 그런 다음 각 프레임은 인코딩된 청크로 서버에 전송됩니다.

휴! 그 내용이 이해되셨기를 바랍니다. 다음으로 스트림을 수신할 파일을 생성하겠습니다. ?

수신기 만들기

이 파일은 WebSocket을 통해 인코딩된 비디오 청크를 수신하고 디코딩한 후 캔버스 요소에 표시합니다.

"receiver.html"이라는 공개 디렉토리 아래에 새 파일을 만들고 다음을 입력합니다.

<!DOCTYPE html>
<html lang="en">
  <head>
    <meta charset="UTF-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0"/>
    <title>Receiver</title>
    <style>
      canvas {
        width: 640px;
        height: 480px;
        border: 2px solid black;
        margin: 10px;
      }
    </style>
  </head>
  <body>
    <canvas id="canvas" width="640" height="480"></canvas>

    <script>
      const canvas = document.getElementById('canvas');
      const ctx = canvas.getContext('2d');
      let videoDecoder;

      const initWebSocket = () => {
        const socket = new WebSocket('ws://localhost:3000');
        socket.binaryType = 'arraybuffer';

        socket.onmessage = event => {
          decodeFrame(event.data);
        };
        socket.onerror = error => console.error('WebSocket error:', error);
      };

      const initDecoder = () => {
        videoDecoder = new VideoDecoder({
          output: (videoFrame) => {
            ctx.drawImage(videoFrame, 0, 0, canvas.width, canvas.height);
            videoFrame.close();
          },
          error: (error) => console.error('Decoding error:', error)
        });

        videoDecoder.configure({
          codec: 'vp8',
          width: 640,
          height: 480
        });
      };

      const decodeFrame = (encodedData) => {
        const chunk = new EncodedVideoChunk({
          type: 'key',
          timestamp: performance.now(),
          data: new Uint8Array(encodedData)
        });

        videoDecoder.decode(chunk);
      };

      initDecoder();
      initWebSocket();
    </script>
  </body>
</html>

로그인 후 복사

위 파일을 분석하려면:

HTML
- 캔버스 요소는 디코딩된 비디오 프레임의 기본 표시 영역입니다. 보낸 사람 페이지와 동일하게 너비, 높이, 테두리가 고정되어 있습니다.
자바스크립트
- initWebSocket 함수는 새로운 WebSocket 연결을 생성하여 보낸 사람으로부터 인코딩된 프레임을 수신하고 디코딩을 위해 decodeFrame()에 전달합니다.
- initDecoder는 VP8 코덱용으로 구성된 VideoDecoder 개체를 초기화합니다. 디코더는 각 프레임을 캔버스로 출력합니다.
- decodeFrame은 인코딩된 데이터를 가져와 EncodedVideoChunk(현재 타임스탬프가 포함된 키 프레임)로 래핑한 다음 videoDecoder.decode()를 통해 디코딩합니다. 각 프레임은 캔버스에 실시간으로 표시됩니다

휴! 이제 필요한 모든 부분이 준비되었으므로 실제로 실행해 보겠습니다. ?

코드 실행

코드를 실행하려면 다음 명령을 실행하세요.

node index.js

로그인 후 복사

그런 다음 브라우저에서 http://localhost:3000/sender.html을 지정하세요
카메라에 대한 액세스를 허용한 다음 다른 탭을 열어
http://localhost:3000/receiver.html

아래와 같이 보낸 사람이 보내는 스트림을 볼 수 있습니다.

WebCodec - Sending and Receiving

결론

이 튜토리얼에서는 카메라에 액세스하고, 인코딩하고, WebSocket을 통해 청크를 보내고, 디코딩하여 수신기 측에 표시하는 방법을 보여주었습니다. 이 튜토리얼이 도움이 되었기를 바랍니다. ?

언제나 그렇듯이 내 github을 통해 코드를 얻을 수 있습니다.
https://github.com/ethand91/webcodec-stream

즐거운 코딩하세요! ?

내 작품이 마음에 드시나요? 다양한 주제로 포스팅을 하고 있으니 더 보고 싶으시면 좋아요와 팔로우 부탁드립니다.
또 나는 커피를 좋아한다.

WebCodec - Sending and Receiving

코딩 인터뷰에서 좋은 성적을 내기 위해 알고리즘 패턴을 배우고 싶다면 [다음 과정](https://algolab.so/p/algorithms-and-data-structure-video-course?affcode=1413380_bzrepgch)을 추천합니다

위 내용은 WebCodec - 보내기 및 받기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

뜨거운 주제

Gmail 이메일의 로그인 입구는 어디에 있나요?

7909

자바 튜토리얼

1652

Cakephp 튜토리얼

1411

라라벨 튜토리얼

1303

PHP 튜토리얼

1248

Related knowledge

프론트 엔드 열 용지 영수증에 대한 차량 코드 인쇄를 만나면 어떻게해야합니까? Apr 04, 2025 pm 02:42 PM

프론트 엔드 개발시 프론트 엔드 열지대 티켓 인쇄를위한 자주 묻는 질문과 솔루션, 티켓 인쇄는 일반적인 요구 사항입니다. 그러나 많은 개발자들이 구현하고 있습니다 ...

Demystifying JavaScript : 그것이하는 일과 중요한 이유 Apr 09, 2025 am 12:07 AM

JavaScript는 현대 웹 개발의 초석이며 주요 기능에는 이벤트 중심 프로그래밍, 동적 컨텐츠 생성 및 비동기 프로그래밍이 포함됩니다. 1) 이벤트 중심 프로그래밍을 사용하면 사용자 작업에 따라 웹 페이지가 동적으로 변경 될 수 있습니다. 2) 동적 컨텐츠 생성을 사용하면 조건에 따라 페이지 컨텐츠를 조정할 수 있습니다. 3) 비동기 프로그래밍은 사용자 인터페이스가 차단되지 않도록합니다. JavaScript는 웹 상호 작용, 단일 페이지 응용 프로그램 및 서버 측 개발에 널리 사용되며 사용자 경험 및 크로스 플랫폼 개발의 유연성을 크게 향상시킵니다.

누가 더 많은 파이썬이나 자바 스크립트를 지불합니까? Apr 04, 2025 am 12:09 AM

기술 및 산업 요구에 따라 Python 및 JavaScript 개발자에 대한 절대 급여는 없습니다. 1. 파이썬은 데이터 과학 및 기계 학습에서 더 많은 비용을 지불 할 수 있습니다. 2. JavaScript는 프론트 엔드 및 풀 스택 개발에 큰 수요가 있으며 급여도 상당합니다. 3. 영향 요인에는 경험, 지리적 위치, 회사 규모 및 특정 기술이 포함됩니다.

Shiseido의 공식 웹 사이트와 같은 시차 스크롤 및 요소 애니메이션 효과를 달성하는 방법은 무엇입니까? 또는: Shiseido의 공식 웹 사이트와 같은 페이지 스크롤과 함께 애니메이션 효과를 어떻게 달성 할 수 있습니까? Apr 04, 2025 pm 05:36 PM

이 기사에서 시차 스크롤 및 요소 애니메이션 효과 실현에 대한 토론은 Shiseido 공식 웹 사이트 (https://www.shiseido.co.jp/sb/wonderland/)와 유사하게 달성하는 방법을 살펴볼 것입니다.

JavaScript는 배우기가 어렵습니까? Apr 03, 2025 am 12:20 AM

JavaScript를 배우는 것은 어렵지 않지만 어려운 일입니다. 1) 변수, 데이터 유형, 기능 등과 같은 기본 개념을 이해합니다. 2) 마스터 비동기 프로그래밍 및 이벤트 루프를 통해이를 구현하십시오. 3) DOM 운영을 사용하고 비동기 요청을 처리합니다. 4) 일반적인 실수를 피하고 디버깅 기술을 사용하십시오. 5) 성능을 최적화하고 모범 사례를 따르십시오.

JavaScript의 진화 : 현재 동향과 미래 전망 Apr 10, 2025 am 09:33 AM

JavaScript의 최신 트렌드에는 Typescript의 Rise, 현대 프레임 워크 및 라이브러리의 인기 및 WebAssembly의 적용이 포함됩니다. 향후 전망은보다 강력한 유형 시스템, 서버 측 JavaScript 개발, 인공 지능 및 기계 학습의 확장, IoT 및 Edge 컴퓨팅의 잠재력을 포함합니다.