初心者向け Python プロジェクト: OpenCV と Mediapipe を使用して拡張現実描画アプリを構築する-Python チュートリアル-php.cn

初心者向け Python プロジェクト: OpenCV と Mediapipe を使用して拡張現実描画アプリを構築する

Linda Hamilton

リリース： 2025-01-02 14:47:38

オリジナル

737 人が閲覧しました

Beginner Python Project: Build an Augmented Reality Drawing App Using OpenCV and Mediapipe

この Python プロジェクトでは、シンプルな AR 描画アプリを作成します。 Web カメラと手のジェスチャーを使用して、画面上に仮想的に描画したり、ブラシをカスタマイズしたり、作成した作品を保存したりすることもできます。

設定

まず、新しいフォルダーを作成し、次のコマンドを使用して新しい仮想環境を初期化します。

python -m venv venv

ログイン後にコピー

./venv/Scripts/activate

ログイン後にコピー

次に、pip または選択したインストーラーを使用して、必要なライブラリをインストールします。

pip install mediapipe

ログイン後にコピー

pip install opencv-python

ログイン後にコピー

注意

最新バージョンのメディアパイプを Python にインストールすると問題が発生する可能性があります。このブログを書いているときは Python 3.11.2 を使用しています。 Python では必ず互換性のあるバージョンを使用してください。

ステップ 1: ウェブカメラフィードをキャプチャする

最初のステップは、Web カメラをセットアップし、ビデオフィードを表示することです。 OpenCV の VideoCapture を使用してカメラにアクセスし、フレームを継続的に表示します。

import cv2  

# The argument '0' specifies the default camera (usually the built-in webcam).
cap = cv2.VideoCapture(0)

# Start an infinite loop to continuously capture video frames from the webcam
while True:
    # Read a single frame from the webcam
    # `ret` is a boolean indicating success; `frame` is the captured frame.
    ret, frame = cap.read()

    # Check if the frame was successfully captured
    # If not, break the loop and stop the video capture process.
    if not ret:
        break

    # Flip the frame horizontally (like a mirror image)
    frame = cv2.flip(frame, 1)

    # Display the current frame in a window named 'Webcam Feed'
    cv2.imshow('Webcam Feed', frame)

    # Wait for a key press for 1 millisecond
    # If the 'q' key is pressed, break the loop to stop the video feed.
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# Release the webcam resource to make it available for other programs
cap.release()

# Close all OpenCV-created windows
cv2.destroyAllWindows()

ログイン後にコピー

知っていましたか?

OpenCV で cv2.waitKey() を使用する場合、プラットフォームによっては、返されるキーコードに余分なビットが含まれる場合があります。キーの押下を正しく検出するには、結果を 0xFF でマスクして、下位 8 ビット (実際の ASCII 値) を分離します。これがないと、一部のシステムではキーの比較が失敗する可能性があります。そのため、一貫した動作を実現するには、常に & 0xFF を使用してください。

ステップ 2: 手の検出を統合する

Mediapipe の Hands ソリューションを使用して、手を検出し、人差し指や中指などの重要なランドマークの位置を抽出します。

import cv2  
import mediapipe as mp

# Initialize the MediaPipe Hands module
mp_hands = mp.solutions.hands  # Load the hand-tracking solution from MediaPipe
hands = mp_hands.Hands(
    min_detection_confidence=0.9,
    min_tracking_confidence=0.9 
)

cap = cv2.VideoCapture(0)
while True:
    ret, frame = cap.read()
    if not ret:
        break 

    # Flip the frame horizontally to create a mirror effect
    frame = cv2.flip(frame, 1)

    # Convert the frame from BGR (OpenCV default) to RGB (MediaPipe requirement)
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

    # Process the RGB frame to detect and track hands
    result = hands.process(frame_rgb)

    # If hands are detected in the frame
    if result.multi_hand_landmarks:
        # Iterate through all detected hands
        for hand_landmarks in result.multi_hand_landmarks:
            # Get the frame dimensions (height and width)
            h, w, _ = frame.shape

            # Calculate the pixel coordinates of the tip of the index finger
            cx, cy = int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * w), \
                     int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * h)

            # Calculate the pixel coordinates of the tip of the middle finger
            mx, my = int(hand_landmarks.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP].x * w), \
                     int(hand_landmarks.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP].y * h)

            # Draw a circle at the index finger tip on the original frame
            cv2.circle(frame, (cx, cy), 10, (0, 255, 0), -1)  # Green circle with radius 10

    # Display the processed frame in a window named 'Webcam Feed'
    cv2.imshow('Webcam Feed', frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break  # Exit the loop if 'q' is pressed

# Release the webcam resources for other programs
cap.release()
cv2.destroyAllWindows()

ログイン後にコピー

ステップ 3: 指の位置を追跡して描画する

人差し指を追跡し、人差し指と中指がしきい値の距離だけ離れている場合にのみ描画を許可します。

元のフレームに描画する人差し指の座標のリストを維持し、中指が十分に近づくたびに、破損を示すこの座標配列に None を追加します。

import cv2  
import mediapipe as mp  
import math  

# Initialize the MediaPipe Hands module
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(
    min_detection_confidence=0.9,  
    min_tracking_confidence=0.9   
)

# Variables to store drawing points and reset state
draw_points = []  # A list to store points where lines should be drawn
reset_drawing = False  # Flag to indicate when the drawing should reset

# Brush settings
brush_color = (0, 0, 255)  
brush_size = 5 


cap = cv2.VideoCapture(0)
while True:
    ret, frame = cap.read()  
    if not ret:
        break 

    frame = cv2.flip(frame, 1) 
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) 
    result = hands.process(frame_rgb)  

    # If hands are detected
    if result.multi_hand_landmarks:
        for hand_landmarks in result.multi_hand_landmarks:
            h, w, _ = frame.shape  # Get the frame dimensions (height and width)

            # Get the coordinates of the index finger tip
            cx, cy = int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * w), \
                     int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * h)

            # Get the coordinates of the middle finger tip
            mx, my = int(hand_landmarks.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP].x * w), \
                     int(hand_landmarks.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP].y * h)

            # Calculate the distance between the index and middle finger tips
            distance = math.sqrt((mx - cx) ** 2 + (my - cy) ** 2)

            # Threshold distance to determine if the fingers are close (used to reset drawing)
            threshold = 40 

            # If the fingers are far apart
            if distance > threshold:
                if reset_drawing:  # Check if the drawing was previously reset
                    draw_points.append(None)  # None means no line
                    reset_drawing = False  
                draw_points.append((cx, cy))  # Add the current point to the list for drawing
            else:  # If the fingers are close together set the flag to reset drawing
                reset_drawing = True  # 

    # Draw the lines between points in the `draw_points` list
    for i in range(1, len(draw_points)):
        if draw_points[i - 1] and draw_points[i]:  # Only draw if both points are valid
            cv2.line(frame, draw_points[i - 1], draw_points[i], brush_color, brush_size)


    cv2.imshow('Webcam Feed', frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# Release the webcam and close all OpenCV windows
cap.release()
cv2.destroyAllWindows()

ログイン後にコピー