Python verwendet OpenCV zur Kalibrierung

Dieser Artikel stellt hauptsächlich die Verwendung von OpenCV zur Kalibrierung in Python vor. Jetzt kann ich ihn mit allen teilen, die ihn benötigen.

Dieser Artikel kombiniert die offiziellen OpenCV-Beispiele Stellen Sie ein offizielles Beispiel bereit. Ändern Sie den Code im Beispiel, damit er normal ausgeführt werden kann, und führen Sie Experimente und Erklärungen zu den von Ihnen gesammelten Daten durch.

1. Vorbereitung

OpenCV verwendet ein Schachbrett zur Kalibrierung, wie in der Abbildung unten gezeigt. Um die Kamera zu kalibrieren, müssen wir eine Reihe von 3D-Punkten und die entsprechenden 2D-Bildpunkte eingeben. Auf einem schwarz-weißen Schachbrett lassen sich zweidimensionale Bildpunkte durch Eckenerkennung leicht finden. Was ist mit dreidimensionalen Punkten in der realen Welt? Während unserer Sammlung platzierten wir die Kamera an einer Stelle, bewegten die Schachbrett-Kalibrierungsplatte an verschiedene Positionen und fotografierten sie dann. Wir müssen also den Wert von (X,Y,Z) kennen. Vereinfacht ausgedrückt definieren wir die Ebene, auf der sich das Schachbrett befindet, als XY-Ebene, also Z=0. Für die Kalibrierungstafel können wir die quadratische Größe des Schachbretts kennen, z. B. 30 mm, sodass wir die Eckpunktkoordinaten auf dem Schachbrett als (0,0,0), (30,0,0), (60, 0,0),..., die Einheit dieses Ergebnisses ist mm.

3D-Punkte werden als Objektpunkte bezeichnet, und 2D-Bildpunkte werden als Bildpunkte bezeichnet.

2. Schachbretteckpunkte erkennen

Um die Schachbrettvorlage zu finden, verwenden wir openCV Die Funktion cv2.findChessboardCorners(). Wir müssen dem Programm auch mitteilen, welche Spezifikationen die von uns verwendete Vorlage hat, z. B. ein 8*8-Schachbrett oder ein 5*5-Schachbrett. Es wird empfohlen, eine Schachbrettvorlage mit ungleichen Zahlen in x- und y-Richtung zu verwenden. Im folgenden Experiment verwenden wir ein 10*7 Schachbrett. Jedes Quadrat hat eine Seitenlänge von 20 mm, was bedeutet, dass es 9*6 Innenecken enthält. Wenn diese Funktion die Vorlage erkennt, gibt sie den entsprechenden Eckpunkt zurück und gibt true zurück. Natürlich finden nicht alle Bilder die erforderliche Vorlage, daher können wir mehrere Bilder zur Kalibrierung verwenden. Zusätzlich zur Verwendung eines Schachbretts können wir auch eine Punktmatrix verwenden, und die entsprechende Funktion ist cv2.findCirclesGrid().

Nachdem wir den Eckpunkt gefunden haben, können wir cv2.cornerSubPix() verwenden, um genauere Eckpixelkoordinaten zu erhalten. Wir können auch cv2.drawChessboardCorners() verwenden, um die Ecken zur Anzeige auf das Bild zu zeichnen. Wie in der Abbildung unten gezeigt:

3. Kalibrierung

Durch die oben genannten Schritte Wir erhalten die zur Kalibrierung verwendeten dreidimensionalen Punkte und die entsprechenden zweidimensionalen Punktpaare auf dem Bild. Wir verwenden cv2.librateCamera() zur Kalibrierung. Diese Funktion gibt das Kalibrierungsergebnis, die intrinsische Parametermatrix, den Verzerrungskoeffizienten, die Rotationsmatrix und den Translationsvektor zurück.

4. Entzerrung

Im dritten Schritt haben wir die kamerainternen Parameter und Verzerrungskoeffizienten ermittelt Im Bild können wir auch cv.getOptimalNewCameraMatrix() verwenden, um die internen Parameter und Verzerrungskoeffizienten zu optimieren, indem wir den freien Skalierungsfaktor Alpha festlegen. Wenn Alpha auf 0 gesetzt ist, wird ein getrimmter innerer Parameter und Verzerrungskoeffizient zurückgegeben, der unerwünschte Pixel nach der Entzerrung entfernt. Wenn Alpha auf 1 gesetzt ist, wird ein getrimmter innerer Parameter zurückgegeben, der zusätzliche schwarze Pixel enthält, und gibt zurück ein ROI für das Ausschneiden.

Dann können wir die neu erhaltene interne Parametermatrix und den Verzerrungskoeffizienten verwenden, um das Bild zu entzerren. Es gibt zwei Möglichkeiten, Verzerrungen zu entfernen:

(1) Verwenden Sie cv2.undistort()

Dies ist die direkteste Methode. Rufen Sie einfach die Funktion direkt auf. Erhalten Sie die Entzerrung Bild, das mit dem ROI oben zugeschnitten werden kann. Der Code lautet wie folgt:

# undistort
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)

# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png',dst)

Das folgende Bild zeigt das Ergebnis der Entzerrung eines Bildes und der Beibehaltung schwarzer Pixel:

(2) Remmaping verwenden

Dies ist eine zweistufige Methode. Berechnen Sie zunächst eine Zuordnung vom verzerrten Bild zum unverzerrten Bild. und verwenden Sie dann diese Zuordnung, um das Bild zu entzerren.
Der Code lautet wie folgt:

# undistort
mapx,mapy = cv2.initUndistortRectifyMap(mtx,dist,None,newcameramtx,(w,h),5)
dst = cv2.remap(img,mapx,mapy,cv2.INTER_LINEAR)

# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png',dst)

5. Rückprojektionsfehler

Durch den inversen Projektionsfehler können wir die Qualität der Ergebnisse bewerten. Je näher bei 0, desto idealer ist das Ergebnis. Verwenden Sie cv2.projectPoints (), um anhand der zuvor berechneten internen Parametermatrix, des Verzerrungskoeffizienten, der Rotationsmatrix und des Übersetzungsvektors die Projektion des dreidimensionalen Punkts auf das zweidimensionale Bild zu berechnen, und berechnen Sie dann den Fehler zwischen den erhaltenen Punkten Rückprojektion und der auf dem Bild erkannte Punkt. Schließlich wird ein durchschnittlicher Fehler für alle Kalibrierungsbilder berechnet, und dieser Wert ist der Rückprojektionsfehler.

Code

Der Code für alle Schritte lautet wie folgt:

#coding:utf-8
import cv2
import numpy as np
import glob

# 找棋盘格角点
# 阈值
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
#棋盘格模板规格
w = 9
h = 6
# 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0)，去掉Z坐标，记为二维矩阵
objp = np.zeros((w*h,3), np.float32)
objp[:,:2] = np.mgrid[0:w,0:h].T.reshape(-1,2)
# 储存棋盘格角点的世界坐标和图像坐标对
objpoints = [] # 在世界坐标系中的三维点
imgpoints = [] # 在图像平面的二维点

images = glob.glob('calib/*.png')
for fname in images:
 img = cv2.imread(fname)
 gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
 # 找到棋盘格角点
 ret, corners = cv2.findChessboardCorners(gray, (w,h),None)
 # 如果找到足够点对，将其存储起来
 if ret == True:
  cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
  objpoints.append(objp)
  imgpoints.append(corners)
  # 将角点在图像上显示
  cv2.drawChessboardCorners(img, (w,h), corners, ret)
  cv2.imshow('findCorners',img)
  cv2.waitKey(1)
cv2.destroyAllWindows()

# 标定
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

# 去畸变
img2 = cv2.imread('calib/00169.png')
h, w = img2.shape[:2]
newcameramtx, roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),0,(w,h)) # 自由比例参数
dst = cv2.undistort(img2, mtx, dist, None, newcameramtx)
# 根据前面ROI区域裁剪图片
#x,y,w,h = roi
#dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png',dst)

# 反投影误差
total_error = 0
for i in xrange(len(objpoints)):
 imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
 error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
 total_error += error
print "total error: ", total_error/len(objpoints)

Verwandte Empfehlungen:

Die Daten in OpenCVcv::Mat werden in die TXT-Datei geschrieben

Lese- und Schreibvorgänge von OpenCV cv.Mat- und .txt-Dateidaten

Das obige ist der detaillierte Inhalt vonPython verwendet OpenCV zur Kalibrierung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!