Menggunakan Python untuk melaksanakan pengesanan tanah awan titik

1. Sistem Koordinat Penglihatan Komputer

Sebelum bermula, adalah penting untuk memahami sistem koordinat tradisional dalam penglihatan komputer. Ini diikuti oleh Open3D dan sensor Microsoft Kinect. Dalam penglihatan komputer, imej diwakili oleh sistem koordinat 2D yang berasingan, di mana paksi-x menghala dari kiri ke kanan dan paksi-y menghala ke atas dan ke bawah. Untuk kamera, asal sistem koordinat 3D adalah pada fokus kamera, dengan paksi-x menghala ke kanan, paksi-y menghala ke bawah dan paksi-z menghala ke hadapan.

Sistem Koordinat Penglihatan Komputer

Kami mula-mula mengimport perpustakaan Python yang diperlukan:

import numpy as np
import open3d as o3d

Untuk pemahaman yang lebih baik, mari mulakan dengan fail PLY, gunakan Open3D untuk mencipta sistem koordinat 3D lalai dan memaparkannya:

# Read point cloud:
pcd = o3d.io.read_point_cloud("data/depth_2_pcd.ply")
# Create a 3D coordinate system:
origin = o3d.geometry.TriangleMesh.create_coordinate_frame(size=0.5)
# geometries to draw:
geometries = [pcd, origin]
# Visualize:
o3d.visualization.draw_geometries(geometries)

dalam sistem koordinat Awan titik dipaparkan di asal

Anak panah biru ialah paksi-Z, anak panah merah ialah paksi-X, dan anak panah hijau ialah paksi-Y. Anda boleh melihat bahawa awan titik diwakili dalam sistem koordinat yang sama seperti sistem koordinat Open3D. Sekarang, mari dapatkan mata dengan nilai minimum dan maksimum untuk setiap paksi:

# Get max and min points of each axis x, y and z:
x_max = max(pcd.points, key=lambda x: x[0])
y_max = max(pcd.points, key=lambda x: x[1])
z_max = max(pcd.points, key=lambda x: x[2])
x_min = min(pcd.points, key=lambda x: x[0])
y_min = min(pcd.points, key=lambda x: x[1])
z_min = min(pcd.points, key=lambda x: x[2])

Kami boleh mencetaknya, tetapi untuk visualisasi yang lebih baik, kami mencipta sfera di setiap lokasi titik. Secara lalai, Open3D mencipta geometri 3D pada asal:

Untuk mengalihkan sfera ke kedudukan tertentu, transformasi terjemahan diperlukan. Dalam contoh di bawah, sfera diterjemahkan oleh vektor [1,1,1]:

Mari kita kembali kepada contoh kita dan berikan setiap sfera warna. Untuk setiap kedudukan, kami mencipta sfera dan menterjemahkannya ke kedudukan itu. Kemudian kami menetapkan warna yang betul dan akhirnya kami menambahnya pada paparan.

# Colors:
RED = [1., 0., 0.]
GREEN = [0., 1., 0.]
BLUE = [0., 0., 1.]
YELLOW = [1., 1., 0.]
MAGENTA = [1., 0., 1.]
CYAN = [0., 1., 1.]


positions = [x_max, y_max, z_max, x_min, y_min, z_min]
colors = [RED, GREEN, BLUE, MAGENTA, YELLOW, CYAN]
for i in range(len(positions)):
 # Create a sphere mesh:
 sphere = o3d.geometry.TriangleMesh.create_sphere(radius=0.05)
 # move to the point position:
 sphere.translate(np.asarray(positions[i]))
 # add color:
 sphere.paint_uniform_color(np.asarray(colors[i]))
 # compute normals for vertices or faces:
 sphere.compute_vertex_normals()
 # add to geometry list to display later:
 geometries.append(sphere)


# Display:
o3d.visualization.draw_geometries(geometries)

Sebenarnya, paksi-y mewakili ketinggian titik: dalam dunia sebenar, bola tertinggi ialah bola kuning dan bola terendah ialah bola hijau. Walau bagaimanapun, oleh kerana paksi-y adalah ke bawah, sfera kuning mempunyai nilai terkecil dan sfera hijau mempunyai nilai terbesar.

Satu lagi sfera yang menarik ialah sfera cyan pada asalnya. Seperti yang kami nyatakan dalam tutorial sebelumnya, piksel dengan nilai kedalaman 0 ialah titik hingar, jadi titik yang terletak pada asal ialah titik yang dikira daripada piksel hingar ini (apabila z=0, kemudian x=0 dan y= 0).

2. Pengesanan Tanah

Sekarang kami telah menunjukkan beberapa perkara penting, bagaimana untuk melakukan pengesanan tanah Dalam contoh sebelumnya, sfera hijau terletak di atas tanah. Untuk tepat, pusatnya sepadan dengan titik tertinggi di sepanjang paksi-y yang merupakan titik tanah. Katakan untuk pengesanan tanah kita menukar warna semua titik dengan y_max kepada hijau

Jika anda memaparkan awan titik, anda akan perasan bahawa tidak semua titik tanah berwarna hijau. Malah, hanya satu titik, sepadan dengan pusat sfera hijau sebelumnya, adalah hijau. Ini disebabkan oleh ketepatan kamera kedalaman dan bunyi bising.

Untuk mengatasi had ini, kita perlu menambah ambang supaya titik dengan koordinat y [y_max-ambang, y_max] dianggap sebagai titik asas. Untuk melakukan ini, selepas mendapat y_max, kami menyemak sama ada koordinat y setiap titik berada dalam selang dan kemudian menetapkan warnanya kepada hijau. Akhir sekali, atribut warna awan titik dikemas kini dan hasilnya dipaparkan.

# Define a threshold:
THRESHOLD = 0.075


# Get the max value along the y-axis:
y_max = max(pcd.points, key=lambda x: x[1])[1]


# Get the original points color to be updated:
pcd_colors = np.asarray(pcd.colors)


# Number of points:
n_points = pcd_colors.shape[0]


# update color:
for i in range(n_points):
# if the current point is aground point:
if pcd.points[i][1] >= y_max - THRESHOLD:
pcd_colors[i] = GREEN# color it green


pcd.colors = o3d.utility.Vector3dVector(pcd_colors)


# Display:
o3d.visualization.draw_geometries([pcd, origin])

Dalam kes ini, kami hanya akan mewarnakan titik yang mewakili hijau tanah. Dalam aplikasi dunia nyata, tanah diekstrak untuk menentukan kawasan yang boleh dilalui, seperti robot atau sistem cacat penglihatan, atau untuk meletakkan objek di atasnya, seperti sistem reka bentuk dalaman. Ia juga boleh dialih keluar, jadi titik yang tinggal boleh dibahagikan atau dikelaskan, seperti dalam pemahaman pemandangan dan sistem pengesanan objek.

3. Awan titik tersusun

Kami tahu bahawa awan titik ditakrifkan sebagai set titik 3D. Set ialah struktur tidak tertib, jadi awan titik yang diwakili oleh set itu dipanggil awan titik tidak teratur. Sama seperti matriks RGB, awan titik tersusun ialah matriks 2D dengan 3 saluran yang mewakili koordinat x, y dan z titik. Struktur matriks menyediakan hubungan antara titik bersebelahan, dengan itu mengurangkan kerumitan masa beberapa algoritma, seperti algoritma jiran terdekat.

Sebagai contoh, kami sedang menulis kertas penyelidikan dan kami ingin menunjukkan hasil algoritma pengesanan kami dalam bentuk graf. Kita boleh sama ada mengambil tangkapan skrin awan titik atau memaparkan hasilnya pada imej kedalaman, seperti yang ditunjukkan di bawah. Pada pendapat saya, pilihan kedua adalah yang terbaik. Dalam kes ini, awan titik yang teratur diperlukan untuk menyimpan kedudukan piksel kedalaman.

左：3D 可视化的屏幕截图 右：深度图像的结果

让我们从之前的深度图像创建一个有组织的点云。我们首先导入相机参数。我们还导入深度图像并将其转换为3通道灰度图像，以便我们可以将地面像素设置为绿色：

import imageio.v3 as iio
import numpy as np
import matplotlib.pyplot as plt


# Camera parameters:
FX_DEPTH = 5.8262448167737955e+02
FY_DEPTH = 5.8269103270988637e+02
CX_DEPTH = 3.1304475870804731e+02
CY_DEPTH = 2.3844389626620386e+02


# Read depth image:
depth_image = iio.imread('../data/depth_2.png')
# Compute the grayscale image:
depth_grayscale = np.array(256 * depth_image / 0x0fff, dtype=np.uint8)
# Convert a grayscale image to a 3-channel image:
depth_grayscale = np.stack((depth_grayscale,) * 3, axis=-1)

要计算一个有组织的点云，我们使用与上一篇教程相同的方法（Python：基于 RGB-D 图像的点云计算）。我们没有将深度图像扁平化，而是将jj和ii重塑为与深度图像相同的形状，如下所示:

# get depth image resolution:
height, width = depth_image.shape
# compute indices and reshape it to have the same shape as the depth image:
jj = np.tile(range(width), height).reshape((height, width))
ii = np.repeat(range(height), width).reshape((height, width))
# Compute constants:
xx = (jj - CX_DEPTH) / FX_DEPTH
yy = (ii - CY_DEPTH) / FY_DEPTH
# compute organised point cloud:
organized_pcd = np.dstack((xx * depth_image, yy * depth_image, depth_image))

如果你打印出创建的点云的形状，你可以看到它是一个有3个通道的矩阵(480,640,3)。如果你觉得这个代码很难理解，请回到之前的教程（Python：基于 RGB-D 图像的点云计算）。

类似地，我们像上面那样检测地面，但不是更新点的颜色并显示点云，而是更新灰度图像的像素并显示它:

# Ground_detection:
THRESHOLD = 0.075 * 1000# Define a threshold
y_max = max(organized_pcd.reshape((height * width, 3)), key=lambda x: x[1])[
1]# Get the max value along the y-axis


# Set the ground pixels to green:
for i in range(height):
for j in range(width):
if organized_pcd[i][j][1] >= y_max - THRESHOLD:
depth_grayscale[i][j] = [0, 255, 0]# Update the depth image


# Display depth_grayscale:
plt.imshow(depth_grayscale)
plt.show()

4.结论

在本教程中，为了熟悉点云，我们引入了默认坐标系统，并实现了一个简单的地面检测算法。事实上，地面检测在某些应用(如导航)中是一项重要的任务，文献中已经提出了几种算法。实现算法简单;它认为最低点是地面。然而，它的限制是，深度相机必须与地面平行，这是大多数现实应用的情况不是这样的。

Atas ialah kandungan terperinci Menggunakan Python untuk melaksanakan pengesanan tanah awan titik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!