使用myCobot280和OAK-D OpenCV DepthAI摄像头制作一个实时脸部跟踪的手机支架！-3D Face Tracking

在XY平面上跟踪面部

通过对OAK-D摄像头获取的图像进行面部检测，可以获取相机画面中面部的坐标（x, y）。

将OAK-D摄像头画面的中心坐标设为目标值，将面部识别获得的面部坐标（x, y）作为反馈值进行PID控制。

深度方向（Z方向）上的面部跟踪

由于OAK-D摄像头配备了立体摄像头，因此不仅可以获取平面上的面部坐标，还可以获取深度方向的面部坐标z。将面部与显示屏之间既不过近也不过远的距离设为目标值，利用立体摄像头测量的面部坐标（z）作为反馈值进行PID控制。

myCobot和OAK摄像头

将OAK摄像头和myCobot附带的Raspberry Pi通过USB连接。OAK摄像头计算出面部的目标坐标，myCobot附带的Raspberry Pi根据这些坐标进行PID控制，以调整摄像头的方向。

环境

为myCobot附带的Raspberry Pi进行环境构建。

myCobot

在myCobot的Raspberry Pi版本中，只要接通电源，就可以立即使用。机械臂可以通过Python进行操作，并且官方也提供支持。

# test
from pymycobot.mycobot import MyCobot
 
mycobot = MyCobot('/dev/ttyUSB0')
# 使其直立
# go zero
mycobot.send_angles([0,0,0,0,0,0], 80)

OAK-D OpenCV DepthAI摄像头

安装用于操作OAK-D摄像头的depthai库。

# install dependency
sudo curl -fL http://docs.luxonis.com/_static/install_dependencies.sh | bash
 
# get sources
git clone https://github.com/luxonis/depthai.git
 
# install depthai
python3 install_requirements.py

演示

环境搭建完成后，请运行演示程序。若摄像头能够在保持一定距离的同时追踪面部，则说明系统运行正常。

# get demo sources
git clone https://github.com/tech-life-hacking/depthai.git
 
# execute demo
python3 depthai_demo.py

PID的调整

如果myCobot的动作不稳定，请调整PID值。

# settings
PID_control.PID(P值, I值, D值)
pidX.setTargetPosition(帧中的点的位置(X方向): 范围0-1, 0.5是中心)
pidY.setTargetPosition(帧中的点的位置(Y方向): 范围0-1, 0.5是中心)
pidZ.setTargetPosition(摄像头和面部的距离(米), 0.5米 = 50厘米)

#en
 PID_control.PID(P value, I value, D value)
pidX.setTargetPosition(Position of the point in the frame (X direction): Range 0-1, 0.5 is the center)
pidY.setTargetPosition(Position of the point in the frame (Y direction): Range 0-1, 0.5 is the center)
pidZ.setTargetPosition(Distance between the camera and the face (meters), 0.5m = 50cm)

# default
pidX = PID_control.PID(10, 10, 3.75)
pidY = PID_control.PID(6.5, 5, 2.5)
pidZ = PID_control.PID(50, 30, 20)
pidX.setTargetPosition(0.5)
pidY.setTargetPosition(0.5)
pidZ.setTargetPosition(0.5)

确定目标值

确定myCobot摄像头指向目标值的代码如下。nnData[0]表示OAK-D摄像头检测到的面部包围框的四个角的坐标。将这四个角的坐标和除以2，可以得出包围框的中心点。spatialCoordinates.z是一个方法，用于返回摄像头和面部之间的距离测量结果。

x = (self._nnData[0].xmin + self._nnData[0].xmax) / 2
y = (self._nnData[0].ymin + self._nnData[0].ymax) / 2
z = int(self._nnData[0].spatialCoordinates.z) / 1000