基于相机参照的透视变换
最编程
2024-04-07 15:11:30
...
一、原理
原理参考
https://www.cnblogs.com/wangguchangqing/p/8287585.html
其实就是多视图模型
二、 核心公式
单应矩阵
同一平面两个不同相机坐标系的单应矩阵
同一平面得到的两个图像间的单应矩阵H为
三、示例代码
//
// src: 输入图像
// top:输出图像
// top2:输出图像2
void to_top(const cv::Mat &src, cv::Mat &top, cv::Mat & top2)
{
// 相机内参
cv::Mat K = (cv::Mat_<double>(3,3) <<
1681.52901998965, 0, 667.945786496189,
0, 1510.91314479132, 375.142239238734,
0, 0, 1);
// 注:世界坐标 z超下,所以将外参z反了一下
cv::Mat Rot = (cv::Mat_<double>(4,4) <<
1, 0, 0, 0,
0, 1, 0, 0,
0, 0, -1, 0,
0, 0, 0, 1);
// 外参
cv::Mat extrinsic = (cv::Mat_<double>(4, 4) <<
-0.003859404269123161, -0.9999420008273281, -0.01005484858798479, -0.11,
0.01403883800665975, 0.009999753335606716, -0.9998514469463201, 1.51,
0.999894002395309, -0.003999989333341806, 0.01399943067495647, 0.59,
0, 0, 0, 1) * Rot;
// 添加平移
cv::Mat T = (cv::Mat_<double>(3,1) << -15, 0, 15);
// 目标顶视图相机虚拟内存那
cv::Mat K_top = (cv::Mat_<double>(3,3) <<
320, 0, 320,
0, 320, 320,
0, 0, 1);
// 原始相机在地平面里的高度
double d = 1.51;
double invd = 1.0/d;
// 原始相机坐标系中,地平面的法向量
cv::Mat n = extrinsic(cv::Rect(0, 0, 3, 3)) * (cv::Mat_<double>(3,1) << 0, 0, 1);
std::cout << "n = " << std::endl << n << std::endl;
cv::Mat nT;
cv::transpose(n, nT);
cv::Mat H = extrinsic(cv::Rect(0, 0, 3, 3)).inv() + T * nT * invd;
cv::Mat Homography = K_top * H * K.inv();
cv::warpPerspective(src, top2, Homography, cv::Size(640, 640));
// 另一种方法:展示了透视变换原理的实现
// 内参取逆,用于将像素坐标转换到原始相机坐标系
cv::Mat Kinv = K.inv();
double KI[3][3], Kt[3][3];
for(int i = 0; i < 3; i++)
{
for(int j = 0; j < 3; j++)
{
KI[i][j] = Kinv.at<double>(i, j);
Kt[i][j] = K_top.at<double>(i, j);
}
}
// 初始化生成图
top = cv::Mat(640, 640, CV_8UC3, cv::Scalar(0,0,0));
for(int i = 0; i < src.rows; i++)
{
const cv::Vec3b *p = src.ptr<cv::Vec3b>(i);
for(int j = 0; j < src.cols; j++)
{
// 计算每个原始像素在相机坐标系下的坐标
double x = KI[0][0] * j + KI[0][1] * i + KI[0][2];
double y = KI[1][0] * j + KI[1][1] * i + KI[1][2];
double z = KI[2][0] * j + KI[2][1] * i + KI[2][2];
// 由于相机坐标系下的点坐标不具备唯一性,但是在已知平面上,具备唯一性
// 可通过此来唯一化坐标,此时用到了 d 和 NT
if(y !=0)
{
x /= -y;
z /= -y;
y /= -y;
// 注:以下为计算过程,此处只是修改了坐标轴方向,将此坐标转换到目标相机坐标系系
double xx = x + 0;
double yy = -z + 0;
double zz = y + 10;
// to top: 使用目标相机内参转到像素坐标
double u = Kt[0][0] * xx + Kt[0][1] * yy + Kt[0][2] * zz;
double v = Kt[1][0] * xx + Kt[1][1] * yy + Kt[1][2] * zz;
double s = Kt[2][0] * xx + Kt[2][1] * yy + Kt[2][2] * zz;
if(s != 0)
{
u /= s;
v /= s;
if(v >=640 || u >= 640 || v < 0 || u < 0) continue;
uchar * q = (top.data + (int(v)*640+(int)u)*3);
q[0] = p[j][0];
q[1] = p[j][1];
q[2] = p[j][2];
}
}
}
}
}
//
// src: 输入图像
// top:输出图像
// top2:输出图像2
void to_top(const cv::Mat &src, cv::Mat &top, cv::Mat & top2)
{
// 相机内参
cv::Mat K = (cv::Mat_<double>(3,3) <<
1681.52901998965, 0, 667.945786496189,
0, 1510.91314479132, 375.142239238734,
0, 0, 1);
// 注:世界坐标 z超下,所以将外参z反了一下
cv::Mat Rot = (cv::Mat_<double>(4,4) <<
1, 0, 0, 0,
0, 1, 0, 0,
0, 0, -1, 0,
0, 0, 0, 1);
// 外参
cv::Mat extrinsic = (cv::Mat_<double>(4, 4) <<
-0.003859404269123161, -0.9999420008273281, -0.01005484858798479, -0.11,
0.01403883800665975, 0.009999753335606716, -0.9998514469463201, 1.51,
0.999894002395309, -0.003999989333341806, 0.01399943067495647, 0.59,
0, 0, 0, 1) * Rot;
// 添加平移
cv::Mat T = (cv::Mat_<double>(3,1) << -15, 0, 15);
// 目标顶视图相机虚拟内存那
cv::Mat K_top = (cv::Mat_<double>(3,3) <<
320, 0, 320,
0, 320, 320,
0, 0, 1);
// 原始相机在地平面里的高度
double d = 1.51;
double invd = 1.0/d;
// 原始相机坐标系中,地平面的法向量
cv::Mat n = extrinsic(cv::Rect(0, 0, 3, 3)) * (cv::Mat_<double>(3,1) << 0, 0, 1);
std::cout << "n = " << std::endl << n << std::endl;
cv::Mat nT;
cv::transpose(n, nT);
cv::Mat H = extrinsic(cv::Rect(0, 0, 3, 3)).inv() + T * nT * invd;
cv::Mat Homography = K_top * H * K.inv();
cv::warpPerspective(src, top2, Homography, cv::Size(640, 640));
// 另一种方法:展示了透视变换原理的实现
// 内参取逆,用于将像素坐标转换到原始相机坐标系
cv::Mat Kinv = K.inv();
double KI[3][3], Kt[3][3];
for(int i = 0; i < 3; i++)
{
for(int j = 0; j < 3; j++)
{
KI[i][j] = Kinv.at<double>(i, j);
Kt[i][j] = K_top.at<double>(i, j);
}
}
// 初始化生成图
top = cv::Mat(640, 640, CV_8UC3, cv::Scalar(0,0,0));
for(int i = 0; i < src.rows; i++)
{
const cv::Vec3b *p = src.ptr<cv::Vec3b>(i);
for(int j = 0; j < src.cols; j++)
{
// 计算每个原始像素在相机坐标系下的坐标
double x = KI[0][0] * j + KI[0][1] * i + KI[0][2];
double y = KI[1][0] * j + KI[1][1] * i + KI[1][2];
double z = KI[2][0] * j + KI[2][1] * i + KI[2][2];
// 由于相机坐标系下的点坐标不具备唯一性,但是在已知平面上,具备唯一性
// 可通过此来唯一化坐标,此时用到了 d 和 NT
if(y !=0)
{
x /= -y;
z /= -y;
y /= -y;
// 注:以下为计算过程,此处只是修改了坐标轴方向,将此坐标转换到目标相机坐标系系
double xx = x + 0;
double yy = -z + 0;
double zz = y + 10;
// to top: 使用目标相机内参转到像素坐标
double u = Kt[0][0] * xx + Kt[0][1] * yy + Kt[0][2] * zz;
double v = Kt[1][0] * xx + Kt[1][1] * yy + Kt[1][2] * zz;
double s = Kt[2][0] * xx + Kt[2][1] * yy + Kt[2][2] * zz;
if(s != 0)
{
u /= s;
v /= s;
if(v >=640 || u >= 640 || v < 0 || u < 0) continue;
uchar * q = (top.data + (int(v)*640+(int)u)*3);
q[0] = p[j][0];
q[1] = p[j][1];
q[2] = p[j][2];
}
}
}
}
}
推荐阅读
-
事件相机 PROPHESEE EVK4 紧凑型基于事件的高清视觉评估套件 视觉传感 EVK4
-
无人机图像匹配论文解读:基于变换器的无人机视图地理信息特征分割和区域对齐方法
-
胶粘物分割与计数应用实践(II)--基于距离变换+分水岭算法的 Halcon/OpenCV 实现比较
-
基于参照物的 AIGC 图像生成技术在家居导向领域的应用
-
基于消失点的相机自校准
-
相机失真、内部和外部参照、不失真图像、OpenCV 中的相机校准
-
[姿势估计] 实践记录:使用 Dlib 和 mediapipe 进行人脸姿势估计 - 本文重点介绍方法 2):方法 1:基于深度学习的方法:。 基于深度学习的方法:基于深度学习的方法利用深度学习模型,如卷积神经网络(CNN)或递归神经网络(RNN),直接从人脸图像中学习姿势估计。这些方法能够学习更复杂的特征表征,并在大规模数据集上取得优异的性能。方法二:基于二维校准信息估计三维姿态信息(计算机视觉 PnP 问题)。 特征点定位:人脸姿态估计的第一步是通过特征点定位来检测和定位人脸的关键点,如眼睛、鼻子和嘴巴。这些关键点提供了人脸的局部结构信息,可用于后续的姿势估计。 旋转表示:常见的旋转表示方法包括欧拉角和旋转矩阵。欧拉角通过三个旋转角度(通常是俯仰、偏航和滚动)描述头部的旋转姿态。旋转矩阵是一个 3x3 矩阵,表示头部从一个坐标系到另一个坐标系的变换。 三维模型重建:根据特征点的定位结果,三维人脸模型可用于姿势估计。通过将人脸的二维图像映射到三维模型上,可以估算出人脸的旋转和平移信息。这就需要建立人脸的三维模型,然后通过优化方法将模型与特征点对齐,从而获得姿势估计结果。 特征点定位 特征点定位是用于检测人脸关键部位的五官基础部分,还有其他更多的特征点表示方法,大家可以参考我上一篇文章中介绍的特征点检测方案实践:人脸校正二次定位操作来解决人脸校正的问题,客户在检测关键点的代码上略有修改,坐标转换部分客户见上图 def get_face_info(image). img_copy = image.copy image.flags.writeable = False image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = face_detection.process(image) # 在图像上绘制人脸检测注释。 image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) box_info, facial = None, None if results.detections: for detection in results. for detection in results.detections: mp_drawing.Drawing.detection = 无 mp_drawing.draw_detection(image, detection) 面部 = detection.location_data.relative_keypoints 返回面部 在上述代码中,返回的数据是五官(6 个关键点的坐标),这是用 mediapipe 库实现的,下面我们可以尝试用另一个库:dlib 来实现。 使用 dlib 使用 Dlib 库在 Python 中实现人脸关键点检测的步骤如下: 确保已安装 Dlib 库,可使用以下命令: pip install dlib 导入必要的库: 加载 Dlib 的人脸检测器和关键点检测器模型: 读取图像并将其灰度化: 使用人脸检测器检测图像中的人脸: 对检测到的人脸进行遍历,并使用关键点检测器检测人脸关键点: 显示绘制了关键点的图像: 以下代码将参数 landmarks_part 添加到要返回的关键点坐标中。
-
基于相机参照的透视变换
-
2021-06-23 四月基于标签的位置估计,原理,完整代码(相机坐标系,世界坐标系)
-
基于拥抱脸部数据集和变换器的图像相似性搜索