Patch embed 的映射矩阵多大?
最编程
2024-07-08 07:17:11
...
假设我们有一个图像,其大小为 (H \times W \times C),其中 (H) 是图像的高度,(W) 是图像的宽度,(C) 是图像的通道数(例如,RGB 图像的通道数为 3)。
-
将图像划分成 patches:
- 假设我们将图像划分成大小为 (P \times P) 的 patches。
- 这样我们就会得到 (\frac{H}{P} \times \frac{W}{P}) 个 patches。
-
将每个 patch 展开成一个向量:
- 每个 patch 的大小为 (P \times P \times C),展开成一个长度为 (P^2 \cdot C) 的向量。
-
应用线性嵌入(Linear Embedding):
- 使用一个线性变换将每个长度为 (P^2 \cdot C) 的向量映射到一个固定的维度,这个维度通常被称为 embedding dimension,记为 (D)。
- 这个线性变换通常用一个权重矩阵来表示,形状为 (D \times (P^2 \cdot C))。
所以,总结一下,patch embedding layer 的大小和形状如下:
- 输入大小:每个 patch 的大小为 (P^2 \cdot C)。
- 输出大小:embedding dimension (D)。
- 权重矩阵的形状:(D \times (P^2 \cdot C))。
如果具体举个例子,假设一个图像的大小为 (224 \times 224 \times 3),每个 patch 的大小为 (16 \times 16),embedding dimension (D) 为 768。
- 图像被划分成 (\frac{224}{16} \times \frac{224}{16} = 14 \times 14) 个 patches。
- 每个 patch 的大小为 (16 \times 16 \times 3 = 768)。
- patch embedding layer 的权重矩阵大小为 (768 \times 768)。
推荐阅读
-
Patch embed 的映射矩阵多大?
-
线性映射:凯利的矩阵乘法导论 - 4 与 SVD 的联系
-
[姿势估计] 实践记录:使用 Dlib 和 mediapipe 进行人脸姿势估计 - 本文重点介绍方法 2):方法 1:基于深度学习的方法:。 基于深度学习的方法:基于深度学习的方法利用深度学习模型,如卷积神经网络(CNN)或递归神经网络(RNN),直接从人脸图像中学习姿势估计。这些方法能够学习更复杂的特征表征,并在大规模数据集上取得优异的性能。方法二:基于二维校准信息估计三维姿态信息(计算机视觉 PnP 问题)。 特征点定位:人脸姿态估计的第一步是通过特征点定位来检测和定位人脸的关键点,如眼睛、鼻子和嘴巴。这些关键点提供了人脸的局部结构信息,可用于后续的姿势估计。 旋转表示:常见的旋转表示方法包括欧拉角和旋转矩阵。欧拉角通过三个旋转角度(通常是俯仰、偏航和滚动)描述头部的旋转姿态。旋转矩阵是一个 3x3 矩阵,表示头部从一个坐标系到另一个坐标系的变换。 三维模型重建:根据特征点的定位结果,三维人脸模型可用于姿势估计。通过将人脸的二维图像映射到三维模型上,可以估算出人脸的旋转和平移信息。这就需要建立人脸的三维模型,然后通过优化方法将模型与特征点对齐,从而获得姿势估计结果。 特征点定位 特征点定位是用于检测人脸关键部位的五官基础部分,还有其他更多的特征点表示方法,大家可以参考我上一篇文章中介绍的特征点检测方案实践:人脸校正二次定位操作来解决人脸校正的问题,客户在检测关键点的代码上略有修改,坐标转换部分客户见上图 def get_face_info(image). img_copy = image.copy image.flags.writeable = False image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = face_detection.process(image) # 在图像上绘制人脸检测注释。 image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) box_info, facial = None, None if results.detections: for detection in results. for detection in results.detections: mp_drawing.Drawing.detection = 无 mp_drawing.draw_detection(image, detection) 面部 = detection.location_data.relative_keypoints 返回面部 在上述代码中,返回的数据是五官(6 个关键点的坐标),这是用 mediapipe 库实现的,下面我们可以尝试用另一个库:dlib 来实现。 使用 dlib 使用 Dlib 库在 Python 中实现人脸关键点检测的步骤如下: 确保已安装 Dlib 库,可使用以下命令: pip install dlib 导入必要的库: 加载 Dlib 的人脸检测器和关键点检测器模型: 读取图像并将其灰度化: 使用人脸检测器检测图像中的人脸: 对检测到的人脸进行遍历,并使用关键点检测器检测人脸关键点: 显示绘制了关键点的图像: 以下代码将参数 landmarks_part 添加到要返回的关键点坐标中。