升级自动驾驶技术：BEVformer的全面应用
回顾上一期：用BEVformer来卷自动驾驶-1 (qq.com)
上一期我们讲到了从3D到4D（加了时间概念）以后使得BEV能变得更厉害，具体这种厉害其实是可以解决纯视觉解决方案里面最难解决的问题，就是基于恶劣天气，或者拍的不清楚的时候，或者突然有遮挡的时候，融入时间的概念，可以很大一定程度上提升解决方案的准确度
总结一下上一期我们介绍的
- 2D：一个摄像头2维平面特征
- 3D：多摄像头特征融合的BEV高维空间
- 4D: 加了时间序列的BEV更高维空间
我们继续
思考一下在特征融合的时候我们可能会遇到哪些问题？
- 自动驾驶它不是静态画面对吧？那必然涉及到不同时刻的特征，这部分差异要对齐
- 不同传感器的时间绝对相同么？不一定，那时间差异要对齐
- 把多个特征最后都要映射到同一个坐标系里面，空间位置也要对齐
- 谁来对齐？
还是拿图来举例说明
比如上图看2维空间的一个自西向东行驶的汽车，它的座舱位置在T-1时刻和T1时刻是覆盖在不同的像素点之下的，T-1时刻座舱玻璃是绿色的像素点，T时刻是粉丝的像素点，我们要开启BEV上帝视角，就自然要设定一个偏移量，比如T-1到T时刻，座舱的像素点取数据要在X轴上加a。
那么这个a偏移量假设世界上真的有足够聪明的人，或者足够有经验的人可以定义，但是还要考虑定义此时Y轴上的偏移；还要定义可能和这个车存在同一个摄像头画面里的其他的对象的偏移定义，所以用人是不现实的，这块我们交给模型做预测就可以了。
另外空间上的补偿也用一个图来说明，这个相对简单点
比如针对左上角视角的摄像头a。正常它负责的区域，就是左上角扇形区域的视野，但是你保证摄像头的内外参的映射和校对一定是完美的吗？包括由于日常行驶的时候的一些突然发生的问题，所谓是未必的。这个空间上的差异也需要通过模型去矫正，进而在2D转3D的时候映射到相对准确的特征空间
当校对并且融合完毕后，我们可以近似理解为我们得出了BEV，就是上帝视角下的被重构的一个特征空间，当然在这个特征空间的大小我们可以自己定义
BEV可以想象成一个Tensor
假设我画的下面这个图是200*200的矩阵(实在画不下).....
这个每一个对应的小方块（在现实世界一般是米为单位的，1米或0.5米完全取决于你要求的细致程度），每一个方块我们其实可以把它理解为一个向量，那么我们形成的BEV可以干什么呢？
特征空间你可以给它想象成一个网络，特征空间的大小，也就是网格的间隔决定了你的精度，你可以弄200*200，那是不是得到了4万个向量组成的在高维空间上融合的tensor呢？
你甚至可以做400*400那就是16万了，做多大都可以，看你显存的实力了。特征空间稀疏的，那计算肯定就快，如果你是个密集的特征空间，那肯定速度上要牺牲一些。
在特征空间里，我们可以以全局视角来进行预测，整个空间的长和宽（比如200*200）都给出来了，只需要来计算每个方块的具体特征是啥就可以了。
如果在任务中把每个点的特征都做出来了，你在高维空间中做物体检测啥的，这就是已经现成了（传统比如Yolo,DETR，还得先构建特征空间和向量）
又或者你拿着这些做分割或者其他的下游任务，那也是手到擒来了，现在的主流本来就是同一个共享的特征空间，不同的下游任务，愿意做啥做啥，打个比方就好像打游戏时候别人还在新手村探索地图，而你已经开挂了，知道所有藏宝的位置
我们继续以一个图来讨论可能会发生的问题
当特征空间确认了下来，比如200*200，那它需要和我的6个摄像头来计算特征吧？
比如每一个摄像头是100*100，那4万个点中的每一个点要和6个摄像头都算一遍，我就需要进行6万次计算
200*200的特征空间每一个点去和6个100*100摄像头计算就要24亿次...
我相信这个时候会有读者想到，要不做空间压缩，把200*200变为20*20，那这种以牺牲细节为代价的想法，可能又没法真正商用，我们还是要考虑现实世界的最起码精度要求...
那我想又当又立怎么办？可以实现吗？
答案是可以的，这个时候BEVformer就出来了
今天就讲到这，后面讲BEVformer, 铺垫了2天，才讲完BEV还没说BEVformer是啥...
上一篇： 深入解析Redisson的使用方法
推荐阅读
-
数字旅游引领未来智慧之旅：技术应用深度旅游生态，智能服务全面升级打造极致高品质旅游体验
-
InfoQ，谈谈百度开源高性能搜索引擎 Puck-Ben：Puck是团队长期研究和努力的成果，作为Puck的负责人，我对这个项目有着深深的热爱和执着，对我个人而言，它不仅仅是一个搜索引擎，而是代表着团队心血和智慧的结晶，它是我们对技术的追求，对创新的执着，也是我们对未来的期望和愿景，Puck的每一次升级和优化都记录着我们的成长和进步。这是我们对技术的追求，对创新的执着，也是我们对未来的期望和憧憬，帕克的每一次升级和优化都记录着我们的成长和进步。 我对帕克的未来充满期待。首先，我希望 Puck 能够在开发者社区得到广泛应用，同时得到社区的反馈，不断优化和改进。我期待看到更多的人参与到Puck的开发和使用中来，通过大家的共同努力，让Puck成为人工智能领域有影响力的工具。其次，我希望Puck能够不断创新和优化，保持技术领先地位，不仅要适应当前的技术需求，更要预测和引领未来的技术趋势。最后，我希望Puck能在更多的实际应用中实现自身价值，为人工智能在各行各业的应用提供有力支撑，推动科技发展。 访谈嘉宾简介： Ben，百度搜索内容技术部主任架构师，负责多模态内容理解、超大规模内容关系计算、内容处理与生成、模型优化等方向。 欢迎加入朋克技术交流群：913964818 本部门招聘ANN搜索工程师、模型优化工程师、分布式计算研发工程师等多个职位。欢迎勇于接受挑战、具有优秀分析和解决问题能力的人才加入我们。 招聘邮箱：tianyakun@baidu.com --END-- 推荐阅读
-
41 个下载免费 3D 模型的最佳网站-使用说明：使用权限可能因型号而异。因此，在下载文件之前，请仔细检查每个下载页面上的许可证和使用权限。 17. Clara.io Clara.io 是一个创建 3D 内容的全球平台，也是一个培养新 3D 艺术家的社区。Clara.io 提供+100，000个免费的3D模型，包括OBJ，Blend，STL，FBX，DAE，Babylon.JS，Three.JS格式，用于 Clara.io，Unity 3D，Blender，Sketchup，Cinema 4D，3DS Max和Maya。 使用说明：免费，标准和专业帐户仅供个人使用，如果您需要将 clara.io 用于商业用途，请与销售团队联系。 18. 3DExport 3DExport是一个市场，您可以在其中购买和销售用于CG项目的3D模型，3D打印模型和纹理。它提供15 +不同的3D格式供下载，如3DS MAX（.max），Cinema4D（.c4d），Maya（.mb，.ma），Lightwave（.lwo），Softimage（.xsi），Wavefront OBJ（.obj），Autodesk FBX（.fbx）等。它还提供15种不同的语言！ 使用说明：免费下载仅供个人和非商业用途。 19. 3D Warehouse 3D Warehouse是一个开放的库，允许用户共享和下载SketchUp 3D模型，用于建筑，设计，施工和娱乐！任何人都可以免费制作，修改和重新上传内容到3D仓库，您可以找到任何您能想到的东西，如家具，电子产品，室内产品等。 使用说明：3D Warehouse中的所有模型都是免费的，因此任何人都可以下载文件以用于SketchUp甚至其他软件，如AutoCAD，Revit和ArchiCAD。 20. CadNav.com CadNav是CGI平面设计师和CAD / CAM / CAE工程师的在线3D模型库，我们提供超过50000 +免费3D模型和CAD模型下载。在CadNav网站上，您可以下载高质量的多边形网格3D模型，3D CAD实体对象，纹理，Vray材料，3D作品，CAD图纸等。 使用说明：免费下载仅供个人和非商业用途。 21. All3dfree.net 就像网站名称一样，它提供免费的3D模型，还包括Vray材料，CAD块，2d和3d纹理集合，无需注册即可免费下载。它是不断更新的，因此您可以查找或请求3DS，MAX，C4D，skp，OBJ，FBX，MTL等格式的模型。 使用说明：所有资源均不允许用于商业用途，否则您将承担责任。 22. Hum3D 自2005年以来，Hum3D帮助来自3多个国家的80D艺术家节省3D建模时间，并制作逼真的3D模型，用于电影，视频游戏，AR应用程序和可视化。所有模型均由首席3D艺术家进行验证，他们检查其是否符合专业要求和最新的3D建模标准。 使用说明：免费下载仅供个人和非商业用途。 23. Artist-3D.com 艺术家-3D 库存的免费 3D 模型下载按通用类别排序。它为人体解剖学、汽车、家具、火箭、卫星等模型提供 AutoDesk 3DS Max 格式。您还可以在浏览他们的网站时找到教程和类似类型的建模。 使用说明：使用权限可能因型号而异。因此，在下载文件之前，请仔细检查每个下载页面上的许可证和使用权限。 24. Free the models 就像本网站的标题一样，它为3d应用程序和3d游戏引擎提供免费的内容模型。您可以为您的任何项目找到许多有趣且有用的模型！它提供3ds，wavefront，bryce，poser，lightwave，md2和unity3d格式的模型。还有一个很棒的纹理集合，可以在您最喜欢的建模和渲染程序中使用。 使用说明：您从这里下载的所有内容都可以免费使用，除非它不能包含在另一个免费的网络或CD收藏中，也不能单独出售。否则，您可以在商业游戏，3D应用程序或渲染作品中使用它。您不必提供信用，但如果您这样做，那就太好了。 25. Resources.blogscopia 本网站由一家名为Scopia的公司创建。他们制作3D图像和视频，您可以找到许多为CGI工作的信息架构设计的模型，所有这些都可以在现实生活中使用。您可以免费下载它们，但是，如果您想一次下载它们，您可以支付 3 到 9 欧元。 使用说明：您可以免费下载模型部分的所有文件。每个压缩文件都包含您也可以在此处找到的许可证。基本上，您可以对文件执行任何操作。唯一的限制是不归属于Scopia的重新分发。 26.ambientCG 1000+公共领域PBR材料适合所有人！环境CG是使用许多不同的方法和资产类型创建的，例如照片纹理（PBR），贴花（PBR），图集（PBR），照片纹理（普通），物质存档（SBSAR），雕刻画笔，3D模型和地形。您可以在所有项目中*使用它们！ 使用说明：在 ambientCG 上提供下载的所有 PBR 材料、画笔、照片和 3D 模型均根据知识共享 CC0 1.0 通用许可提供。您可以复制、修改、分发和执行作品，即使是出于商业目的，也无需征得许可。信用将不胜感激。 不要满足于平庸的大理石纹理 - 立即使用我们的免费PBR大理石纹理升级您的3D设计。 27.Pixar One Twenty Eight 这是一个提供官方动画行业经典纹理的网站：皮克斯，创建于 1993 年，该纹理库包括 128 个重复纹理，现在免费提供。 它包含您来到的纹理，包括砖块和动物毛皮。肯定会有一些你可以使用的东西。 使用说明：皮克斯动画工作室的《Pixar One Twenty Eight》根据知识共享署名4.0国际许可协议进行许可。即使出于商业目的，您也可以重新混合、调整和构建您的作品，只要您以相同的条款对新创作进行信用和许可。 访问数以千计的免费纹理并提升您的设计游戏 - 立即开始下载！ 28. 3DXO 即使有近 620 个免费贴纸可供下载，3DXO 也不是最大的资源，但它的内容非常有用，不需要注册。无论是简单的墙壁或地板，还是一些奇怪的小东西，您都需要的纹理都可以在此网站上看到。 使用说明：使用权限可能因型号而异。因此，在下载文件之前，请仔细检查每个下载页面上的许可证和使用权限。 29. 3DModelsCC0 3DModelsCC0 与其他产品的不同之处在于它包含超过 250+ 个高质量 3D 模型，并且本网站上的所有内容都是免费的，完全是公共领域！使用我们的模型时无需信用或归属！ 使用说明：为每个人提供完全免费的公共领域内容。 30.Sketch up texture club Sketchup Texture Club是一个非营利性的教育和信息门户网站，由3D社区的图像促进协会管理，特别强调面向学生和建筑和室内设计专业人士的可视化和渲染技术，以及所有正在学习3D可视化的人。 使用说明：您无需支付版税或使用费。纹理可以免费下载和使用。不允许将纹理作为竞争产品出售或重新分发，即使图像被修改也是如此。 31. FlippedNormals FlippedNormal 是一个提供计算机图形和 3D 资产的市场，您可以找到许多用于雕刻、建模、纹理、概念艺术、3D 模型、游戏资产或课程的高级资产！ 使用说明：使用权限可能因型号而异。因此，在下载文件之前，请仔细检查每个下载页面上的许可证和使用权限。 32. NASA 3D NASA 3D网站是一个在线门户，提供与太空和各种NASA任务相关的大量三维模型和模拟。该网站是用户友好的，并提供有关每个型号的详细信息。该网站允许用户探索和下载几种不同格式的模型，包括 OBJ、STL 和 FBX，只需单击下载按钮即可。 使用说明： 要下载模型，只需单击模型页面上的下载按钮并选择所需的格式。 33. 3DAGOGO (Astroprint) 3DAGOGO 是一个提供广泛 3D 模型的网站，包括角色、车辆和建筑物。3DAGOGO 的独特功能之一是它专注于适合 3D 打印的模型，使其成为希望创建物理原型或模型的设计师的绝佳资源。要使用 3DAGOGO，设计师只需在网站上搜索他们正在寻找的模型类型，然后下载 STL 格式的文件。 使用说明： 要使用 3DAGOGO，只需搜索所需的 3D 模型类型并下载 STL 格式的文件。根据需要自定义模型，并确保在将其用于商业目的之前检查使用权限。 34. FreeCAD FreeCAD是一款了不起的3D建模软件，可让您在计算机上创建令人难以置信的3D设计。该软件可免费下载和使用，它提供了广泛的工具和功能，可用于创建用于各种目的的3D模型。 该网站易于浏览，您可以找到开始使用FreeCAD的所有必要信息。此外，该网站还提供一系列教程和指南，可帮助您了解 3D 建模的来龙去脉。 使用说明： 要下载模型，请访问网站并从库中选择所需的模型。该网站还提供了一系列使用该软件的教程和指南。 35. Pinshape Pinshape是一个提供一系列3D打印模型的网站。网站上提供的型号质量很高，因此您可以确保您的最终印刷产品看起来很棒。该网站提供了广泛的模型，包括从家居用品到小雕像和珠宝的所有物品。 但这还不是Pinshape所能提供的全部！该网站还允许用户上传和共享自己的3D模型。这意味着您不仅可以下载出色的模型，还可以通过分享自己的设计为社区做出贡献。此外，Pinshape 提供了一系列自定义选项，因此您可以调整和调整模型以满足您的特定需求。 使用说明： 要下载模型，请在网站上创建一个帐户，搜索所需的模型，然后单击下载按钮。该网站还为每种型号提供了一系列定制选项。 36.Yeggi Yeggi 提供了大量免费的 3D 模型，您可以下载各种格式的模型，例如 STL、OBJ 和 FBX。该网站易于使用，您可以按关键字、类别或特定网站搜索模型。 Yeggi 对于任何寻找 3D 模型的人来说都是一个很好的资源。它提供了大量的模型集合，从日常物品到复杂的机械，以及介于两者之间的一切。该网站的收藏量在不断增长，每天都有新的型号增加。 使用说明： 要下载模型，请在网站上搜索所需的模型，然后单击下载按钮。该网站还提供指向托管模型的原始网站的链接。 37. Open3DModel 来自开放3D模型的图像 Open3DModel具有各种类别的模型，包括建筑，车辆和角色。无论您需要建筑物，汽车还是人的3D模型，都可以在此网站上找到。 该网站易于浏览，您可以按类别或关键字搜索模型。每个模型都附带预览图像和详细信息，例如文件格式、大小和多边形数量。此信息可以帮助您选择适合您需求的模型。 使用说明： 要下载模型，请访问网站，从库中选择所需的模型，然后单击下载按钮。 使用最好的 3D 资产管理工具简化您的 3D 制作流程。立即试用它们，将您的 3D 项目提升到一个新的水平！ 38. 3DExport 对于那些为其 3D 设计项目寻找 3D 模型、纹理和其他资源的人来说，该平台是一个很好的资源。该网站有大量模型可供选择，包括 3D 打印对象、游戏资产等。用户可以按类别、文件格式或价格范围浏览，以找到适合其项目的完美资源。此外，3DExport 还提供一系列教程和其他 3D 资源，以帮助用户提高技能并创建更令人印象深刻的设计。 使用说明： 要使用 3DExport，只需创建一个帐户并浏览可用型号。您可以按类别、格式和价格进行搜索，以找到所需的型号。找到喜欢的模型后，只需下载它并开始在您的项目中使用它。 39.Blend Swap Blend Swap是一个社区驱动的市场，提供与Blender软件兼容的各种免费3D模型。该平台允许用户共享和下载模型、纹理和其他资产，以便在他们的项目中使用。 使用说明： 创建免费帐户后，您可以浏览社区上传的大量3D模型。当您找到要使用的一个时，只需下载它并将其导入您选择的 3D 软件即可。 40. 3DShook 3DShook 是一个高级 3D 模型市场，提供一系列用于建筑、游戏等各个行业的高质量模型。该平台提供基于订阅的模型，具有不同的定价计划，允许用户访问一系列模型。 使用说明： 注册免费帐户后，只需浏览3D模型库，选择您喜欢的模型，然后以您需要的格式下载它们。 41. Smithsonian X 3D 史密森尼 X 3D 对于正在寻找历史文物和文物的高质量 3D 模型的设计师来说，这是一个独特的资源。该平台提供了大量3D模型，这些模型是根据史密森尼博物馆和研究中心中的真实物体扫描创建的。 使用说明：
-
金融科技的高效省力秘籍：打造全面连接、全景覆盖、智能化的数字化运营体系" - 当下金融科技运营：挑战与机遇共存的时代解读 在快速发展的数字技术和企业数字化转型的大背景下，中国金融科技产业步入了提质增效的新阶段。面对市场的起伏变革与不确定性，金融机构需积极拥抱创新，灵活运用新技术，确保在竞争激烈的市场环境中稳固立足。 - 面临的双重考验： 1. 技术迭代压力：持续跟进行业内的科技革新，掌握新兴工具和平台，时刻应对瞬息万变的市场需求是金融科技运营的一大挑战。 2. 安全与隐私挑战：伴随着网络安全风险加剧和数据泄漏频发，如何强化信息安全体系、防范攻击、维护客户资金及隐私安全显得尤为重要。同时，伴随金融科技公司崛起，个人隐私权保障愈发关键。 - 喜人的发展空间： 1. 提升运营效益与降低成本：借助数字化技术，实现流程自动化、信息整合以及数据分析等，有效提升工作效能并缩减运营成本。 2. 扩大市场份额与增收途径：利用数字化手段拓宽销售渠道，优化用户体验，吸引更多用户并带动收入增长。 3. 加强客户联系与提升满意度：通过数字化科技运营，企业能更好地与客户互动沟通，增强客户信任感与忠诚度。 - 构建金融科技降本增效的核心驱动力：实施“全感知、全链接、全场景、智能”的科技运营体系升级路径
-
深度学习中的不确定性量化：2020年实用技术与应用大解析 - 61页精华解读" 这份报告深入剖析了近年来深度学习领域中不确定性量化（UQ）技术的最新发展，包括其在强化学习（RL）中的运用实例。探讨了贝叶斯近似和集成学习等主流UQ方法在各个具体场景中的广泛应用，比如自动驾驶、目标识别、图像修复、医疗影像分析（如分类和分割）、文本理解（如文本分类和风险评估）、以及生物信息学等多个领域。 报告进一步梳理了UQ方法在深度学习领域的关键应用案例，并针对当前面临的挑战及未来研究方向进行了概览和展望，为这一领域的研究人员和实践者提供了有价值的参考指南。
-
美团技术详解：自动驾驶中激光雷达目标检测(下集) - 深度学习方法的应用探索
-
全面解读：实战指南——王昊奋的聊天机器人技术及其实用原理与应用笔记
-
全面了解2023年自动驾驶技术：从状态估计到轨迹控制再到框架应用
-
升级自动驾驶技术：BEVformer的全面应用
-
我的学习笔记：在自动驾驶和机器人中应用的SLAM技术