MNN 支持 NPU la!!!!
...
2016 - 2017年，AlphaGo 先后战胜李世石和柯洁，随着深度学习进入公众视野的，还有 Google 的 TPU 。
之后，Qualcomm、Apple 等芯片厂商也相继进入了这个战场。
一时间，APU、TPU、NPU 成了科技媒体的宠儿，各大厂商在发布会上的跑分比武应接不暇。
而 XPU 们也确实凭借着为深度学习定制的向量、矩阵、张量计算单元和更高效的缓存设计等，实现了数倍于 CPU、GPU 的性能。
以麒麟 NPU 为例，从18年7月的麒麟970到19年9月的麒麟 990 ，短短两年就实现了数倍的性能提升，是不是有一种摩尔定律再临的感觉？
除了性能强劲之外，XPU 的功耗相比于 CPU、GPU 也要更低。
依然以麒麟810和990为例，接近1/10的功耗表现，可以和我的电量恐惧症说再见了！
MNN 作为阿里巴巴开源的端侧推理引擎，已经支撑了两届淘宝双十一。
我们以轻量级的推理引擎和配套工具，支持 Caffe、TensorFlow、PyTorch 训练框架和端侧 CPU、GPU、NPU 上的高效推理。
手机淘宝中有许多对实时性和精度要求都比较高业务，例如视频流检测、拍立淘等等。
在算力有限的情况下，性能和精度往往不可兼得 —— 要么接受更慢的响应速度，保障精度，例如放弃视频流，只支持图片；
要么舍弃一部分精度，用更小的模型换取更快的速度。
HiAI 是华为端侧 AI 能力开放平台，通过 HiAI Foundation 芯片能力开放，可以借助异构调度和 NPU 加速， 获得更佳的性能和功耗，有了这样性能和功耗同时得以提升的方案， MNN 就可以在配备了 NPU 的设备上启用那个名场面 —— 我全都要！
那么，究竟要怎么做呢？
毕竟NPU是完全不同于CPU和GPU的计算设备。
在这里，就需要简单回顾一下 MNN 对计算设备的抽象了。
计算设备在 MNN 中，被抽象为 Backend ，即后端；
每一种后端都有三种职责：
计算资源的分配、计算任务的调度、数据拷贝（含必要的格式转换）。
MNN 在实现对华为 NPU 支持的时候，就依赖了这种抽象设计。
具体来说，创建会话阶段，我们会在 NPUExecution 的 onCreate 方法中，将 MNN 的 Op 转换为 HiAI 的 OM Op ，逐步构建出 OM 的模型图；
资源分配阶段，我们会在 NPUBackend 的 onResizeEnd 方法中，编译 OM 的模型图，生成 NPU 可用的 IR 模型，并预留出输入输出相关的 AI Tensor ；
在推理运行阶段，我们会借助 NPUBackend 的 onCopyBuffer 方法，将输入数据从 MNN Tensor 拷贝到 AITensor ，而后利用华为 NPU 执行推理计算，再将结果从 AITensor 拷贝到 MNN Tensor。
整个过程看上去还是非常复杂的，但是 MNN 把绝大部分复杂的工作隐藏在了后端的抽象设计中。
用户在使用的时候，只需要将 backend 的 type 设置为 NPU ，就可以实现对 NPU 的调用。
同
时，如果设备不支持 NPU ，还可以自动将计算回退到 CPU 上来实现。
在今年的双十一中，拍立淘率先使用了 MNN + NPU 的能力。
我们和天猫以及其他商家展开深度合作，推出了商家扫 Logo 活动 —— 用户可以像扫二维码一样，在扫描商家 Logo 后，获取商家发放的权益。
在 NPU 加速之后，商家 Logo 在手机上只需要几毫秒的时间，就可以精准识别。
是的，就是如此丝滑。
拍立淘在双十一期间开启了数十个品牌的 Logo 扫描，相关招商渠道建设中，敬请关注拍立淘官方渠道。
准备好你的脑洞吧。
现在想试一试的话，还可以掏出你的手机，打开手机淘宝扫一扫，下列Logo都可以玩起来啦~
笔者和 Apple、Arm、华为等公司的工程师都有过交流，大家对 XPU 的未来都一致看好。
虽然 APU、TPU、NPU 间的乱战可能还要持续上三五年，但在深度学习应用领域，它们逐步从云端走向终端，逐步替代 CPU、GPU 应当是大势所趋。
MNN 会持续关注 NPU 领域的发展。
同时，MNN 和华为 NPU 的合作也还在进一步推进中，后续 MNN 的相关代码会在建设更成熟之后开源。
我们也同样期待华为在 NPU 方面的进一步发展。
淘宝基础平台部-端智能团队欢迎
移动端计算优化工程师
和
推理引擎架构师
的加入。
对新技术感兴趣，善于创新突破，渴望用新技术给用户带来创新体
验的同学请联系我们。
简历投递至
chengfei.lcf@alibaba-inc.com
淘系技术，实力为2019年双11而战！稳！
重磅| 淘宝轻量级的深度学习端侧推理引擎 MNN 开源
