12 月 15 日直播回顾｜ OpenVINO 中的 VPU 相关性能基准

（1）Benchmark 是什么

Benchmark 是官方提供的测试 OpenVINO 推理性能的工具。可以通过学习官方代码了解如何最大程度的挖掘硬件性能，获得更高的推理能力。

（2）Benchmark 有什么用

在实际应用中，硬件设备究竟能达到怎样的性能，是我们关注的焦点。如果我们想用最快的速度来推理一张图片得到推理结果的话，需要将延迟（Latency）尽可能的变小；如果我们想充分挖掘硬件的潜力，在单位时间里尽可能多的处理数据的话，需要将吞吐率（Throughput）尽可能的变大。

这2个参数指标通常是互相对立的。如果要 Lantency 变小，就需要将所有的硬件资源集中起来做一件事；如果要Throughput 变大，就需要将所有的硬件资源都最大限度的调动起来做事，不让每一块电路空闲下来，这也就意味着同时跑很多件事，但是每件事的处理时间会变长。因此，需要通过 Benchmark 工具进行评测其实质是评测卷积神经网络的延时和吞吐效率。