IP公司和GPU IP的关系是什么？

 IP 公司与GPU IP

1.IP公司及其处理器IP系列(DSP, GPU, AI)

Synopsys

来源：https://www.synopsys.com/zh-cn/designware-ip.html

ARC处理器

Embedded Vision Processors

EV5x

EV6x

Cadence

来源：https://ip.cadence.com/ipportfolio/tensilica-ip

Tensilica Customizable Processors

- Xtensa LX7

All Tensilica DSPs are built on top of the Xtensa LX7 processor platform

Tensilica HiFi DSPs for Audio, Voice, and Speech

Multi-Purpose DSPs for Any Application

No standard processor can meet the varied demands of any type of application, until now. The Cadence Tensilica Fusion family is a scalable range of general purpose DSP processors designed with flexible options to give designers the ability to shape the DSP into exactly what their application needs.

ConnX DSPs for Baseband and Communications

Vision DSPs for Imaging and Vision

Vision P5 DSP（vision optimized， 2015）

Vision P6 DSP （vision + AI optimized， 2016）

Vision Q6 DSP（ vision+ AI optimized， 2017）

CEVA

来源：https://www.ceva-dsp.com/#

Imaging & Computer Vision

CEVA-XM6 Vision & Deep Learning DSP

CEVA-XM4 Imaging & Vision DSP

AI & Deep Learning

NeuPro Family of AI Processors

CDNN Deep Learning Toolkit

Connectivity

RivieraWaves Wi-Fi Platforms

RivieraWaves Bluetooth Platforms

CEVA-SATA & CEVA-SAS IP

Wireless Communication

PentaG 5G NR IP Platform

CEVA-Dragonfly NB2 Full eNB-IoT IP solution

CEVA-X1 Multi-purpose IoT Processor

CEVA-X2 Multistandard PHY Control Processor

CEVA-XC5 Communication Processor

CEVA-XC12 Multi-gigabit SDR Processor

Audio, Voice & Speech

-CEVA-X2 Advanced Sound Processor

CEVA-TeakLite-4 Audio/Voice DSP Family

ClearVox Voice processing software package

Smart and Connected Development Platform

Always-On & Sensor Fusion

-CEVA-X1 Multi-purpose IoT Processor

CEVA-TL410 Always-on DSP

Smart and Connected Development Platform

VeriSilicon(芯原微电子)

来源：http://www.verisilicon.com/IPPortfolio.html

Vivante Vision IP (VIP core for vision/image)

GPU IP (GC core)

Compute IP

CC8000, CC8400, CC8400-Q

ZSP DSP IP (for audio/voice)

Hantro Video IP (VC for video)

VC8000D, VC8000E, …

Arm

来源：https://www.arm.com/products

CPU

Cortex-A 高性能

Cortex-R 实时处理

Cortex-M 低功耗嵌入式应用

Machine Learning

ML processor

OD(object detection) processor

SecurCore

Multimedia

Mali Graphics Processors

Mali Video Processors

Mali Display Processors

Mali Camera

Imagination

移动端GPU公司，主要给apple供货，苹果17年宣布放弃使用。

来源：https://www.imgtec.com/products/

PowerVR graphics processors

PowerVR GE9425， PowerVR GE9215， …

PowerVR Vision and AI cores

PowerVR AX2185 NNA, PowerVR AX2145 NNA

参考链接：https://blog.****.net/miao20091395/article/details/82958743

2.浅谈Imagination在手机GPU IP市场的影响力

随着智能驾驶和自动驾驶等应用越发火热，汽车AI芯片市场在最近几年进入了高速发展期。无论是NXP和瑞萨这样的传统汽车芯片厂，还是如英伟达和英特尔这样的消费芯片大厂，甚至是FPGA龙头Xilinx，都对这个市场虎视眈眈。此外，国内外也有一大波初创芯片企业涌入这个市场。

Imagination作为全球半导体IP大厂，已推出多代AI加速产品，获得了良好的市场反响，可以为汽车芯片厂商打造高性能车用AI芯片提供强有力的支持。2020年，Imagination发布其最新一代IMG Series4神经网络加速器（NNA）产品，该公司视觉和人工智能部门高级总监Andrew Grant在接受媒体采访时指出：“虽然2020年市场上已经有能满足自动驾驶需求的AI芯片，但功耗不够理想。所以，花两年时间去了解和评估客户需求，推出了高性能低功耗的4系列NNA产品，并且将自动驾驶作为主打市场”。

Andrew Grant还介绍道，IMG Series4 NNA采用了全新的多核架构，能提供高达600 TOPS的算力，从而为ADAS和自动驾驶等应用提供高效支持。Imagination之所以能提供性能如此强悍的产品，得益于公司多年来在IP领域的深厚积累。

IP专家的步步为“赢”

在谈及Imagination的时候，大家首先想到的就是在手机GPU IP市场的影响力。

从Imagination提供的数据也可以看到，在移动GPU IP市场的份额已经达到35.5%，这帮助超越Arm Mali系列和高通Adreno系列，登上移动GPU IP龙头的位置。除了移动GPU以外，Imagination在车载GPU IP市场也几乎拿下了半壁*。数据显示，在这个市场的占有率高达43%。

此外，Imagination在近来热门的AI 市场也布局多年。据介绍，Imagination在过去七年里持续加大对AI研发的投入，公司迄今已拥有超过80项针对AI领域的专利，并推出了一系列神经网络加速器IP产品。

这系列IP是一个从0开始设计的完整、独立式的硬件IP神经网络加速器，可以同时支持CNN、RNN、LSTM三种神经网络类型，并且可支持caff、caffe2、Google TensorFlow等通用机器学习体系架构，还支持可适用于移动端的TensorFlow Lite、caffe2go等机器学习体系架构。再加上这系列内核可在最小的硅面积上以非常低的功耗实现高性能的神经网络计算，因此自面世以来获得了客户的高度认可。Imagination在过去几年里也在快速迭代该系列IP。

2017年9月，Imagination发布了旗下首款神经网络加速器PowerVR Series 2NX NNA，其单核性能仅覆盖1TOPS到4.1TOPS的范围；而到了2018年推出的第二代PowerVR 3NX，单核性能不但覆盖了0.6TOPS到10TOPS，其多核产品性能更是能做到20TOPS到160TOPS，可以满足从L2级到L5级自动驾驶的边缘推理需求。

文章开头谈到的IMG Series 4NNA则是Imagination推出的第三代NNA。

Andrew Grant表示，这款公司历时两年打造出来的产品不但在性能上获得大幅度提升，还拥有灵活的多核设计、创新性的Tensor Tiling（ Imagination’s Tensor Tiling，ITT）技术、低功耗和满足车规级安全需求等多项优势，从而能为领先的汽车行业颠覆者、一级供应商、整车厂（OEM）和汽车系统级芯片（SoC）厂商提供强大助力。

IMG Series4 NNA 的强势出击

根据Andrew Grant的观点，当前的车载AI芯片拥有三方面的需求，分别是超强性能、超低功耗和超低延迟。当然，作为汽车级别的芯片，安全也是必不可少的，这就是IMG Series 4 NNA的设计指导。

从官方提供的资料可以看到，Series4具有以下特性：

首先是多核扩展性和灵活性方面，据Imagination介绍，其多核架构支持在多个核之间对工作负载进行灵活的分配和同步。Imagination的软件提供了精细的控制能力，并通过对多个工作负载进行批处理、拆分和调度而提高了灵活性，现在可以在任意数量的内核上使用。Series4可为每个集群配置 2个、4个、6个或者8个核。

其次是性能。据介绍，Series4的每个单核能够以不到一瓦的功耗提供12.5 TOPS的性能。举例来说，一个8核集群在5nm工艺的加持下，可以提供100 TOPS的算力。那就代表着配有6个8核集群的解决方案可以提供600 TOPS的算力。来到AI推理方面，Series4 NNA的性能比嵌入式GPU快20倍以上，与嵌入式CPU相比，更是快了1000倍。

第三，超低延迟也是这一代NNA IP的另一个特性。据了解，通过将多个单核组成2核、4核、6核或8核的多核集群，所有内核可以相互协作，并行处理一个任务。这就降低了处理延迟，缩短响应时间。数据显示，对于一个8核集群，理想情况下延迟会减少为单核独立执行时的1/8。

节省大量带宽则是Imagination新NNA的另一大优势，这主要得益于公司正在申请专利的的Tensor Tiling技术（Imagination’s Tensor Tiling，ITT），这也是Series4中新增的功能。据介绍，借助这项技术，Imagination的Series4可以通过对计算任务进行tiling，充分利用片上存储，提升数据处理效率，并节省访问外部存储的带宽。

在具体操作中，针对不同的任务，有不同的操作方式。据了解，在批处理大量的小型任务时，Tensor Tiling能够把批处理任务分配到各个NNA单核，让每个NNA单核独立工作，提升并行处理的能力；而在面对一些大型网络的时候，Tensor Tiling则可以从多个维度拆分任务，让所有NNA单核共同执行一个推理任务。这不但减少了网络推理的延迟，在理想情况下，协同并行处理的吞吐量与独立并发处理也是相同的。

值得一提的是，这里的拆分都是通过Imagination的编译器来完成的，不需要开发者手动操作，借助NNA的性能分析工具，开发者还能对AI任务进行更好的调度和分配。

另外，因为利用本地数据的依赖性将中间数据保存在片上存储器中，ITT可以最大限度地减少将数据传输至外部存储器，从而将带宽降低多达90％。作为一种可扩展的算法，ITT在拥有大量输入数据的网络上具有显著优势。

车规级安全性则是Series4不得不提的另一个优势。

众所周知，汽车芯片对安全提出了更高的要求。Imagination为其全新的NNA引入了IP级别的安全功能，产品的设计流程符合ISO 26262标准，这就能帮助客户更容易获得ISO 26262认证。据报道，Series4可以在不影响性能的情况下，安全地进行神经网络推理。硬件安全机制可以保护编译后的网络、网络的执行和数据处理管道。

在IMG Series4 NNA的发布会上，Andrew Grant除了介绍新IP的硬件性能外，也同时讲述公司围绕这系列芯片打造的软件生态系统，这与硬件配合，加速了开发者的开发速度，简化了开发流程。而为了给汽车运算提供更多的算力支持，Imagination还打通了NNA多核平台与GPU协同，给开发者提供更多的选择。

Andrew Grant在发布会上表示，公司的IMG Series4 NNA已经开始向客户提供授权，产品也将于2020年12月在市场上全面供应。

ABI Research智慧出行和汽车首席分析师James Hodgson说道：“在从L2和L3级ADAS向L4和L5级全自动驾驶演进的过程中，神经网络的广泛应用将是至关重要的因素。这些系统将要处理数以百计的复杂场景，从多个摄像头和激光雷达等大量传感器中提取数据，从而实现自动代客泊车、十字路口管理和复杂城市环境安全导航等解决方案。高性能、低延迟和高能效的结合，将是实现高度自动驾驶的关键所在。”

由此可见，一个全新的大门正在面向Imagination开启。

参考链接：http://www.elecfans.com/d/1383969.html

3.一款多核架构GPU IP有多达33种配置！Imagination要守住移动市场攻向云端

2020年10月份对Imagination Technology这家总部位于英国的IP公司显然意义重大。先是宣布了Simon Beresford-Wylie（前Arqiva首席执行官）将担任Imagination的首席执行官。

Imagination又发布最新一代IMG B系列高性能GPU IP，这款多核架构GPU IP 4个系列内核有33种配置，这将帮助Imagination进一步稳固其在移动GPU IP市场地位的同时，参与桌面和云端GPU市场竞争，2021年将推出的光线追踪GPU又能在多大程度增加其竞争力？

 

 

 对于任何一种架构的处理器，对于更高性能的追求不会停止。Imagination技术产品管理高级总监Kristof Beets说：“客户用上2019年12月发布的高性能 IMG A系列Power VR GPU后，问能否提供更高性能的多核GPU。于是，在大量投资及A系列技术优势的基础上，同时增加了多核技术，推出了IMG B系列，以惊人的33种全新配置扩展了Imagination的GPU产品系。”

2020年，IMG B系列已可提供授权，每个产品系列都已有厂商率先获得了授权。

首款多核架构GPU IP，更适合小芯片趋势

据悉，B系列能够提供6 TFLOPS（每秒万亿次浮点运算）的计算能力，与上一代IMG A系列产品相比，功耗降低达30%，面积缩减了25%，且填充率比竞品IP内核高2.5倍。Imagination表示，B系列可提供最高的性能密度（performance per mm2），同时提供多种全新配置，可以针对给定的性能目标实现更低的功耗和最高35%的带宽降低。

 

 

 具体而言，IMG B系列GPU IP针对特定市场提供BXE、BXM、BXT、BXS四个系列专业内核：

IMG BXE：面向高清显示应用，专门针对用户界面（UI）渲染和入门级游戏设计，每个时钟周期可处理从1-16个像素，支持从720p到8K的分辨率，相较上一代内核，面积缩减达25%，填充率密度是竞品的2.5倍。IMG BXM：主打图形处理体验，这个系列是中端解决方案，引入客户可配置的最新缓存设计，实现了填充率和计算能力的更好平衡，可将带宽占用降低35%，为中档移动端游戏及用于数字电视和其他市场的复杂UI解决方案提供支持。IMG BXT：面向高性能应用，旗舰款B系列GPU内置四核，可提供6 TFLOPS的性能，每秒可处理192 Gigapixel（十亿像素），AI算力达24 TOPS，同时可提供行业最高的性能密度。IMG BXS：面向汽车应用，符合ISO 26262安全标准，提供从入门级到高级的完整产品系列，能将自动驾驶图形处理速度提升至竞品的60%以上，可为下一代人机界面（HMI）、UI显示、信息娱乐系统、数字驾舱、环绕视图提供解决方案，高算力的配置还可支持自动驾驶和辅助驾驶。B系列GPU最值得关注的特性是多核架构。Kristof Beets在深度沟通时表示，“从过去的经验看，当单核的高性能都发挥出来之后，就会走向多核的架构。很重要的原因是多个单核很难提升架构性能，有很多控制逻辑需要管理。研发的多核架构整合了创新的分散管理方法，可提供高效的扩展特性，与小芯片（Chiplet）架构行业趋势相适。”

Imagination首席营销官David Harold补充道：“观察到了小芯片在GPU市场的趋势，这种去中心化的设计不仅可以降低开发成本，也能降低开发时间。但是小芯片的信号传输是一个问题。”

“过去GPU有很多次核，非常依赖主核的一些资源。多核架构设计避免了*的模块，小芯片有独立的资源，可以独立运行，同时也避免了一些复杂的逻辑，因此设计非常符合小芯片的趋势。” Kristof Beets进一步表示。

基于这样的多核架构设计，Imagination针对BXT和BXM内核的每个产品系列进行了优化，利用多个主核的扩展特性实现GPU内核的多核扩展，每个核既可以独立运行，也可以组合成一个大GPU来协力执行任务，能为单个应用提供最大化的性能，或支持不同内核运行独立的应用。

 

 

BXE系列提供了主核-次核的扩展模式，这是一种面积优化的解决方案，通过单个GPU内核提供了高性能，同时利用Imagination的HyperLane技术进行多任务处理。

BXS汽车GPU内核也利用了多主核可扩展的特性，支持性能扩展，以及跨多个内核进行安全检查，确保正确运行。

值得注意的是，此次发布的B系列都给出了4核架构设计。Kristof Beets解释，“四核架构是根据经验用户的反馈确定，4核架构是最能满足市场需求的性能和能效的平衡架构，未来会持续提升单核性能和拓展多核架构。有过最多14核的架构经验，多核对不是挑战。”

 

 

 

 

 

 

  “需要看到，在服务器市场多核的拓展不是最重要的，而是机柜的拓展以及基于以太网的拓展。” Kristof Beets同时表示。

33种配置，提升移动市场份额同时攻向桌面和云端市场

Imagination显然希望通过4个系列，33种配置的GPU在保持移动市场竞争力的同时向更高性能的GPU市场拓展。

数据显示，在GPU IP市场，Imagination的市场占有率最高，为35.5%，Arm以34.5%位列第二，高通拿下其余30%的市场份额。另外，在汽车GPU IP市场，Imagination的市场占有率更是高达43%。

 

 

 移动GPU IP市场占有率

因此，面向移动设备，从入门级到高端B系列提供BXE、BXM和BXT三种选择。其中，BXE和BXM的性能和定位比较相似。Kristof Beets称：“这两个系列有非常紧密的联系，这两个系列的产品都对带宽和成本非常敏感，BXE更强调图形渲染能力，BXM兼具强图形渲染能力的同时又更大的浮点计算能力。”

BXT不仅能够满足旗舰手机的需求，还能借助多核可扩展性进入桌面和云端市场。据悉，芯动科技已经将B系列BTX集成到能支持桌面和数据中心应用的PCI-E规格的GPU独立显卡芯片之中。

芯动科技工程副总裁Roger Mao说：“即将推出一款高性能4K/8K图形 PCI-E Gen4 GPU独立显卡芯片；该独立显卡芯片将很快面市，将为未来5G云游戏和数据中心应用提供强大的支持。”

 

 

 为了更好地满足云端市场的需求，Imagination的GPU还能灵活的组合或拆分，在多实例环境也能提供硬件的虚拟功能，带来更好的灵活性和安全性。

至于为何要为汽车市场专门推出BXS系列，David Harold表示，“这既是基于对汽车行业的了解，也是为了更好地满足汽车市场独特的需求。许多市面上的GPU IP并没有针对汽车市场做单独优化，这不仅在技术上不能很好地满足这一市场的需求，也不能让客户更快的通过汽车行业的相关认证。”

“BXS就是针对汽车市场需求的优化，不仅在性能特性上更符合汽车市场的需求，符合ISO 26262安全标准也能够帮助客户更快通过产品认证。” David Harold说：“BXS使用了RISC-V固件，这在业内还是首个，通过采用RISC-V也希望在汽车市场发现更多的机会。”

多核架构带来的高性能，以及全面的可扩展组合，让Imagination的B系列可以应用于移动设备、消费类设备、物联网、微控制器、数字电视（DTV）和汽车等多个市场。但还有一个关键问题，核数增加带来的更多数据以及图像分辨率的增加，让带宽问题无法忽视。

为此，B系列除了多核架构，还推出了一个重要的压缩技术IMGIC。IMGIC压缩技术可以提供四个等级，完全无所压缩以及压缩率分别为75%（质量接近完美）、50%（视觉无损）、25%（最节省带宽）的有损压缩。

 

 

 据悉，像采用4K显示屏、120Hz的刷新率的高端手机，读写速度接近8GB/s，使用IMGIC的无损模式，可在不影响质量的前提下降低到平均4GB/s；如果使用有损压缩，压缩率为75%、50%、25%时，带宽可分别降至6GB/s、4GB/s、2GB/s。

光线追踪GPU2021年上半年推出

2019年推出A系列GPU的时候，Imagination就透露会在未来几年推支持光线追踪的产品。在B系列的发布会上，Kristof Beets进一步透露了Imagination的光线追踪进展。“基于十年来对光线追踪的研究，认为光线追踪要到Level 4才能实现最好的用户体验、更高算力、更低带宽，可实现桌面级高效性能的提升。”

 

 

 所谓的Level4是Imagination对光线追踪的等级划分，帮助业界更清晰地了解和比较各种光线追踪的差异，总共包含6个级别，Level4是硬件中的BVH处理和一致性排序功能。

Kristof Beets透露，Imagination在2021年上半年正式推出Level 4光线追踪技术。

Imagination的光线追踪技术会面向移动和桌面市场。2020年Nvidia已经推出了支持光线追踪的桌面GPU，因此Imagination推出的光线追踪GPU在桌面市场能引发多大变化值得期待。另外，手机端没有实现对光线最终的支持，Imagination能否很好地解决移动端光线追踪的性能和能耗问题引发变革同样非常值得关注。

小结

对于Imagination，想要在IP市场的竞争中增强竞争力，自然需要保持并提升在移动市场和汽车GPU IP市场的市场占有率，同时向更多市场拓展。这也是为什么Imagination2019年发布A系列GPU的时候表示接下来的B系列、C系列GPU会保持30%的性能提升。

 

 

 当然，为了更好地满足市场需求，Imagination也需要AI SYNERGY这样的协同技术，让GPU不仅能处理图像，可能处理可编程的AI，需要与AI加速器配合实现更好地AI性能。据透露，Imagination2020年发布第四代神经网络加速器（NNA）产品。

在当下的国际局势下，中国市场也是Imagination很好的机会。David Harold表示Imagination没有在美国开发过任何一款IP，另外已经在上海和北京建立了研发机构。

GPU、AI、无线连接都在发力的Imagination，能否成功破圈？

注：文中配图均来自Imagination Technology

 

 

参考链接：

https://www.imaginationtech.com/products/

https://blog.****.net/miao20091395/article/details/82958743

http://www.elecfans.com/d/1383969.html

https://baijiahao.baidu.com/s?id=1680586334397255865&wfr=spider&for=pc