OneFlow 源代码分析：基本计算界面基元

作者｜郑建华

‍

此前， OneFlow 版本更新 博客中的第 5 节对框架的“多设备适配”作了说明，原文摘录如下：

OneFlow 提供简洁高效易扩展的硬件抽象层 EP（Execution Provider），以应对适配不同硬件的复杂性。 引入硬件抽象层之后，用户无需关注底层硬件和框架的具体实现细节，框架的各个模块无需改动便可以适配新的硬件设备，同时，用户只需按照硬件抽象接口的约定和硬件设备的实际情况，实现一系列接口，便可以完成硬件的适配工作。

EP 还定义了一组基础计算接口 Primitive，基于 Primitive 接口重新实现了 Kernel。 相比 EP 提供的运行时接口，Primitive 提供的接口更加灵活，不同接口之间相互独立，每一个接口表示了某种硬件设备可以提供的特定的计算能力。

ep 模块主要包括两部分。一部分是之前讨论的设备管理，根据用户提供的信息能获取设备实例，将设备抽象出 Stream、Event、内存管理等接口。

 

另一部分就是基础计算接口 Primitive。这里只简要介绍一下 Primitive 的概念，包含哪些内容。不会涉及具体计算的设计和实现。

1 

Primitive 是什么？

粗略地说，基础计算接口是指 P rimitive 目录下定义的二十来个基础计算接口类。它们都是 Primitive 的子类。这些接口类型通常只声明一个 Launch 方法，实际支持哪些计算是由针对具体设备的实现决定的。

各基础计算接口如下表所示：

Primitive 接口类型	设备实现	支持的操作	补充说明
Add	CPU , CUDA , OneDnn	DataType
BatchMatmul	BatchMatmulImpl	是否转置	转发给 BroadcastMatmul
BroadcastElementwiseBinary	CPU , CUDA , OneDnn	BinaryOp	支持 BinaryOp 操作
BroadcastElementwiseUnary	CPU , CUDA	UnaryOp	支持 UnaryOp 操作
BroadcastMatmul	BroadcastMatmulImpl	是否转置	CPU 和 CUDA 实现都是基于模版类 BroadcastMatmulImpl
Cast	CPU , CUDA	DataType
ConstantPad	CPU , CUDA	DataType
CopyNd	CPU , CUDA	DimSize
ElementwiseUnary	CPU , CUDA	UnaryOp	支持 UnaryOp 操作
Fill	CPU , CUDA	DataType
LogSoftmax Backward	CPU , CUDA , OneDnn	DataType	与 SoftmaxBackward 复用实现
LogSoftmax	CPU , CUDA , OneDnn	DataType	与Softmax 复用实现。 SoftmaxImpl 的基类 SoftmaxBase 可以是 Softmax 或 LogSoftmax 。
Matmul	MatmulImpl	是否转置	转发给 BatchMatmul
Memcpy	CPU , CUDA	设备拷贝方向	Host2Device、Device2Host ……
Memset	CPU , CUDA
Permute	CPU , CUDA , OneDnn	DimSize
SoftmaxBackward	CPU , CUDA , OneDnn		与 LogSoftmaxBackward 复用实现
Softmax	CPU , CUDA , OneDnn		与 LogSoftmax 复用实现。
TensorFill	CPU , CUDA	DataType

2 

部分计算接口的说明

2.1 ElementwiseUnary

2.1.1 relu kernel 的执行过程

relu kernel 就是通过 ElementwiseUnary 执行计算的。注册 relu kernel 的 SetCreateFn 函数执行类似如下代码的操作。UnaryPrimitiveKernel 构造时会 保存 primitive_factory_func_ 。

  
  
  

auto primitive_factory_func_ = [](user_op::KernelComputeContext* ctx) {   const user_op::TensorDesc* src = ctx->TensorDesc4ArgNameAndIndex("x", 0);   const user_op::TensorDesc* dst = ctx->TensorDesc4ArgNameAndIndex("y", 0);   return ep::primitive::NewPrimitive<ep::primitive::ElementwiseUnaryFactory>(       ctx->device_type(), ep::primitive::UnaryOp::kRelu, src->data_type(),       dst->data_type()); }; OpKernel* ptr = new UnaryPrimitiveKernel("y", "x", primitive_factory_func_);
  
  
  

在调用 UnaryPrimitiveKernel::Compute 执行 kernel 计算时，执行如下操作：

• 调用 primitive_factory_func_ 获取一个 primitive 实例。
• NewPrimitive
• 调用 NewObjUniquePtr 获取 ElementwiseUnaryFactoryImpl 实例（ CPU ， CUDA ）。
• 调用 ElementwiseUnaryFactoryImpl::New 返回 ElementwiseUnaryImpl 实例（ CPU , CUDA ）。
• 调用 primitive->Launch 执行计算。

上述类之间的关系如下：

2.1.2 ElementwiseUnary 支持哪些操作？

ElementwiseUnaryFactoryImpl::New 中的宏展开后，代码如下。根据 UnaryOp 的操作类别、数据类型查到 New 函数，传递对应的模版参数给 New 函数并创建 ElementwiseUnaryImpl 实例。

ElementwiseUnary 在 CPU 环境支持的 <操作, 数据类型> 组合都在这个 map 中注册。这个就是“常规”意义上的“Primitive 接口”的一部分（支持哪些操作、数据类型等），操作的输入参数由 Launch 函数的接口决定。

  
  
  
static const std::map<     std::tuple<UnaryOp, DataType, DataType>,     std::function<std::unique_ptr<ElementwiseUnary>(Scalar, Scalar)>>   new_elementwise_unary_handle {     {std::make_tuple((UnaryOp::kRelu), DataType::kFloat, DataType::kFloat), NewElementwiseUnary<(UnaryOp::kRelu), float, float>},     {std::make_tuple((UnaryOp::kRelu), DataType::kDouble, DataType::kDouble), NewElementwiseUnary<(UnaryOp::kRelu), double, double>},     {std::make_tuple((UnaryOp::kElu), DataType::kFloat, DataType::kFloat), NewElementwiseUnary<(UnaryOp::kElu), float, float>},     {std::make_tuple((UnaryOp::kLogicalNot), DataType::kDouble, DataType::kBool), NewElementwiseUnary<(UnaryOp::kLogicalNot), double, bool>},     // ......   }; const auto it =     new_elementwise_unary_handle.find(std::make_tuple(unary_op, src_type, dst_dtype)); if (it != new_elementwise_unary_handle.end()) {   return it->second(attr0, attr1); } else {   return nullptr; }
  
  
  
 
  
  
  

2.1.3 ElementwiseUnaryImpl::Launch 的实现

Primitive 不同子类的 Launch 方法，其实现方式和输入参数各不一样。ElementwiseUnaryImpl::Launch 通过 primitive::UnaryFunctor 实现计算逻辑（ CPU ， CUDA ）。

primitive::UnaryFunctor 是一个 模版类 ，其特化版本分布在如下文件：

• 各设备通用的 UnaryFunctor 实现 。其中包括 relu 的实现 。
• CPU 的 UnaryFunctor 实现 。通过 cpu_stream->ParallelFor 并行加速。
• CUDA 的 UnaryFunctor 实现 。后续通过 cuda::elementwise::Unary 调用设备计算。

2.2 BroadcastElementwiseBinary

BroadcastElementwiseBinary 也定义了 CUDA 的工厂实现 。 New 函数 的 map 中定义了 CUDA 下支持的所有操作组合，每个都是一个 NewBroadcastElementwiseBinary 模版函数的特化实例的引用。这些模版函数的特化定义在下面几个文件中：

• broadcast_elementwise_binary_activation_grad.cu
• broadcast_elementwise_binary_comparision.cu
• broadcast_elementwise_binary_logical.cu

上一篇： 1.1 布尔运算

下一篇： 布尔代数入门

推荐阅读

• AST 语法树 python ast 语法树解析 - 首先，让我们了解一下 AST 的基本理论？ 抽象语法树（AST）或简称语法树（SST）是源代码语法结构的抽象表示。它以树的形式表示编程语言的语法结构，树中的每个节点代表源代码中的一个结构。 与抽象语法树相对的是具体语法树（通常称为分析树）。一般来说，在翻译和编译源代码的过程中，语法分析器会创建分析树。创建 AST 后，在后续处理过程中（如语义分析阶段）会添加一些信息。 可以这样理解，语法树是作为 JavaScript 的编译器或解释器使用的，编译后的 JS 才能真正转换成计算机可识别的机器代码，并最终成功运行。 具体语法树是编译后记录所有细节的树结构，抽象语法树则是具体语法树的简化版，那么相对来说，抽象语法树的运行速度要快得多，比如 ESLint、Webpack 等工具都是使用 AST 来提高性能的，同时，AST 也足以满足这些工具运行时所需的信息。 让我们来看看抽象语法树的结构，举例说明

• OneFlow 源代码分析：基本计算界面基元

• 包婷婷 （201550484）作业一 统计软件简介与数据操作-SPSS(Statistical Product and Service Solutions)，"统计产品与服务解决方案"软件。最初软件全称为"(SolutionsStatistical Package for the Social Sciences)，但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为"统计产品与服务解决方案"，标志着SPSS的战略方向正在做出重大调整。为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称SPSS，有Windows和Mac OS X等版本。 1984年SPSS总部首先推出了世界上第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向，极大地扩充了它的应用范围，并使其能很快地应用于自然科学、技术科学、社会科学的各个领域。世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价。 R统计软件介绍 R是一套完整的数据处理、计算和制图软件系统。其功能包括:数据存储和处理系统;数组运算工具(其向量、矩阵运算方面功能尤其强大);完整连贯的统计分析工具;优秀的统计制图功能;简便而强大的编程语言:可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。 与其说R是一种统计软件，还不如说R是一种数学计算的环境，因为R并不是仅仅提供若干统计程序、使用者只需指定数据库和若干参数便可进行一个统计分析。R的思想是:它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。 该语言的语法表面上类似 C，但在语义上是函数设计语言(functional programming language)的变种并且和Lisp 以及 APL有很强的兼容性。特别的是，它允许在"语言上计算"(computing on the language)。这使得它可以把表达式作为函数的输入参数，而这种做法对统计模拟和绘图非常有用。 R是一个免费的*软件，它有UNIX、LINUX、MacOS和WINDOWS版本，都是可以免费下载和使用的。在R主页那儿可以下载到R的安装程序、各种外挂程序和文档。在R的安装程序中只包含了8个基础模块，其他外在模块可以通过CRAN获得。                   二、R语言 R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个*、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。 R作为一种统计分析软件，是集统计分析与图形显示于一体的。它可以运行于UNIX,Windows和Macintosh的操作系统上，而且嵌入了一个非常方便实用的帮助系统，相比于其他统计分析软件，R还有以下特点： 1.R是*软件。这意味着它是完全免费,开放源代码的。可以在它的网站及其镜像中下载任何有关的安装程序、源代码、程序包及其源代码、文档资料。标准的安装文件身自身就带有许多模块和内嵌统计函数,安装好后可以直接实现许多常用的统计功能。[2]   2.R是一种可编程的语言。作为一个开放的统计编程环境,语法通俗易懂,很容易学会和掌握语言的语法。而且学会之后,我们可以编制自己的函数来扩展现有的语言。这也就是为什么它的更新速度比一般统计软件,如,SPSS,SAS等快得多。大多数最新的统计方法和技术都可以在R中直接得到。[2]   3. 所有R的函数和数据集是保存在程序包里面的。只有当一个包被载入时,它的内容才可以被访问。一些常用、基本的程序包已经被收入了标准安装文件中,随着新的统计分析方法的出现,标准安装文件中所包含的程序包也随着版本的更新而不断变化。在另外版安装文件中,已经包含的程序包有：base一R的基础模块、mle一极大似然估计模块、ts一时间序列分析模块、mva一多元统计分析模块、survival一生存分析模块等等.[2]   4.R具有很强的互动性。除了图形输出是在另外的窗口处，它的输入输出窗口都是在同一个窗口进行的，输入语法中如果出现错误会马上在窗口口中得到提示,对以前输入过的命令有记忆功能,可以随时再现、编辑修改以满足用户的需要。输出的图形可以直接保存为JPG,BMP,PNG等图片格式,还可以直接保存为PDF文件。另外,和其他编程语言和数据库之间有很好的接口。[2]   5.如果加入R的帮助邮件列表一,每天都可能会收到几十份关于R的邮件资讯。可以和全球一流的统计计算方面的专家讨论各种问题,可以说是全世界最大、最前沿的统计学家思维的聚集地.[2]   R是基于S语言的一个GNU项目，所以也可以当作S语言的一种实现，通常用S语言编写的代码都可以不作修改的在R环境下运行。 R的语法是来自Scheme。R的使用与S-PLUS有很多类似之处，这两种语言有一定的兼容性。S-PLUS的使用手册，只要稍加修改就可作为R的使用手册。所以有人说：R，是S-PLUS的一个“克隆”。 但是请不要忘了：R是免费的(R is free)。R语言源代码托管在github，具体地址可以看参考资料。[3]   。 R语言的下载可以通过CRAN的镜像来查找。 R语言有域名为.cn的下载地址，有六个，其中两个由Datagurn，由 中国科学技术大学提供的。R语言Windows版，其中由两个下载地点是Datagurn和 USTC提供的。 三、stata Stata 是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它提供许许多多功能，包含线性混合模型、均衡重复反复及多项式普罗比模式。用Stata绘制的统计图形相当精美。 新版本的STATA采用最具亲和力的窗口接口，使用者自行建立程序时，软件能提供具有直接命令式的语法。Stata提供完整的使用手册，包含统计样本建立、解释、模型与语法、文献等超过一万余页的出版品。 除此之外，Stata软件可以透过网络实时更新每天的最新功能，更可以得知世界各地的使用者对于STATA公司提出的问题与解决之道。使用者也可以透过Stata. Journal获得许许多多的相关讯息以及书籍介绍等。另外一个获取庞大资源的管道就是Statalist，它是一个独立的listserver，每月交替提供使用者超过1000个讯息以及50个程序。 四、PYTHON