优化器-RBO 的规则转换
1.RBO背景介绍
RBO(Rule-Based Optimization,基于规则的优化器)有着一套严格的使用规则,按照 RBO 去写 SQL 语句,无论数据表中的内容怎样,也不会影响到你的“执行计划”。
换言之 RBO 对数据不“敏感”,它根据指定的优先顺序规则,对指定的表进行执行计划的选择。比如在规则中,索引的优先级大于全表扫描。RBO 是根据可用的访问路径以及访问路径等级来选择执行计划,在 RBO 中,SQL 的写法往往会影响执行计划。
2.Optgen 介绍
Optgen 是一种域细节语言 (DSL),它提供了一种直观的语法来定义、匹配、替换目标表达式树中的节点,优化器规则的编写便是基于这种语言。
代码中存在这样的模块:将 DSL 语言转化为真实的 go 语言(文件后缀 og.go),以便优化器调用。模块入口在 pkg/sql/opt/optgen/cmd/optgen/main.go 中的 func main(),这里暂不涉及,以下介绍中此模块简称“代码生成模块”。
3.RBO 规则介绍
RBO 涉及的规则定义在 kaiwu/pkg/sql/opt/norm/rules/*.opt 中。
1.关系代数的 9 种操作
关系代数中包括了:并、交、差、乘、选择、投影、联接、除、自然联接等操作。其中五个基本操作为并(∪)、差(-)、笛卡尔积(×)、投影(π)、选择(σ)。
2.关系代数表达式
由关系代数运算经有限次复合而成的式子称为关系代数表达式,这种表达式的运算结果仍然是一个关系,可以用关系代数表达式表示对数据库的查询和更新操作。
3.关系代数表达式的转换
若两个关系表达式在每一个有效数据实例中都会产生相同的结果集,则可以称他们是等价的(元组的顺利是无关紧要的,而且不能说明任何表达式更优于其他表达式)。
合取选择运算可以分解为单个选择运算,称为选择运算的级联:
选择运算具有交换律:
投影在合理的情况下,只有最后一个有效:
选择操作可与笛卡尔积以及连接相结合:
连接操作满足交换律:
自然连接满足结合律:
4.RBO 转化实例
语句如下:
-
select course_id, title from course;
-
select * from teaches join ① on teaches.course_id = ① .course_id;
-
select * from instructor join ② on Instructor.ID = ② .ID;
-
select name, title from ③ where dept_name = Music and year = 2009;
执行 ④ 语句,转换前的表达式树和转换后的表达式树如下:
在这次转换工程中,使用了谓词下推,结合律,转换后的表达式树一定优于前面的表达式树,这就称为 RBO,基于规则的转换。
5.RBO 基本规则
(1)列裁剪
Select a from t where b >5;
我们可以将 t 表中的所有数据读取上来,然后根据条件过滤,然后再投影,最后拿到列(a)的数据。也可以先进行列剪裁,先把 a,b 数据读取,然后根据过滤条件进行过滤,最后输出数据。
(2)最大最小消除
Select min(ID) from t;
这句话可以转换成 Select id from t order by id desc limit 1;
(3)投影消除
如果一个投影的输入和输出列是一样的,那么这个投影是无用的。
(4)谓词下推
尽量把选择的算子推到叶子节点,这样可以大大减少上面每个表达式节点的消耗。
考虑这样一个句子:Select * from t1,t2 where t1.a > 4 and t2.b >5;
如果先进行笛卡尔积在进行过滤条件时,则会产生很多不必要的元组,但是如果先过滤t1,t2 的关系,在进行笛卡尔积,那么表达式的消耗将大大减少。
在进行过滤时,尽可能精确到一个 select 算子,如若不能,则在具有过滤需要的列及时处理,比如 a.a > 5 and b.b > 10 and a.c > a.b 第一个和第二个条件都可以推到 select 算子中,在这个算子上面立即加一个 a.c > a.b 的过滤条件。
4 规则生成源代码介绍
1.生成代码模块定位,参数解释
入口函数 pkg/sql/opt/optgen/cmd/optgen/main.go 中的 func main(),如图所示:
Kaiwu/Makefile 中调用这个函数,需要输入 5 个参数 os.Args,这些参数依次如下(以探索阶段涉及的 factory.og.go 为例):
-
-out :输出文件标签
-
输出文件名 :(pkg/sql/opt/xform/factory.og.go)
-
命令标签 :(compile/explorer/exprs/factory/ops/ rulenames)
-
结构定义文件 :(pkg/sql/opt/ops/*.opt)
-
规则源文件 :(pkg/sql/opt/norm/rules/ opt/pkg/sql/opt/xform/rules/.opt)
Makefile 代码定位如下:
2.调试建议
调式某个 opt 文件生成 factory.og.go 文件,如 norm/rules/comp.opt,可以采用如下方式:
3.重要阶段介绍
(1)流程图中重要函数
a. 以 pkg/sql/opt/norm/rules/comp.opt 文件为例进行流程分析:
run(),Parse(),parseOne()函数
进入 Parse()函数——>parseOne():
① Parse()函数对parsed, args赋值;
② parseOne() 函数:裁剪 args a 和 b 参数,剩下 c、d、e;对 FlagSet 结构体中的 actual 赋值;
③ 将生成文件 b 参数赋值给 Flag 中的 Value。
b. g.globResolver(source)函数是将 pkg/sql/opt/ops/*.opt 中的文件 append 到 files 文件中,并将规则文件 pkg/sql/opt/norm/rules/comp.opt 文件加入到 file 中。
c. NewCompiler(files...)函数: 构建 Compiler 结构体,将 files 文件导入:
**d. ** compiler.Compile()→ Parse()→ parseRoot()→ p.scan():
p.scan(): 根据返回值执行不同的操作
① WHITESPACE: 清除空白
② COMMENT: 向 Parser 中的 comment 中添加注释
③ LBRACKET:返回上层函数 parseRoot()
④ parseTags(): 解析出规则名和标准
⑤ parseRule():解析出具体规则
e. compiler.Compile()中的 compileDefines()函数:
将 defines 中的内容赋值给 Compiler→compiled→defineIndex中。
将 define 中的 Tags 赋值给 unique 中。
f. compiler.Compile()→compileRules()→ruleCompiler.compile():
将 pkg/sql/opt/ops/*.opt 文件中定义的元数据和 pkg/sql/opt/norm/rules/camp.opt 中所定义的规则相结合生成新规则,存于 ruleCompiler→compiled→Rules 中。
(2)代码流程图如下
5.总结
以上就是 RBO 的规则转化在数据库中的功能方式,通过规则查询优化器执行一个预设的计划,在此预设规则下,大幅提升执行效率。
上一篇: 详细介绍《区域办事处》和《社区办事处
推荐阅读
-
谷歌 Chrome 浏览器网络中的停滞分析和优化
-
电源系统优化设计中,低压差稳压器(LDO)的类型如何选择?
-
使用 SAP C4C 规则编辑器动态控制用户界面上是否显示按钮 - 使用 SAP 客户云用户界面规则编辑器的示例
-
DeepSpeed Ulysses:用于训练超长序列变压器模型的系统优化
-
专题速递感知无损压缩、LCEVC、RTE 中的 AV1、PPA 优化和 Tencent266 编码器
-
一种结构设计模式,允许在对象中动态添加新行为。它通过创建一个封装器来实现这一目的,即把对象放入一个装饰器类中,然后把这个装饰器类放入另一个装饰器类中,以此类推,形成一个封装器链。这样,我们就可以在不改变原始对象的情况下动态添加新行为或修改原始行为。 在 Java 中,实现装饰器设计模式的步骤如下: 定义一个接口或抽象类作为被装饰对象的基类。 公共接口 Component { void operation; } } 在本例中,我们定义了一个名为 Component 的接口,该接口包含一个名为 operation 的抽象方法,该方法定义了被装饰对象的基本行为。 定义一个实现基类方法的具体装饰对象。 公共类 ConcreteComponent 实现 Component { public class ConcreteComponent implements Component { @Override public void operation { System.out.println("ConcreteComponent is doing something...") ; } } 定义一个抽象装饰器类,该类继承于基类,并将装饰对象作为一个属性。 公共抽象类装饰器实现组件 { protected Component 组件 public Decorator(Component component) { this.component = component; } } @Override public void operation { component.operation; } } } 在这个示例中,我们定义了一个名为 Decorator 的抽象类,它继承了 Component 接口,并将被装饰对象作为一个属性。在操作方法中,我们调用了被装饰对象上的同名方法。 定义一个具体的装饰器类,继承自抽象装饰器类并实现增强逻辑。 公共类 ConcreteDecoratorA extends Decorator { public ConcreteDecoratorA(Component 组件) { super(component); } } public void operation { super.operation System.out.println("ConcreteDecoratorA 正在添加新行为......") ; } } 在本例中,我们定义了一个名为 ConcreteDecoratorA 的具体装饰器类,它继承自装饰器抽象类,并实现了操作方法的增强逻辑。在操作方法中,我们首先调用被装饰对象上的同名方法,然后添加新行为。 使用装饰器增强被装饰对象。 公共类 Main { public static void main(String args) { Component 组件 = new ConcreteComponent; component = new ConcreteDecoratorA(component); 组件操作 } } 在这个示例中,我们首先创建了一个被装饰对象 ConcreteComponent,然后通过 ConcreteDecoratorA 类创建了一个装饰器,并将被装饰对象作为参数传递。最后,调用装饰器的操作方法,实现对被装饰对象的增强。 使用场景 在 Java 中,装饰器模式被广泛使用,尤其是在 I/O 中。Java 中的 I/O 库使用装饰器模式实现了不同数据流之间的转换和增强。 让我们打开文件 a.txt,从中读取数据。InputStream 是一个抽象类,FileInputStream 是专门用于读取文件流的子类。BufferedInputStream 是一个支持缓存的数据读取类,可以提高数据读取的效率,具体代码如下: @Test public void testIO throws Exception { InputStream inputStream = new FileInputStream("C:/bbb/a.txt"); // 实现包装 inputStream = new BufferedInputStream(inputStream); byte bytes = new byte[1024]; int len; while((len = inputStream.read(bytes)) != -1){ System.out.println(new String(bytes, 0, len)); } } } } 其中 BufferedInputStream 对读取数据进行了增强。 这样看来,装饰器设计模式和代理模式似乎有点相似,接下来让我们讨论一下它们之间的区别。 第三,与代理模式的区别: 代理模式的目的是控制对对象的访问,它在对象外部提供一个代理对象来控制对原对象的访问。代理对象和原始对象通常实现相同的接口或继承相同的类,以确保两者可以相互替换。 装饰器模式的目的是动态增强对象的功能,而这是通过对象内部的包装器来实现的。在装饰器模式中,装饰器类和被装饰对象通常实现相同的接口或继承自相同的类,以确保两者可以相互替代。装饰器模式也被称为封装器模式。 在代理模式中,代理类附加了与原类无关的功能。
-
PostgreSQL 整数 int 和布尔型 Boolean 的自动转换设置(附自定义铸造和铸造规则介绍)
-
转换器 Simplest Learning 3,以文本数据输入的形式进行培训
-
正负偏差变量 即 d2+、d2- 分别表示决策值中超出和未达到目标值的部分。而 di+、di- 均大于 0 刚性约束和目标约束(柔性目标约束有偏差) 在多目标规划中,>=/<= 在刚性约束中保持不变。当需要将约束条件转换为柔性约束条件时,需要将 >=/<= 更改为 =(因为已经有 d2+、d2- 用来表示正负偏差),并附加上 (+dii-di+) 注意这里是 +di、-di+!之所以是 +di,-di+,是因为需要将目标还原为最接近的原始刚性约束条件 优先级因素和权重因素 对多个目标进行优先排序和优先排序 目标规划的目标函数 是所有偏差变量的加权和。值得注意的是,这个加权和都取最小值。而 di+ 和 dii- 并不一定要出现在每个不同的需求层次中。具体分析需要具体问题具体分析 下面是一个例子: 题目中说设备 B 既要求充分利用,又要求尽可能不加班,那么列出的时间计量表达式即为:min z = P3 (d3- + d3 +) 使用 + 而不是 -d3 + 的原因是:正负偏差不可能同时存在,必须有 di+di=0 (因为判定值不可能同时大于目标值和小于目标值),而前面是 min,所以只要取 + 并让 di+ 和 dii- 都为正值即可。因此,得出以下规则: 最后,给出示例和相应的解法: 问题:某企业生产 A 和 B 两种产品,需要使用 A、B、C 三种设备。下表显示了与工时和设备使用限制有关的产品利润率。问该企业应如何组织生产以实现下列目标? (1) 力争利润目标不低于 1 500 美元; (2) 考虑到市场需求,A、B 两种产品的生产比例应尽量保持在 1:2; (3)设备 A 是贵重设备,严禁超时使用; (4)设备 C 可以适当加班,但要控制;设备 B 要求充分利用,但尽量不加班。 从重要性来看,设备 B 的重要性是设备 C 的三倍。 建立相应的目标规划模型并求解。 解:设企业生产 A、B 两种产品的件数分别为 x1、x2,并建立相应的目标计划模型: 以下为顺序求解法,利用 LINGO 求解: 1 级目标: 模型。 设置。 variable/1..2/:x;! s_con_num/1...4/:g,dplus,dminus;!所需软约束数量(g=dplus=dminus 数量)及相关参数; s_con(s_con_num);! s_con(s_con_num,variable):c;!软约束系数; 结束集 数据。 g=1500 0 16 15. c=200 300 2 -1 4 0 0 5; 结束数据 min=dminus(1);!第一个目标函数;!对应于 min=z 的第一小部分;! 2*x(1)+2*x(2)<12;!硬约束 @for(s_con_num(i):@sum(variable(j):c(i,j)*x(j))+dminus(i)-dplus(i)=g(i)); !使用设置完成的数据构建软约束表达式; ! !软约束表达式 @for(variable:@gin(x)); !将变量约束为整数; ! 结束 此时,第一级目标的最优值为 0,第一级偏差为 0: 第二级目标: !求 dminus(1)=0,然后求解第二级目标。 模型。 设置。 变量/1..2/:x;!设置:变量/1..2/:x; ! s_con_num/1...4/:g,dplus,dminus;!软约束数量及相关参数; s_con(s_con_num(s_con_num));! s_con(s_con_num,variable):c;! 软约束系数; s_con(s_con_num,variable):c;! 结束集 数据。 g=1500 0 16 15; c=200 300 2 -1 4 0 0 5; 结束数据 min=dminus(2)+dplus(2);!第二个目标函数 2*x(1)+2*x(2)<12;!硬约束 @for(s_con_num(i):@sum(variable(j):c(i,j)*x(j))+dminus(i)-dplus(i)=g(i)); ! 软约束表达式;! dminus(1)=0; !第一个目标结果 @for(variable:@gin(x)); ! 结束 此时,第二个目标的最优值为 0,偏差为 0: 第三目标 !求 dminus(2)=0,然后求解第三个目标。 模型。 设置。 变量/1..2/:x;!设置:变量/1..2/:x; ! s_con_num/1...4/:g,dplus,dminus;!软约束数量及相关参数; s_con(s_con_num(s_con_num));! s_con(s_con_num,variable):c;! 软约束系数; s_con(s_con_num,variable):c;! 结束集 数据。 g=1500 0 16 15; c=200 300 2 -1 4 0 0 5; 结束数据 min=3*dminus(3)+3*dplus(3)+dminus(4);!第三个目标函数。 2*x(1)+2*x(2)<12;!硬约束 @for(s_con_num(i):@sum(variable(j):c(i,j)*x(j))+dminus(i)-dplus(i)=g(i)); ! 软约束表达式;! dminus(1)=0; !第一个目标约束条件; ! dminus(2)+dplus(2)=0; !第二个目标约束条件 @for(variable:@gin(x));! 结束 最终结果为 x1=2,x2=4,dplus(1)=100,最优利润为
-
数模转换器的采样率