针对无法实现系统镇定的RL，一些思考
最编程
2024-01-04 17:21:20
...
很多人学强化学习都是从Cartpole这个例子开始的，（如下图）单极倒立摆的目标是维持摆的临界稳定状态。使用强化学习的算法无法让系统的状态渐进稳定，而其他的算法如：LQR控制、状态反馈控制等在仿真环境下并不会出现“左摇右晃”的现象。
图1 gym库中的Cartpole
现在考虑一个可稳的系统：Power System Problem[1]。为了实现系统镇定，我们考虑两种求解最优控制问题的方法：MPC与RL .
图2 Power System Problem
这里Pm是参考信号，我们要求Pe在某种控制律的作用下从振荡状态渐进稳定到Pm。分别使用MPC和RL的仿真结果如下图，我们可以发现使用MPC可以很好的抑制Pe的振荡（图[k] 、[i]）这说明系统可稳。系统可稳的条件下，RL却不能完全消除振荡，这说明RL与MPC在算法的本质上存在某些差异。
图3 MPC与RL的仿真结果图
对于该问题一些个人的思考：
1.在这个问题中，MPC与RL都在近似的求解最优控制律，或者说最优的策略。MPC的办法是在每个采样时间求解一个开环最优控制问题，它给出最优控制律的解析解，即充分利用了动作空间的连续性。RL则与其相反，通常会将动作空间离散化。一些近似解法的强化学习算法，如拟合值迭代，只将系统动态使用黑箱模型进行模拟，而动作空间仍使用普通的离散化处理，这是因为动作空间的维度一般小于状态空间。问题就出现在这里，RL给出的最优策略通常是数值解，故会出现小幅振荡的现象。对比图3也可以发现，随着离散化程度（维度）的提高，振荡幅度也在减小。但只要是离散的控制输入，都很难真正做到系统渐进稳定。
2.从RL的最优策略定义出发，RL的策略是用条件概率给出的定义。所有能达到最优状态（动作）价值函数的策略都是最优策略，由于RL的策略是某状态下动作的分布，只要在此状态下采用最优动作的概率不为零，这个策略就被定义为最优。即虽然最优状态（动作）价值函数是唯一的，但最优策略可能不唯一。使用策略迭代算法的时候，RL可能会在几个最优策略之间来回转换，这也可能会导致系统不能镇定。
Reference：
[1]Damien Ernst, Member, IEEE, Mevludin Glavic, Senior Member, IEEE, Florin Capitanescu, and Louis Wehenkel, Member, IEEE,"Reinforcement Learning Versus Model Predictive Control: A Comparison on a Power System Problem" in IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART B: CYBERNETICS, VOL. 39, NO. 2, APRIL 2009.
下一篇： 基于车辆运动学的智能车轨迹跟踪控制方法
推荐阅读
-
纯干货分享 | 研发效能提升——敏捷需求篇-而敏捷需求是提升效能的方式中不可或缺的模块之一。 云智慧的敏捷教练——Iris Xu近期在公司做了一场分享，主题为「敏捷需求挖掘和组织方法，交付更高业务价值的产品」。Iris具有丰富的团队敏捷转型实施经验，完成了企业多个团队从传统模式到敏捷转型的落地和实施，积淀了很多的经验。 这次分享主要包含以下2个部分： 第一部分是用户影响地图 第二部分是事件驱动的业务分析Event driven business analysis（以下简称EDBA） 用户影响地图，是一种从业务目标到产品需求映射的需求挖掘和组织的方法。 在软件开发过程中可能会遇到一些问题，比如大家使用不同的业务语言、技术语言，造成角色间的沟通阻碍，还会导致一些问题，比如需求误解、需求传递错误等；这会直接导致产品的功能需求和要实现的业务目标不是映射关系。 但在交付期间，研发人员必须要将这些需求实现交付，他们实则并不清楚这些功能需求产生的原因是什么、要解决客户的哪些痛点。研发人员往往只是拿到了解决方案，需要把它实现，但没有和业务侧一起去思考解决方案是否正确，能否真正的帮助客户解决问题。而用户影响地图通常是能够连接业务目标和产品功能的一种手段。 我们在每次迭代里加入的假设，也就是功能需求。首先把它先实现，再逐步去验证我们每一个小目标是否已经实现，再看下一个目标要是什么。那影响地图就是在这个过程中帮我们不断地去梳理目标和功能之间的关系。 我们在软件开发中可能存在的一些问题 针对这些问题，我们如何避免？先简单介绍做敏捷转型的常规思路： 先做团队级的敏捷，首先把产品、开发、测试人员，还有一些更后端的人员比如交互运维的同学放在一起，组成一个特训团队做交付。这个团队要包含交付过程中所涉及的所有角色。 接着业务敏捷要打通整个业务环节和研发侧的一个交付。上图中可以看到在敏捷中需求是分层管理的，第一层是业务需求，在这个层级是以用户目标和业务目标作为输入进行规划，同时需要去考虑客户的诉求。业务人员通过获取到的业务需求，进一步的和团队一起将其分解为产品需求。所以业务需求其实是我们真正去发布和运营的单元，它可以被独立发布到我们的生产环境上。我们的产品需求其实就是产品的具体功能，它是我们集成和测试的对象，也就是我们最终去部署到系统上的一个基本单元。产品需求再到了我们的开发团队，映射到迭代计划会上要把它分解为相应的技术任务，包括我们平时所说的比如一些前端的开发、后端的开发、测试都是相应的技术任务。所以业务敏捷要达到的目标是需要去持续顺畅高质量的交付业务价值。 将这几个点串起来，形成金字塔结构。最上层我们会把业务目标放在整个金字塔的塔尖。这个业务目标是通过用户的目标以及北极星指标确立的。确认业务目标后再去梳理相应的业务流程，最后生产。另外产品需求包含了操作流程和业务规则，具需求交付时间、工程时间以及我们的一些质量标准的要求。 谈到用户影响的地图，在敏捷江湖上其实有一个传说，大家都有一个说法叫做敏捷需求的“任督二脉”。用户影响地图其实就是任脉，在黑客马拉松上用过的用户故事地图其实叫督脉。所以说用户影响地图是在用户故事地图之前，先帮我们去梳理出我们要做哪些东西。当我们真正识别出我们要实现的业务活动之后，用户故事地图才去梳理我们整个的业务工作流，以及每个工作流节点下所要包含的具体功能和用户故事。所以说用户影响地图需要解决的问题，我们包括以下这些： 首先是范围蔓延，我们在整张地图上，功能和对应的业务目标是要去有一个映射的。这就避免了一些在我们比如有很多干系人参与的会议上，那大家都有不同想法些立场，会提出很多需求（正确以及错误的需求）。这个时候我们会依据目标去看这些需求是否真的是会影响我们的目标。 这里提到的错误需求，比如是利益相关的人提出的、客户认为产品应该有的、某个产品经理需求分析师认为可以有的....但是这些功能在用户影响地图中匹配不到对应目标的话，就需要降低优先级或弃掉。另外，通常我们去制定解决方案的时候，会考虑较完美的实现，导致解决方案括很多的功能。这个时候关键目标至关重要，会帮助我们梳理筛选、确定优先级。 看一下用户影响到地图概貌 总共分为一个三层的结构： 第一层why，你的业务目标哪个是最重要的，为什么？涉及到的角色有哪些？ 第二层how ，怎样产生影响？影响用户角色什么样的行为? （不需要去列出所有的影响，基于业务目标） 第三层what，最关键的是在梳理需求时不需一次把所有细节想全，这通常团队中经常遇到的问题。 我们用这个例子来看一下 这是一个客服中心的影响地图，业务目标是 3个月内不增加客服人数的前提下能支持1.5倍的用户数。此业务目标设定是符合 smart 原则的，specific非常的具体，miserable 是可以衡量的，action reoriented是面向活动的， real list 也是很实际的。 量化的目标会指引我们接下来的行动，梳理一个业务目标，尽量去量化，比如 ：我们通过打造一条什么样的流水线，能够提高整个部署的效率，时间是原来的 1/2 。这样才是一个能量化的有意义的目标。 回到这幅图， how 层级识别出来的内容，客服角色：想要对它施加的影响，把客户引导到论坛上，帮助客户更容易的跟踪问题，更快速的去定位问题。初级用户：方论坛上找到问题。高级用户：在论坛上回答问题。通过我们这些用户角色，进行活动，完成在不增加客户客服人数的前提下支持更多的用户数量。 最后一个层级，才是我们日常接触比较多的真正的功能的特性和需求，比如引导到客户到论坛上，其实这个产品就需要有一个常见问题的论坛的链接。这个层次需要我们团队进一步地在交付，在每个迭代之前做进一步的梳理，细化成相应的用户故事。 这个是云智慧团队中，自己做的影响地图的范例，可以看下整个的层级结构。序号表示优先级。 那我们用户影响地图可以总结为：
-
【Netty】「萌新入门」（七）ByteBuf 的性能优化-堆内存的分配和释放都是由 Java 虚拟机自动管理的，这意味着它们可以快速地被分配和释放，但是也会产生一些开销。 直接内存需要手动分配和释放，因为它由操作系统管理，这使得分配和释放的速度更快，但是也需要更多的系统资源。 另外，直接内存可以映射到本地文件中，这对于需要频繁读写文件的应用程序非常有用。 此外，直接内存还可以避免在使用 NIO 进行网络传输时发生数据拷贝的情况。在使用传统的 I/O 时，数据必须先从文件或网络中读取到堆内存中，然后再从堆内存中复制到直接缓冲区中，最后再通过 SocketChannel 发送到网络中。而使用直接缓冲区时，数据可以直接从文件或网络中读取到直接缓冲区中，并且可以直接从直接缓冲区中发送到网络中，避免了不必要的数据拷贝和内存分配。 通过 ByteBufAllocator.DEFAULT.directBuffer 方法来创建基于直接内存的 ByteBuf： ByteBuf directBuf = ByteBufAllocator.DEFAULT.directBuffer(16); 通过 ByteBufAllocator.DEFAULT.heapBuffer 方法来创建基于堆内存的 ByteBuf： ByteBuf heapBuf = ByteBufAllocator.DEFAULT.heapBuffer(16); 注意： 直接内存是一种特殊的内存分配方式，可以通过在堆外申请内存来避免 JVM 堆内存的限制，从而提高读写性能和降低 GC 压力。但是，直接内存的创建和销毁代价昂贵，因此需要慎重使用。 此外，由于直接内存不受 JVM 垃圾回收的管理，我们需要主动释放这部分内存，否则会造成内存泄漏。通常情况下，可以使用 ByteBuffer.clear 方法来释放直接内存中的数据，或者使用 ByteBuffer.cleaner 方法来手动释放直接内存空间。 测试代码： public static void testCreateByteBuf { ByteBuf buf = ByteBufAllocator.DEFAULT.buffer(16); System.out.println(buf.getClass); ByteBuf heapBuf = ByteBufAllocator.DEFAULT.heapBuffer(16); System.out.println(heapBuf.getClass); ByteBuf directBuf = ByteBufAllocator.DEFAULT.directBuffer(16); System.out.println(directBuf.getClass); } 运行结果： class io.netty.buffer.PooledUnsafeDirectByteBuf class io.netty.buffer.PooledUnsafeHeapByteBuf class io.netty.buffer.PooledUnsafeDirectByteBuf 池化技术 在 Netty 中，池化技术指的是通过对象池来重用已经创建的对象，从而避免了频繁地创建和销毁对象，这种技术可以提高系统的性能和可伸缩性。 通过设置 VM options，来决定池化功能是否开启： -Dio.netty.allocator.type={unpooled|pooled} 在 Netty 4.1 版本以后，非 Android 平台默认启用池化实现，Android 平台启用非池化实现； 这里我们使用非池化功能进行测试，依旧使用的是上面的测试代码 testCreateByteBuf，运行结果如下所示： class io.netty.buffer.UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeDirectByteBuf class io.netty.buffer.UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeHeapByteBuf class io.netty.buffer.UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeDirectByteBuf 可以看到，ByteBuf 类由 PooledUnsafeDirectByteBuf 变成了 UnpooledUnsafeDirectByteBuf； 在没有池化的情况下，每次使用都需要创建新的 ByteBuf 实例，这个操作会涉及到内存的分配和初始化，如果是直接内存则代价更为昂贵，而且频繁的内存分配也可能导致内存碎片问题，增加 GC 压力。 使用池化技术可以避免频繁内存分配带来的开销，并且重用池中的 ByteBuf 实例，减少了内存占用和内存碎片问题。另外，池化技术还可以采用类似 jemalloc 的内存分配算法，进一步提升分配效率。 在高并发环境下，池化技术的优点更加明显，因为内存的分配和释放都是比较耗时的操作，频繁的内存分配和释放会导致系统性能下降，甚至可能出现内存溢出的风险。使用池化技术可以将内存分配和释放的操作集中到预先分配的池中，从而有效地降低系统的内存开销和风险。 内存释放 当在 Netty 中使用 ByteBuf 来处理数据时，需要特别注意内存回收问题。 Netty 提供了不同类型的 ByteBuf 实现，包括堆内存（JVM 内存）实现 UnpooledHeapByteBuf 和堆外内存（直接内存）实现 UnpooledDirectByteBuf，以及池化技术实现的 PooledByteBuf 及其子类。 UnpooledHeapByteBuf：通过 Java 的垃圾回收机制来自动回收内存； UnpooledDirectByteBuf：由于 JVM 的垃圾回收机制无法管理这些内存，因此需要手动调用 release 方法来释放内存； PooledByteBuf：使用了池化机制，需要更复杂的规则来回收内存; 由于池化技术的特殊性质，释放 PooledByteBuf 对象所使用的内存并不是立即被回收的，而是被放入一个内存池中，待下次分配内存时再次使用。因此，释放 PooledByteBuf 对象的内存可能会延迟到后续的某个时间点。为了避免内存泄漏和占用过多内存，我们需要根据实际情况来设置池化技术的相关参数，以便及时回收内存； Netty 采用了引用计数法来控制 ByteBuf 对象的内存回收，在博文 「源码解析」ByteBuf 的引用计数机制 中将会通过解读源码的形式对 ByteBuf 的引用计数法进行深入理解； 每个 ByteBuf 对象被创建时，都会初始化为1，表示该对象的初始计数为1。 在使用 ByteBuf 对象过程中，如果当前 handler 已经使用完该对象，需要通过调用 release 方法将计数减1，当计数为0时，底层内存会被回收，该对象也就被销毁了。此时即使 ByteBuf 对象还在，其各个方法均无法正常使用。 但是，如果当前 handler 还需要继续使用该对象，可以通过调用 retain 方法将计数加1，这样即使其他 handler 已经调用了 release 方法，该对象的内存仍然不会被回收。这种机制可以有效地避免了内存泄漏和意外访问已经释放的内存的情况。 一般来说，应该尽可能地保证 retain 和 release 方法成对出现，以确保计数正确。
-
针对无法实现系统镇定的RL，一些思考