搞定App内存问题：一步步分析和优化内存泄漏的方法
最编程
2024-08-03 09:07:39
...
根据以往经验，其实做内存优化最先要搞定的应该是内存中的大头，这类大头对内存的占用很大，也是内存问题的主要祸首，相对来说比较容易定位问题，且优化后效果也非常明显，性价比非常高。
事实上很多优化都是这样，比如减包大小的优化，也是要先分析出主要大头祸首，比如可能你的包里包含了一张3M大小的无用图片，如果你没找到这种祸首，可能你做了大量的工作去想办法减少无用代码等，最终可能只有几百K的收益。
相对内存来说，这个大头就是：
内存泄漏图片
所以首先你要确保你的应用里没有存在内存泄漏，然后再去做其他的内存优化。
内存泄漏检测
现在内存泄漏的检测已经变得非常简便了，使用App后在Android Profiler中先触发GC然后dump内存快照，之后点击按package分类，就可以迅速查看到你的App目前在内存中残留的class,点击class即可在右边查看到对应的实例以及引用对象。
当然你也可以在debug下集成LeakCanary做内存泄漏监控警告
排除内存泄漏后，图片就是另一个占用内存大头的对象了。
图片
对于图片来说一个是颜色模式，检查一下项目里的图片的颜色模式，是否可以降低，比如从RGB_8888降到RGB_565，则每张图片可以节省1/2的内存，如果没有使用到透明通道等的话基本上肉眼看不出差别。
还有一个是降低图片的大小，可能你的ImageView只有你图片的一半大，则这部分内存就大大浪费了，我们项目服务端会根据前端的参数做动态切图。
前端也可以通过降低采样率(inSampleSize)来达到降低图片占用内存大小的目的，但是这个采样率InSampleSize只能是整数(甚至只能是2的次方)，如果inSampleSize=2,则最终内存占用就会是原来的1/4，适用于图片过大很多的情况，对于只是想做小幅度压缩的话，基本没用。
ok，接下来开始做具体的内存分析与稍微细致一点的内存优化。
下一篇： 揭秘阿里云ECS的超强计算能力
推荐阅读
-
搞定App内存问题：一步步分析和优化内存泄漏的方法
-
windows下进程间通信的（13种方法）-摘 要 本文讨论了进程间通信与应用程序间通信的含义及相应的实现技术，并对这些技术的原理、特性等进行了深入的分析和比较。 ---- 关键词 信号 管道 消息队列 共享存储段 信号灯 远程过程调用 Socket套接字 MQSeries 1 引言 ---- 进程间通信的主要目的是实现同一计算机系统内部的相互协作的进程之间的数据共享与信息交换，由于这些进程处于同一软件和硬件环境下，利用操作系统提供的的编程接口，用户可以方便地在程序中实现这种通信；应用程序间通信的主要目的是实现不同计算机系统中的相互协作的应用程序之间的数据共享与信息交换，由于应用程序分别运行在不同计算机系统中，它们之间要通过网络之间的协议才能实现数据共享与信息交换。进程间通信和应用程序间通信及相应的实现技术有许多相同之处，也各有自己的特色。即使是同一类型的通信也有多种的实现方法，以适应不同情况的需要。 ---- 为了充分认识和掌握这两种通信及相应的实现技术，本文将就以下几个方面对这两种通信进行深入的讨论：问题的由来、解决问题的策略和方法、每种方法的工作原理和实现、每种实现方法的特点和适用的范围等。 2 进程间的通信及其实现技术 ---- 用户提交给计算机的任务最终都是通过一个个的进程来完成的。在一组并发进程中的任何两个进程之间，如果都不存在公共变量，则称该组进程为不相交的。在不相交的进程组中，每个进程都独立于其它进程，它的运行环境与顺序程序一样，而且它的运行环境也不为别的进程所改变。运行的结果是确定的，不会发生与时间相关的错误。 ---- 但是，在实际中，并发进程的各个进程之间并不是完全互相独立的，它们之间往往存在着相互制约的关系。进程之间的相互制约关系表现为两种方式： ---- （1） 间接相互制约：共享CPU ---- （2） 直接相互制约：竞争和协作 ---- 竞争——进程对共享资源的竞争。为保证进程互斥地访问共享资源，各进程必须互斥地进入各自的临界段。 ---- 协作——进程之间交换数据。为完成一个共同任务而同时运行的一组进程称为同组进程，它们之间必须交换数据，以达到协作完成任务的目的，交换数据可以通知对方可以做某事或者委托对方做某事。 ---- 共享CPU问题由操作系统的进程调度来实现，进程间的竞争和协作由进程间的通信来完成。进程间的通信一般由操作系统提供编程接口，由程序员在程序中实现。UNIX在这个方面可以说最具特色，它提供了一整套进程间的数据共享与信息交换的处理方法——进程通信机制（IPC）。因此，我们就以UNIX为例来分析进程间通信的各种实现技术。 ---- 在UNIX中，文件（File）、信号（Signal）、无名管道（Unnamed Pipes）、有名管道（FIFOs）是传统IPC功能；新的IPC功能包括消息队列（Message queues）、共享存储段（Shared memory segment）和信号灯（Semapores）。 ---- （1） 信号 ---- 信号机制是UNIX为进程中断处理而设置的。它只是一组预定义的值，因此不能用于信息交换，仅用于进程中断控制。例如在发生浮点错、非法内存访问、执行无效指令、某些按键（如ctrl-c、del等）等都会产生一个信号，操作系统就会调用有关的系统调用或用户定义的处理过程来处理。 ---- 信号处理的系统调用是signal，调用形式是： ---- signal(signalno,action) ---- 其中，signalno是规定信号编号的值，action指明当特定的信号发生时所执行的动作。 ---- （2） 无名管道和有名管道 ---- 无名管道实际上是内存中的一个临时存储区，它由系统安全控制，并且独立于创建它的进程的内存区。管道对数据采用先进先出方式管理，并严格按顺序操作，例如不能对管道进行搜索，管道中的信息只能读一次。 ---- 无名管道只能用于两个相互协作的进程之间的通信，并且访问无名管道的进程必须有共同的祖先。 ---- 系统提供了许多标准管道库函数，如： pipe——打开一个可以读写的管道； close——关闭相应的管道； read——从管道中读取字符； write——向管道中写入字符； ---- 有名管道的操作和无名管道类似，不同的地方在于使用有名管道的进程不需要具有共同的祖先，其它进程，只要知道该管道的名字，就可以访问它。管道非常适合进程之间快速交换信息。 ---- （3） 消息队列（MQ） ---- 消息队列是内存中独立于生成它的进程的一段存储区，一旦创建消息队列，任何进程，只要具有正确的的访问权限，都可以访问消息队列，消息队列非常适合于在进程间交换短信息。 ---- 消息队列的每条消息由类型编号来分类，这样接收进程可以选择读取特定的消息类型——这一点与管道不同。消息队列在创建后将一直存在，直到使用msgctl系统调用或iqcrm -q命令删除它为止。 ---- 系统提供了许多有关创建、使用和管理消息队列的系统调用，如： ---- int msgget(key,flag)——创建一个具有flag权限的MQ及其相应的结构，并返回一个唯一的正整数msqid（MQ的标识符）； ---- int msgsnd(msqid,msgp,msgsz,msgtyp,flag)——向队列中发送信息； ---- int msgrcv(msqid,cmd,buf)——从队列中接收信息； ---- int msgctl(msqid,cmd,buf)——对MQ的控制操作； ---- （4） 共享存储段（SM） ---- 共享存储段是主存的一部分，它由一个或多个独立的进程共享。各进程的数据段与共享存储段相关联，对每个进程来说，共享存储段有不同的虚拟地址。系统提供的有关SM的系统调用有： ---- int shmget(key,size,flag)——创建大小为size的SM段，其相应的数据结构名为key，并返回共享内存区的标识符shmid； ---- char shmat(shmid,address,flag)——将当前进程数据段的地址赋给shmget所返回的名为shmid的SM段； ---- int shmdr(address)——从进程地址空间删除SM段； ---- int shmctl (shmid,cmd,buf)——对SM的控制操作； ---- SM的大小只受主存限制，SM段的访问及进程间的信息交换可以通过同步读写来完成。同步通常由信号灯来实现。SM非常适合进程之间大量数据的共享。 ---- （5） 信号灯 ---- 在UNIX中，信号灯是一组进程共享的数据结构，当几个进程竞争同一资源时（文件、共享内存或消息队列等），它们的操作便由信号灯来同步，以防止互相干扰。 ---- 信号灯保证了某一时刻只有一个进程访问某一临界资源，所有请求该资源的其它进程都将被挂起，一旦该资源得到释放，系统才允许其它进程访问该资源。信号灯通常配对使用，以便实现资源的加锁和解锁。 ---- 进程间通信的实现技术的特点是：操作系统提供实现机制和编程接口，由用户在程序中实现，保证进程间可以进行快速的信息交换和大量数据的共享。但是，上述方式主要适合在同一台计算机系统内部的进程之间的通信。 3 应用程序间的通信及其实现技术 ---- 同进程之间的相互制约一样，不同的应用程序之间也存在竞争和协作的关系。UNIX操作系统也提供一些可用于应用程序之间实现数据共享与信息交换的编程接口，程序员可以通过自己编程来实现。如远程过程调用和基于TCP/IP协议的套接字（Socket）编程。但是，相对普通程序员来说，它们涉及的技术比较深，编程也比较复杂，实现起来困难较大。 ---- 于是，一种新的技术应运而生——通过将有关通信的细节完全掩盖在某个独立软件内部，即底层的通讯工作和相应的维护管理工作由该软件内部来实现，用户只需要将通信任务提交给该软件去完成，而不必理会它的具体工作过程——这就是所谓的中间件技术。 ---- 我们在这里分别讨论这三种常用的应用程序间通信的实现技术——远程过程调用、会话编程技术和MQSeries消息队列技术。其中远程过程调用和会话编程属于比较低级的方式，程序员参与的程度较深，而MQSeries消息队列则属于比较高级的方式，即中间件方式，程序员参与的程度较浅。 ---- 4．1 远程过程调用（RPC）
-
实用的命令行工具指南：深入理解jps、jstack、jmap、jhat、jstat与hprof JVM 性能优化与监控方法" - jps: Java虚拟机进程状态工具 - 全面解读 - jstack: 一步步掌握堆栈跟踪工具 - 实战解析 - jmap & jhat: 内存映射与Java堆分析利器 - 详解篇 - jstat: JVM性能统计与监测工具 - 使用详解 - hprof: 堆/CPU性能剖析工具 - 深入学习指南
-
搞定内存泄漏问题的新方法：MLA技巧解析
-
【Netty】「萌新入门」（七）ByteBuf 的性能优化-堆内存的分配和释放都是由 Java 虚拟机自动管理的，这意味着它们可以快速地被分配和释放，但是也会产生一些开销。 直接内存需要手动分配和释放，因为它由操作系统管理，这使得分配和释放的速度更快，但是也需要更多的系统资源。 另外，直接内存可以映射到本地文件中，这对于需要频繁读写文件的应用程序非常有用。 此外，直接内存还可以避免在使用 NIO 进行网络传输时发生数据拷贝的情况。在使用传统的 I/O 时，数据必须先从文件或网络中读取到堆内存中，然后再从堆内存中复制到直接缓冲区中，最后再通过 SocketChannel 发送到网络中。而使用直接缓冲区时，数据可以直接从文件或网络中读取到直接缓冲区中，并且可以直接从直接缓冲区中发送到网络中，避免了不必要的数据拷贝和内存分配。 通过 ByteBufAllocator.DEFAULT.directBuffer 方法来创建基于直接内存的 ByteBuf： ByteBuf directBuf = ByteBufAllocator.DEFAULT.directBuffer(16); 通过 ByteBufAllocator.DEFAULT.heapBuffer 方法来创建基于堆内存的 ByteBuf： ByteBuf heapBuf = ByteBufAllocator.DEFAULT.heapBuffer(16); 注意： 直接内存是一种特殊的内存分配方式，可以通过在堆外申请内存来避免 JVM 堆内存的限制，从而提高读写性能和降低 GC 压力。但是，直接内存的创建和销毁代价昂贵，因此需要慎重使用。 此外，由于直接内存不受 JVM 垃圾回收的管理，我们需要主动释放这部分内存，否则会造成内存泄漏。通常情况下，可以使用 ByteBuffer.clear 方法来释放直接内存中的数据，或者使用 ByteBuffer.cleaner 方法来手动释放直接内存空间。 测试代码： public static void testCreateByteBuf { ByteBuf buf = ByteBufAllocator.DEFAULT.buffer(16); System.out.println(buf.getClass); ByteBuf heapBuf = ByteBufAllocator.DEFAULT.heapBuffer(16); System.out.println(heapBuf.getClass); ByteBuf directBuf = ByteBufAllocator.DEFAULT.directBuffer(16); System.out.println(directBuf.getClass); } 运行结果： class io.netty.buffer.PooledUnsafeDirectByteBuf class io.netty.buffer.PooledUnsafeHeapByteBuf class io.netty.buffer.PooledUnsafeDirectByteBuf 池化技术 在 Netty 中，池化技术指的是通过对象池来重用已经创建的对象，从而避免了频繁地创建和销毁对象，这种技术可以提高系统的性能和可伸缩性。 通过设置 VM options，来决定池化功能是否开启： -Dio.netty.allocator.type={unpooled|pooled} 在 Netty 4.1 版本以后，非 Android 平台默认启用池化实现，Android 平台启用非池化实现； 这里我们使用非池化功能进行测试，依旧使用的是上面的测试代码 testCreateByteBuf，运行结果如下所示： class io.netty.buffer.UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeDirectByteBuf class io.netty.buffer.UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeHeapByteBuf class io.netty.buffer.UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeDirectByteBuf 可以看到，ByteBuf 类由 PooledUnsafeDirectByteBuf 变成了 UnpooledUnsafeDirectByteBuf； 在没有池化的情况下，每次使用都需要创建新的 ByteBuf 实例，这个操作会涉及到内存的分配和初始化，如果是直接内存则代价更为昂贵，而且频繁的内存分配也可能导致内存碎片问题，增加 GC 压力。 使用池化技术可以避免频繁内存分配带来的开销，并且重用池中的 ByteBuf 实例，减少了内存占用和内存碎片问题。另外，池化技术还可以采用类似 jemalloc 的内存分配算法，进一步提升分配效率。 在高并发环境下，池化技术的优点更加明显，因为内存的分配和释放都是比较耗时的操作，频繁的内存分配和释放会导致系统性能下降，甚至可能出现内存溢出的风险。使用池化技术可以将内存分配和释放的操作集中到预先分配的池中，从而有效地降低系统的内存开销和风险。 内存释放 当在 Netty 中使用 ByteBuf 来处理数据时，需要特别注意内存回收问题。 Netty 提供了不同类型的 ByteBuf 实现，包括堆内存（JVM 内存）实现 UnpooledHeapByteBuf 和堆外内存（直接内存）实现 UnpooledDirectByteBuf，以及池化技术实现的 PooledByteBuf 及其子类。 UnpooledHeapByteBuf：通过 Java 的垃圾回收机制来自动回收内存； UnpooledDirectByteBuf：由于 JVM 的垃圾回收机制无法管理这些内存，因此需要手动调用 release 方法来释放内存； PooledByteBuf：使用了池化机制，需要更复杂的规则来回收内存; 由于池化技术的特殊性质，释放 PooledByteBuf 对象所使用的内存并不是立即被回收的，而是被放入一个内存池中，待下次分配内存时再次使用。因此，释放 PooledByteBuf 对象的内存可能会延迟到后续的某个时间点。为了避免内存泄漏和占用过多内存，我们需要根据实际情况来设置池化技术的相关参数，以便及时回收内存； Netty 采用了引用计数法来控制 ByteBuf 对象的内存回收，在博文 「源码解析」ByteBuf 的引用计数机制 中将会通过解读源码的形式对 ByteBuf 的引用计数法进行深入理解； 每个 ByteBuf 对象被创建时，都会初始化为1，表示该对象的初始计数为1。 在使用 ByteBuf 对象过程中，如果当前 handler 已经使用完该对象，需要通过调用 release 方法将计数减1，当计数为0时，底层内存会被回收，该对象也就被销毁了。此时即使 ByteBuf 对象还在，其各个方法均无法正常使用。 但是，如果当前 handler 还需要继续使用该对象，可以通过调用 retain 方法将计数加1，这样即使其他 handler 已经调用了 release 方法，该对象的内存仍然不会被回收。这种机制可以有效地避免了内存泄漏和意外访问已经释放的内存的情况。 一般来说，应该尽可能地保证 retain 和 release 方法成对出现，以确保计数正确。