Flink 集群从属节点任务管理器启动分析 - 1. 概述
最编程
2024-04-05 11:06:04
...
TaskManager 是 Flink 集群的工作进程,执行数据流的具体计算,称之为"Worker"。Flink集群必须至少有一个TaskManager;每一个TaskManager都包含了一定数量的任务槽(task slots)。Slot是资源调度的最小单位,slot的数量限制了TaskManager能够并行处理的任务数量。
启动之后,TaskManager会向资源管理器注册它的slots;收到资源管理器的指令后,TaskManager就会将一个或者多个槽位提供给JobMaster调用,JobMaster就可以分配任务来执行了。
在Job执行过程中,TaskManager可以缓冲数据,还可以跟其他运行同一应用的TaskManager交换数据。
TaskManager 是一个逻辑抽象,代表一台服务器,服务器的启动,必然会包含一些服务,另外再包含一个 TaskExecutor,存在于TaskManager的内部,真实的帮助TaskManager 完成各种核心操作:提交Task执行、申请和释放slot。