欢迎您访问 最编程 本站为您分享编程语言代码,编程技术文章!
您现在的位置是: 首页

Flink 集群从属节点任务管理器启动分析 - 1. 概述

最编程 2024-04-05 11:06:04
...

  TaskManager 是 Flink 集群的工作进程,执行数据流的具体计算,称之为"Worker"。Flink集群必须至少有一个TaskManager;每一个TaskManager都包含了一定数量的任务槽(task slots)。Slot是资源调度的最小单位,slot的数量限制了TaskManager能够并行处理的任务数量。

  启动之后,TaskManager会向资源管理器注册它的slots;收到资源管理器的指令后,TaskManager就会将一个或者多个槽位提供给JobMaster调用,JobMaster就可以分配任务来执行了。

  在Job执行过程中,TaskManager可以缓冲数据,还可以跟其他运行同一应用的TaskManager交换数据。

  TaskManager 是一个逻辑抽象,代表一台服务器,服务器的启动,必然会包含一些服务,另外再包含一个 TaskExecutor,存在于TaskManager的内部,真实的帮助TaskManager 完成各种核心操作:提交Task执行、申请和释放slot。