卡夫卡从入门到实践--第五轮
Kafka入门到实战
- Kafka常见操作
- 官网地址
- Kafka概述
- Kafka的基础操作
- 更新计划
Kafka常见操作
官网地址
声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准
https://kafka.apache.org/
Kafka概述
Apache Kafka 是一个开源的分布式事件流平台,提供高性能数据管道、流分析、 数据集成和任务关键型应用程序。
Kafka的基础操作
本节将在Kafka集群上执行。所有工具都可以在Kafka发行版的bin/目录下使用,如果在没有参数的情况下运行,每个工具都会打印所有可能的命令行选项的详细信息。
-
添加和删除主题 创建一个名为 my_topic_name的主题, 分区为10, 副本数为2(上次搭建的集群只有两个broker), 保留时间是1天
bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my_topic_name \ --partitions 10 --replication-factor 2 --config retention.ms=86400000
-
查看分区是否正常创建 ls /tmp/kraft-combined-logs/
-
删除主题, 可以看到分区被逻辑删除啦,
bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic my_topic_name
-
修改主题, 只需要把delete 改为alert即可
-
优雅地关闭, 以下内容直接参考官网, 未在本机上测试
- 关闭生产者
- 关闭消费者
- 添加controlled.shutdown.enable=true
- bin/kafka-server-stop.sh
-
设置具有优先的领导权, 用于一个服务实例宕机启动
auto.leader.rebalance.enable=true
-
跨机架平衡复制副本, 实现Kafka故障转移和容灾备份
broker.rack=my-rack-id
-
查看消费者的位置
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
-
管理消费者组
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
-
列出消费者组详细信息
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
- 还可以加一些参数
- –members 提供使用者组中所有活动成员的列表
- –members --verbose 还提供分配给每个成员的分区
- –offsets 默认的description选项,提供与“–description”选项相同的输出
- –state 提供有用的组级别信息
- –delete 删除一个或多个消费者组
-
扩展集群
-
下线服务实例
-
增加复制因子
-
限制数据迁移期间的带宽使用
-
配置额度
-
自定义额度对于 (user=user1, client-id=clientA)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-name user1 --entity-type clients --entity-name clientA
-
自定义额度对于 user=user1
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-name user1
-
自定义额度对于 client-id=clientA
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type clients --entity-name clientA
-
为user=userA配置默认客户端id配额
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-name user1 --entity-type clients --entity-default
-
配置默认配额对于user
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-default
-
配置默认配额对于client-id
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type clients --entity-default
-
查询分配的配额 (user, client-id)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users --entity-name user1 --entity-type clients --entity-name clientA
-
查询分配的配额 (user)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users --entity-name user1
-
查询分配的配额 (client-id)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type clients --entity-name clientA
-
查询分配的配额 (所有user)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users
-
查询分配的配额 (所有user, client-id)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users --entity-type clients
-
更新计划
下一部分是Kafka实战的代码部分, 敬请期待…
推荐阅读
-
35 岁实现财务*,腾讯程序员手握2300万提前退休?-1000万房产、1000万腾讯股票、加上300万的现金,一共2300万的财产。有网友算了一笔账,假设1000万的房产用于自住,剩下1300万资产按照平均税后20-50万不等进行计算,大约花上26-60年左右的时间才能赚到这笔钱。也就是说,普通人可能奋斗一辈子,才能赚到这笔钱。在很多人还在为中年危机而惶惶不可终日的时候,有的人的35岁,就已经安全着陆,试问哪个打工人不羡慕?但问题是有这样财富积累必然有像样的实力做靠山。没有人可以不劳而获。 看到这里,肯定有人说,那么对于普通人来说,卷可能真就成了唯一的出路。但是卷也有轻松的卷,“偷懒”的卷法,对于程序员而言,刨除掉一时无法改掉的开会传统占用的大部分时间,如何把有限的时间和精力放在真正重要的架构设计、需求设计上,而不是重复的造*,编码、改bug、手动测试。因此在科技改变生活的今天,学会使用AI工具成为程序员们的必备技能。 以全栈式全自动的软件开发工具飞算SoFlu软件机器人为例,作为全球首款面向微服务架构设计和最佳实践的软件机器人,SoFlu软件机器人改变了原来手工编码的作业模式,通过可视化拖拽方式以及参数配置就能实现等同于编写复杂代码的业务逻辑,在设计业务逻辑时就完成了微服务应用开发,做到“业务即图,图即代码”,实现“软件开发,十倍提效”。 而作为飞算SoFlu软件机器人的一个重要组成部分,FuncGPT(慧函数)支持所有类型函数创建。通过自然语言描述Java函数需求,实时生成高质量、高可读性的Java函数代码。生成代码可直接复制到IDEA,或一键导入Java全自动开发工具函数库。 FuncGPT(慧函数)具有五大核心能力: ● 自然语言:通过自然语言即可生成函数,降低软件开发门槛。 ● 秒级函数开发:全自动秒级开发函数,秒级完成,效率千倍提升。 ● 一站式函数开发应用:函数生成即可直接应用,效率、安全有保障。 ● 质量可靠:生成的函数代码符合业界规范、具备良好的可读性,符合最优解。 ● 灵活生成:可以根据开发人员的具体需求生成并支持调整和修改。 以“将文件流转换为File对象”这个需求为例,以下是FuncGPT(慧函数)秒级生成的代码: / 类名:FileConverter // 函数名:convertStreamToFile // 函数功能:将文件流转换为File对象 // POM依赖包:无 import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; public class FileConverter { /** * 将文件流转换为File对象 * @param inputStream 文件流 * @param filePath 文件路径 * @param fileName 文件名 * @return 转换后的File对象 * @throws IOException 如果发生I/O异常 */ public static File convertStreamToFile(InputStream inputStream, String filePath, String fileName) throws IOException { File file = new File(filePath + File.separator + fileName); // 创建File对象 try (FileOutputStream outputStream = new FileOutputStream(file)) { // 创建文件输出流 byte buffer = new byte[1024]; int bytesRead; while ((bytesRead = inputStream.read(buffer)) != -1) { // 从文件流读取数据并写入文件 outputStream.write(buffer, 0, bytesRead); } } return file; // 返回转换后的File对象 } } // 函数示例 // 将文件流转换为File对象示例 // 入参:inputStream,文件流 // 入参:filePath,文件路径 // 入参:fileName,文件名 // 出参:file,转换后的File对象 // 调用示例: // InputStream inputStream = new FileInputStream("example.txt"); // String filePath = "C:\\Users\\User\\Documents"; // String fileName = "example.txt"; // File file = FileConverter.convertStreamToFile(inputStream, filePath, fileName); // System.out.println(file.getAbsolutePath); // 输出结果:例如,将文件流转换为File对象后,文件的绝对路径为:C:\Users\User\Documents\example.txt // 则输出结果为:C:\Users\User\Documents\example.txt 通过分析,不难发现以上代码:
-
PHP APCu 性能调整:从入门到精通
-
ElasticSearch(一篇文章将 ES 从入门到精通)
-
告别 BeanUtils,Mapstruct 从入门到精通!
-
分布式系统架构设计原理与实践》:从单体到微服务的演变
-
R 语言绘图(ggplot2、ggpubr)从入门到精通 04 - 条形图的调色板美化
-
Android 开发笔记 - 快速入门(从 SQLlite 入门到 Room Unbridled) 2
-
Langchain 入门到实践 - 第四轮
-
从 epoll 入门到 redis 中的 epoll
-
全新 51 微控制器 C 语言教程:从入门到精通实例全攻略