🌊
Kafka
从分区副本到消费组、事务与流处理,构建高吞吐的事件驱动架构。
- 01Kafka 概览为什么需要消息系统、Kafka 的分布式提交日志定位、典型场景与同类产品对比
- 02核心概念与整体架构Broker、Topic、Partition、Offset、副本、生产者消费者与 Controller 的关系
- 03安装与部署(KRaft 模式)单机与三节点 KRaft 集群搭建、server.properties 关键配置与 Docker Compose 编排
- 04命令行工具实战kafka-topics、console 生产消费、consumer-groups、configs 与 get-offsets 全流程演练
- 05Producer 原理与核心配置发送流程全链路、batch.size 与 linger.ms 攒批机制、三种发送方式与代码实战
- 06Producer 可靠性与幂等事务acks 三档语义、重试与乱序、幂等 Producer 原理与事务 exactly-once
- 07Consumer 与消费组poll 循环模型、消费组分配语义与三个超时参数的区别
- 08Offset 管理__consumer_offsets、自动与手动提交、seek 重置与重复消费丢失成因矩阵
- 09Rebalance 机制触发条件、Eager 与 Cooperative 协议、四种分配器与减少 Rebalance 的实践
- 10分区策略与消息顺序默认分区器与粘性分区、自定义 Partitioner、局部有序保证与分区数选择
- 11副本机制与 ISRLeader/Follower 同步、ISR 收缩扩张、HW 与 LEO、Leader Epoch 与数据一致性
- 12存储与日志压实segment 分段与索引、零拷贝与 PageCache、保留策略与 Log Compaction
- 13序列化与 Schema RegistryJSON/Avro/Protobuf 选型、Schema Registry 工作原理与兼容性演进策略
- 14Kafka Connect 数据集成Worker/Connector/Task 架构、Distributed 模式、Source/Sink 配置、SMT 与 Debezium CDC
- 15Kafka Streams 入门流表二元性、KStream/KTable、有状态算子与窗口、容错机制与 Flink 取舍
- 16监控与日常运维关键 JMX 指标、Lag 监控、Prometheus 采集、分区重分配与滚动重启
- 17性能调优吞吐与延迟的取舍、三端参数矩阵、压缩选择、OS 配置与 perf-test 压测
- 18安全:加密、认证与授权SSL/TLS 加密、SASL 认证机制选型、ACL 授权、配额与多租户实践
- 19常见问题与故障排查消息积压、消费卡住、NotLeader、磁盘写满、Rebalance 风暴等七类故障的定位与解决
- 20项目实战:订单事件流水线订单服务到多消费组的完整流水线:Topic 设计、幂等消费、死信队列与 exactly-once