Apache Kafka · 分布式事件流平台|部署、构建与使用全指南
项目仓库: https://github.com/apache/kafka
开源协议:Apache 2.0 · 语言:Java + Scala(仅支持 Scala 2.13) ·
构建:./gradlew jar · 运行要求:Java(构建测试用 17/25) ·
默认 broker 端口:9092 · 官方快速开始:kafka.apache.org/quickstart
1 项目简介
Apache Kafka 是开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成与关键任务应用。它以高吞吐、可扩展、持久化著称,承担消息队列、事件溯源、流处理等角色。
1.1 核心信息一览
| 项目项 | 内容 |
|---|---|
| 项目名称 | Apache Kafka |
| 仓库地址 | github.com/apache/kafka |
| 项目定位 | 分布式事件流平台 |
| 开源协议 | Apache 2.0 |
| 语言 | Java + Scala 2.13 |
| 构建命令 | ./gradlew jar |
| 构建 JDK | Java 17 / 25(clients/streams 兼容 release 11) |
| 默认 broker 端口 | 9092 |
| 官方快速开始 | kafka.apache.org/quickstart |
1.2 适用场景
- 高吞吐消息队列与事件总线。
- 流分析与流处理(Kafka Streams)。
- 数据集成与 CDC 管道。
1.3 能力边界(官方口径)
- 构建与测试使用 Java 17 和 25;clients/streams 模块 release 到 Java 11。
- Scala 仅支持 2.13。
2 功能特性
- 高吞吐、持久化:分布式分区日志。
- 水平扩展:broker 集群与分区。
- Kafka Streams:流处理库。
- 生态:Connect、MirrorMaker、各类连接器。
3 官方跳转链接汇总
| 类别 | 链接 | 说明 |
|---|---|---|
| 仓库主页 | https://github.com/apache/kafka | 源码 |
| 官方快速开始 | kafka.apache.org/quickstart | 入门 |
| 官方站点 | kafka.apache.org | 文档与下载 |
4 快速开始(官方发行版)
普通使用者从 kafka.apache.org 下载二进制发行版,按 quickstart 脚本启动 broker 与 topic。
5 从源码构建
# 构建 JAR
./gradlew jar
# 构建 source JAR
./gradlew srcJar
# 运行单元/集成测试
./gradlew test
# 构建文档
./gradlew javadoc
./gradlew scaladoc详细运行步骤见 https://kafka.apache.org/quickstart。
6 前置要求
- Java:运行需 JDK(构建用 17/25)。
- 端口 9092(broker)、2181(ZooKeeper,旧版)。
- Scala 2.13 工具链。
7 常见问题
- Scala 版本:仅支持 2.13。
- 构建失败:确认 JDK 版本(17/25)与 Gradle Wrapper。
- 运行:从发行版 quickstart 起步,无需先从源码构建。
8 风险与说明
- 许可证:Apache 2.0。
- 生产部署:建议集群模式、副本与持久化策略。
- 非官方声明:本文基于官方仓库 README 整理,命令以 trunk 分支最新为准。