Loading...

文章背景图

Apache Kafka:分布式事件流平台|部署、构建与使用全指南

2026-11-02
0
- 字
- 分钟
|

Apache Kafka · 分布式事件流平台|部署、构建与使用全指南

项目仓库: https://github.com/apache/kafka

开源协议:Apache 2.0 · 语言:Java + Scala(仅支持 Scala 2.13) · 构建:./gradlew jar · 运行要求:Java(构建测试用 17/25) · 默认 broker 端口:9092 · 官方快速开始:kafka.apache.org/quickstart


1 项目简介

Apache Kafka 是开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成与关键任务应用。它以高吞吐、可扩展、持久化著称,承担消息队列、事件溯源、流处理等角色。

1.1 核心信息一览

项目项 内容
项目名称 Apache Kafka
仓库地址 github.com/apache/kafka
项目定位 分布式事件流平台
开源协议 Apache 2.0
语言 Java + Scala 2.13
构建命令 ./gradlew jar
构建 JDK Java 17 / 25(clients/streams 兼容 release 11)
默认 broker 端口 9092
官方快速开始 kafka.apache.org/quickstart

1.2 适用场景

  • 高吞吐消息队列与事件总线。
  • 流分析与流处理(Kafka Streams)。
  • 数据集成与 CDC 管道。

1.3 能力边界(官方口径)

  • 构建与测试使用 Java 17 和 25;clients/streams 模块 release 到 Java 11。
  • Scala 仅支持 2.13。

2 功能特性

  • 高吞吐、持久化:分布式分区日志。
  • 水平扩展:broker 集群与分区。
  • Kafka Streams:流处理库。
  • 生态:Connect、MirrorMaker、各类连接器。

3 官方跳转链接汇总

类别 链接 说明
仓库主页 https://github.com/apache/kafka 源码
官方快速开始 kafka.apache.org/quickstart 入门
官方站点 kafka.apache.org 文档与下载

4 快速开始(官方发行版)

普通使用者从 kafka.apache.org 下载二进制发行版,按 quickstart 脚本启动 broker 与 topic。

5 从源码构建

# 构建 JAR
./gradlew jar

# 构建 source JAR
./gradlew srcJar

# 运行单元/集成测试
./gradlew test

# 构建文档
./gradlew javadoc
./gradlew scaladoc

详细运行步骤见 https://kafka.apache.org/quickstart。

6 前置要求

  • Java:运行需 JDK(构建用 17/25)。
  • 端口 9092(broker)、2181(ZooKeeper,旧版)。
  • Scala 2.13 工具链。

7 常见问题

  • Scala 版本:仅支持 2.13。
  • 构建失败:确认 JDK 版本(17/25)与 Gradle Wrapper。
  • 运行:从发行版 quickstart 起步,无需先从源码构建。

8 风险与说明

  • 许可证:Apache 2.0。
  • 生产部署:建议集群模式、副本与持久化策略。
  • 非官方声明:本文基于官方仓库 README 整理,命令以 trunk 分支最新为准。
评论交流

文章目录