使用Docker和Bitnami镜像快速搭建本地Kafka环境

type

status

title

summary

slug

Created

Feb 20, 2024 04:17 PM

一、前言

随着即将到来的Kafka 4.0的发布，Zookeeper将会完全淘汰，只有KRaft模式将得到支持。这一重大变化需要项目和开发者双方做好准备工作。

截至目前，最新的Kafka版本是3.6.1，从2022年10月3日发布的3.3.1版本开始，KRaft在生产环境下已经完全支持。

根据当前的发布计划，Kafka 3.7（预计于2024年1月发布）将是最后一个支持Zookeeper的版本。

如果想全面了解KRaft，我建议阅读这篇文章。

在本指南中，我将教你如何使用Docker在本地搭建一个Kafka环境，并提供一个UI工具查看我们的Kafka数据。

注：本文大部分内容参考自 Setting up a Local Kafka Environment in KRaft Mode with Docker-Compose and Bitnami Image, Enhanced by Provectus Kafka-UI，侵权删。

二、工具及其地址

Bitnami镜像：https://hub.docker.com/r/bitnami/kafka/

Provectus Kafka UI：https://github.com/provectus/kafka-ui

注意：目前广泛使用的 wurstmeister 镜像仅支持Zookeeper（且目前测试Dockerhub没有该镜像），不支持KRaft，而Bitnami两者都支持！

三、搭建Kafka集群遇到的问题

在搭建Kafka集群的过程中，我遇到了一些问题，可能对你会有所帮助！

问题一：

如果是单机Kafka，则无需指定KAFKA_KRAFT_CLUSTER_ID。与某些教程所建议的相反，Kafka会动态生成一个ID，并将其记录在日志中。如果是集群Kafka，则需要指定，但需注意，一个集群的所有Kafka示例的KAFKA_KRAFT_CLUSTER_ID都是一致的。

问题二：kafka_kafka_1 exited with code 1

如上图，Kafka可能在没有抛出异常的情况下就失败了，在我的情况下，我复制了一个错误的环境配置，唯一确定真正问题的方法是通过BITNAMI_DEBUG=yes 启用调试日志记录，这使我能够找到问题的根本原因，因此我建议在故障排除时使用此配置。

这是我报错的根本原因：

四、搭建单机Kafka的配置

你可以在这里找到由Bitnami提供的docker-compose文件，但它并不特别有用，因为您需要单独搜索所需的配置。

关于配置，有几个注意点：

1、你可以使用 KAFKA_ENABLE_KRAFT 变量来切换 KRaft/Zookeeper 模式

2、你可以指定 hostname 配置，这样可以便于Kafka-UI工具查看你的数据（如果主机的UI工具，请注意配置下hosts文件）

3、你如果不想使用默认端口9092，则注意要修改 ports 和 KAFKA_CFG_ADVERTISED_LISTENERS 环境变量

4、如果你想允许自动创建Topic，则可以将 KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE 环境变量设置为 true

这里有另外一份配置可以参考下：

注意：搭建集群版Kafka的配置可以在这里找到。

五、搭建 Provectus Kafka UI

我测试了几个Kafka-UI工具（Conduktor，Kafka Magic，Offset Explorer等），发现当你需要通过外部名称连接到集群时，它们的行为可能会有所不同，这取决于您的部署策略。例如，使用Kafka Magic，即使没有外部侦听器（因为此UI未通过docker部署），我也能够直接连接到本地主机（127.0.0.1），但我不使用此工具，因为许多有用的功能仅在许可证下可用。

如果您正在寻找一个免费的开源工具，则 Provectus kafka-ui 可能会适合你。通过它的快速开始教程，你同样可以使用Docker快速搭建一个Kafka-ui，但需要注意的是，如果是用容器搭建的，此时连接我们前面的Kafka集群时，使用 localhost:9092 的地址将会连接失败！