[Kafka] Kafka Kraft mode Docker 설치

Kafka Kraft 모드란?

  Apache Kafka에서 기존의 Zookeeper 의존성을 제거하고, Kafka 자체 내에서 분산 시스템 관리를 처리하기 위해 도입된 새로운 아키텍처입니다. KRaft 모드는 Kafka Raft Consensus Algorithm을 기반으로 구현되어 Kafka 브로커가 자체적으로 메타데이터를 관리하고 장애 복구를 수행할 수 있도록 설계되었습니다.

 

 KRaft 모드는 Apache Kafka의 운영 방식에 혁신적인 변화를 가져왔습니다. 가장 큰 장점은 Zookeeper의 의존성을 완전히 제거했다는 점입니다. 배포와 관리가 한결 간단해졌으며, Kafka를 운영하는 팀의 부담도 크게 줄어들었습니다. 또한, KRaft는 Kafka 자체에서 메타데이터를 관리하도록 설계되어 지연 시간을 줄이고 데이터 처리 성능을 더욱 향상시킵니다. 데이터와 메타데이터 처리가 동일한 시스템에서 이루어지는 일관된 아키텍처도 큰 장점입니다.

 

 하지만 도입 초기인 만큼 몇 가지 단점도 존재합니다. KRaft는 아직 안정성과 신뢰성이 충분히 검증되지 않았기 때문에 중요한 프로덕션 환경에 도입하려면 신중한 접근이 필요합니다. 또한, 기존 Zookeeper 기반 클러스터를 업그레이드하려면 마이그레이션 작업이 요구되며, 이는 시간과 노력이 필요한 과정입니다. 새로운 운영 방식에 대한 학습이 필수적인 점도 운영팀에 추가적인 부담이 될 수 있습니다.

 

 

설치

 

[.env]

IMAGE_TAG=3.9.0 # 3.9.0
IMAGE_NAME=apache/kafka-kraft-mode
SCALA_VERSION=2.13
CONTAINER_NAME=kafka

 

[server.properties]

# Server basics
process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:9093
log.dirs=/tmp/kafka-logs

# Metadata
metadata.log.dir=/tmp/kraft-metadata

# Listeners
listeners=PLAINTEXT://localhost:9092,CONTROLLER://localhost:9093
advertised.listeners=PLAINTEXT://localhost:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
controller.listener.names=CONTROLLER

# Replication factors
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

# Partitions and rebalance
num.partitions=1
group.initial.rebalance.delay.ms=0

 

[Dockerfile]

# Use a base image with Java
FROM openjdk:11-jre-slim

# Install dependencies
RUN apt-get update && apt-get install -y wget uuid-runtime && apt-get clean

# https://downloads.apache.org/kafka/
# Set an argument for Kafka version
ARG KAFKA_VERSION=${IMAGE_TAG:-3.9.0}
ARG SCALA_VERSION=${SCALA_VERSION:-2.13}

# Download Kafka
RUN wget https://downloads.apache.org/kafka/${KAFKA_VERSION}/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz && \
    tar -xzf kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz && \
    mv kafka_${SCALA_VERSION}-${KAFKA_VERSION} /opt/kafka && \
    rm kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz

# Set environment variables
ENV PATH="/opt/kafka/bin:$PATH"


# Kafka configurations
ENV KAFKA_NODE_ID=1 \
    KAFKA_PROCESS_ROLES=broker,controller \
    KAFKA_LISTENERS=PLAINTEXT://localhost:9092,CONTROLLER://localhost:9093 \
    KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
    KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
    KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT \
    KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093 \
    KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
    KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=1 \
    KAFKA_TRANSACTION_STATE_LOG_MIN_ISR=1 \
    KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0 \
    KAFKA_NUM_PARTITIONS=1

# Create necessary directories
RUN mkdir -p /tmp/kraft-metadata /tmp/kafka-logs

# Copy Kafka properties
COPY server.properties /opt/kafka/config/server.properties

# Initialize Kafka storage
RUN kafka-storage.sh format -t $(uuidgen) -c /opt/kafka/config/server.properties

# Expose necessary ports
EXPOSE 9092 9093 2143

# Healthcheck
HEALTHCHECK --interval=10s --timeout=10s --retries=5 CMD kafka-broker-api-versions.sh --bootstrap-server localhost:9092 > /dev/null 2>&1

 

1. Dockerfile을 빌드하기 위해 .env를 선언하고 원하는 버전을 가져온다. 

 

2. server.properties에서 broker, cotroller에 대해 정의한 값을 가져온다.

 

3. kafka-sever-start.sh 파일을 실행한다. (Docker image 내에 적용)

# Copy Kafka properties
COPY server.properties /opt/kafka/config/server.properties