使用Docker搭建Kafka

1.组件

• Docker: 要想使用Docker来启动kafka，开发环境提前装好Docker是必须的，我一般在Ubuntu虚拟机上进行开发测试
• Docker Compose: kafka依赖zookeeper，使用docker-compose来管理容器依赖

2.Docker 镜像

• docker image : wurstmeister/kafka
• docker-compose yml : docker-compose.yml

3.安装

创建docker-compose yml文件,复制官方提供的文件内容

version: '2.1'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.5.139
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

!!! KAFKA_ADVERTISED_HOST_NAME : 填写DockerNAT的IP地址

4.构建docker-compose

docker-compose up -d

5.启动kafka多节点[可选]

docker-compose scale kafka=3

6.进入容器

docker exec -it docker-compose_kafka_1 /bin/bash

7.kafka操作

# 创建topic `test`
$KAFKA_HOME/bin/kafka-topics.sh --create --topic test --zookeeper docker-compose_zookeeper_1:2181 --replication-factor 1 --partitions 1
# 发送消息
$KAFKA_HOME/bin/kafka-console-producer.sh --topic=test --broker-list docker-compose_kafka_1:9092
# 接受消息
$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server docker-compose_kafka_1:9092 --from-beginning --topic test