[Docker] kafka-ui 로 kafka 모니터링 및 topic 관리

Apache Kafka용 UI는 Apache Kafka 클러스터를 모니터링하고 관리하기 위한 무료 오픈 소스 웹 UI입니다.

UI for Apache Kafka는 데이터 흐름을 관찰 가능하게 하고, 문제를 더 빠르게 찾아 해결하며, 최적의 성능을 제공하는 데 도움이 되는 간단한 도구입니다. 경량 대시보드를 사용하면 Kafka 클러스터의 주요 지표(브로커, 주제, 파티션, 프로덕션 및 소비)를 쉽게 추적할 수 있습니다.

기능

• 다중 클러스터 관리 — 모든 클러스터를 한 곳에서 모니터링하고 관리합니다.
• 메트릭 대시보드를 통한 성능 모니터링 — 경량 대시보드로 주요 Kafka 메트릭 추적
• View Kafka Brokers — 주제 및 파티션 할당, 컨트롤러 상태 보기
• Kafka 주제 보기 - 파티션 수, 복제 상태 및 사용자 지정 구성 보기
• View Consumer Groups — 파티션당 파킹 오프셋, 결합 및 파티션당 지연 보기
• 메시지 찾아보기 — JSON, 일반 텍스트 및 Avro 인코딩을 사용하여 메시지를 찾아봅니다.
• Dynamic Topic Configuration - 동적 구성으로 새 주제 생성 및 구성
• 구성 가능한 인증 — 선택적 Github/Gitlab/Google OAuth 2.0으로 설치 보호
• 사용자 지정 직렬화/역직렬화 플러그인 - AWS Glue 또는 Smile과 같이 바로 사용할 수 있는 데이터를 사용하거나 직접 코딩할 수 있습니다!
• 역할 기반 액세스 제어 - 세분화된 정밀도로 UI에 액세스할 수 있는 권한 관리
• 데이터 마스킹 - 주제 메시지에서 민감한 데이터를 난독화합니다.

 

provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management (github.com)

GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management

 

[Docker] 도커의 모든 것, 도커 추천 이미지!!! (tistory.com)

[Docker] 도커의 모든 것, 도커 추천 이미지!!!

 

docker-compose.yml 파일

docker-compose.yml

version: '3.7'

services:
  kafka:
    image: wurstmeister/kafka:latest
    container_name: kafka
    hostname: kafka
    ports:
      - 9092:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_CREATE_TOPICS: "test:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  zookeeper:
    image: wurstmeister/zookeeper:latest
    container_name: zookeeper
    hostname: zookeeper
    ports:
      - 2181:2181

  kafka-web-ui:
    image: provectuslabs/kafka-ui:latest
    container_name: kafka-web-ui
    ports:
      - 8080:8080
    environment:
      KAFKA_CLUSTERS_0_NAME: local
      KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS: "kafka:9092"
      KAFKA_CLUSTERS_0_ZOOKEEPER_CONNECT: "zookeeper:2181"

 

docker-compose 시작

docker-compose up -d

 

서비스 URL 접속

http://[서버 IP]:8080

서비스 URL 접속

 

docker-comopse 중지

docker-compose down