Kafka 3

[Linux] Telegraf 설치 및 다양한 예제

Telegraf는 데이터 수집, 처리 및 전송을 위한 오픈 소스 시스템 모니터링 및 이벤트 데이터 수집 도구입니다. Telegraf는 다양한 데이터 소스에서 메트릭 데이터를 수집하고, 이를 다양한 대상 시스템에 전송하는 역할을 수행합니다. 이것은 시스템 모니터링, 로깅, 이벤트 트래킹 및 다른 관련 작업에 매우 유용합니다. Install Telegraf | Telegraf Documentation (influxdata.com) Install Telegraf | Telegraf Documentation Thank you for your feedback! Let us know what we can do better: docs.influxdata.com 기본 설정 Input (입력) Input 플러그인은 데이..

Linux 2023.10.16

[Docker] kafdrop 으로 kafka 모니터링 구축하기

"Kafdrop"은 Kafka 클러스터를 모니터링하고 관리하기 위한 오픈 소스 웹 기반 도구입니다. Kafka는 분산 스트리밍 플랫폼으로, 대량의 데이터를 실시간으로 처리하고 전달하기 위해 사용됩니다. Kafdrop은 Kafka 토픽(topic), 파티션(partition), 메시지(message) 등을 시각적으로 모니터링하고 관리하기 위한 간편한 방법을 제공합니다. 주요 기능과 특징: 웹 인터페이스: Kafdrop은 웹 브라우저를 통해 사용자 인터페이스에 접근할 수 있습니다. 이를 통해 Kafka 클러스터의 상태, 토픽의 메시지, 파티션 등을 쉽게 확인할 수 있습니다. 토픽 및 파티션 모니터링: Kafdrop은 Kafka 클러스터에서 사용되는 토픽과 해당 토픽의 파티션을 시각적으로 표시하여 해당 토픽의..

Docker 2023.08.22

[Docker] kafka-ui 로 kafka 모니터링 및 topic 관리

Apache Kafka용 UI는 Apache Kafka 클러스터를 모니터링하고 관리하기 위한 무료 오픈 소스 웹 UI입니다. UI for Apache Kafka는 데이터 흐름을 관찰 가능하게 하고, 문제를 더 빠르게 찾아 해결하며, 최적의 성능을 제공하는 데 도움이 되는 간단한 도구입니다. 경량 대시보드를 사용하면 Kafka 클러스터의 주요 지표(브로커, 주제, 파티션, 프로덕션 및 소비)를 쉽게 추적할 수 있습니다. 기능 다중 클러스터 관리 — 모든 클러스터를 한 곳에서 모니터링하고 관리합니다. 메트릭 대시보드를 통한 성능 모니터링 — 경량 대시보드로 주요 Kafka 메트릭 추적 View Kafka Brokers — 주제 및 파티션 할당, 컨트롤러 상태 보기 Kafka 주제 보기 - 파티션 수, 복제 ..

Docker 2023.08.20