[IT잡지식] Grafana Loki vs ELK 비교표

Grafana Loki:

1. 개요:

• Grafana Loki는 분산된 로그 수집 및 저장을 위한 오픈 소스 플랫폼입니다.
• Promtail과 함께 사용하여 로그를 수집하고, Object Store (S3, GCS 등)에 저장합니다.

2. 주요 특징:

• LogQL 쿼리 언어: Prometheus에서 영감을 받은 쿼리 언어로, 로그에 질의하기 위해 사용됩니다.
• 스키마 없음: 로그의 동적인 구조를 지원하며, 필요에 따라 새로운 레이블을 도입할 수 있습니다.
• 가변적인 리테인(보존) 정책: 로그 데이터의 보존 정책을 유연하게 구성할 수 있습니다.

3. 아키텍처:

• Promtail: 로그 수집을 위한 에이전트로, 로그를 수집하고 Loki에 전송합니다.
• Loki: 로그 데이터를 수신하고 Object Store에 저장하며, LogQL을 통해 검색 및 질의를 처리합니다.

4. 사용 사례:

• 클라우드 네이티브 환경에서의 로그 수집 및 분석.
• 서버리스 및 마이크로서비스 아키텍처에서의 로그 관리.

---

ELK Stack (Elasticsearch, Logstash, Kibana):

1. 개요:

• ELK Stack은 로그 및 이벤트 데이터의 수집, 저장, 검색, 분석, 시각화를 위한 오픈 소스 플랫폼입니다.
• ELK는 Elasticsearch, Logstash, Kibana의 약자로 구성됩니다.

2. 주요 특징:

• Elasticsearch: 분산 검색 및 분석 엔진으로, 로그 데이터를 저장하고 검색하는 역할을 합니다.
• Logstash: 다양한 소스에서 로그 데이터를 수집하고 가공하여 Elasticsearch에 전달합니다.
• Kibana: Elasticsearch 데이터를 시각화하고 대시보드를 생성하는 웹 인터페이스를 제공합니다.

3. 아키텍처:

• Logstash: 로그 데이터를 수집하고 필터링하여 Elasticsearch에 전송합니다.
• Elasticsearch: 로그 데이터를 저장하고 검색 가능한 인덱스를 생성합니다.
• Kibana: Elasticsearch 데이터를 시각화하고 대시보드를 생성합니다.

4. 사용 사례:

• 로그 분석 및 모니터링.
• 시스템 및 애플리케이션 로그의 중앙화된 저장 및 분석.
• 보안 이벤트 및 감사 로그의 분석.

---

요약:

• Grafana Loki는 클라우드 네이티브 환경에서의 로그 관리를 위한 경량이면서도 강력한 툴이며, ELK Stack은 분산된 환경에서의 로그 수집, 검색, 시각화를 위한 종합적인 솔루션입니다. 선택은 사용 사례, 요구 사항, 인프라 구조 등을 고려하여 결정되어야 합니다.

 

기능/특징	Grafana Loki	ELK
저장 및 쿼리 언어	LogQL 사용 (Prometheus와 유사)	Elasticsearch Query DSL , Lucene Query Syntax
저장소	Object Store (S3, GCS 등)에 직접 저장	Elasticsearch (분산 데이터 저장소)
스키마	스키마 없음 (로그의 동적인 구조 지원)	정적 스키마 (로그 형식이 미리 정의됨)
수집 에이전트	Promtail (로그 수집을 위한 에이전트)	Beats (Filebeat, Metricbeat 등)
인덱싱	레이블 기반의 인덱싱	기본적으로 전체 문서에 대한 인덱싱
검색 및 질의	LogQL을 사용하여 로그에 질의 가능	Elasticsearch Query DSL 사용
가용성 및 확장성	수평 확장이 용이하며 클라우드 객체 스토어 사용 가능	Elasticsearch도 분산 아키텍처로 가용성 높음
설치 및 설정	상대적으로 가벼움	상대적으로 복잡함
시각화 및 대시보드	Grafana를 통한 시각화 및 대시보드 지원	Kibana를 통한 시각화 및 대시보드 구축
용도	컨테이너 및 마이크로서비스 환경에 적합	로그 및 지표 모두 다룸, 대규모 환경에 적합
로그 전처리	최소한의 전처리 필요	Logstash를 통한 다양한 전처리 옵션 제공
알람 및 모니터링	Prometheus, Grafana와 통합 가능	X-Pack을 통한 모니터링 및 알람 기능 제공