개발과 육아사이

Grafana Loki: 1. 개요: Grafana Loki는 분산된 로그 수집 및 저장을 위한 오픈 소스 플랫폼입니다. Promtail과 함께 사용하여 로그를 수집하고, Object Store (S3, GCS 등)에 저장합니다. 2. 주요 특징: LogQL 쿼리 언어: Prometheus에서 영감을 받은 쿼리 언어로, 로그에 질의하기 위해 사용됩니다. 스키마 없음: 로그의 동적인 구조를 지원하며, 필요에 따라 새로운 레이블을 도입할 수 있습니다. 가변적인 리테인(보존) 정책: 로그 데이터의 보존 정책을 유연하게 구성할 수 있습니다. 3. 아키텍처: Promtail: 로그 수집을 위한 에이전트로, 로그를 수집하고 Loki에 전송합니다. Loki: 로그 데이터를 수신하고 Object Store에 저장하며,..

기본 필터링: fieldname:value: 필드의 값이 특정 값과 정확히 일치하는 문서를 검색합니다. 예: status:200 - "status" 필드 값이 200인 문서 검색 범위 필터링: fieldname:[min TO max]: 필드의 값이 주어진 범위 내에 있는 문서를 검색합니다. 예: age:[30 TO 40] - "age" 필드 값이 30에서 40 사이인 문서 검색 Wildcards (와일드카드): fieldname:value*: 필드의 값이 주어진 접두사로 시작하는 문서를 검색합니다. 예: name:joh* - "name" 필드 값이 "joh"로 시작하는 문서 검색 특정 문자열을 포함하는 메시지 필터링 메시지 필드에서 특정 문자열을 포함하는 로그를 필터링하는 예시입니다. 예: message..

Filebeat는 Elastic Stack의 구성 요소 중 하나로, 로그 파일 및 이벤트 데이터를 실시간으로 수집하여 중앙 집중화된 저장소 또는 분석 엔진으로 전송하는 역할을 하는 오픈 소스 데이터 수집 도구입니다. Elastic Stack은 Elasticsearch, Logstash, Kibana, Beats (Filebeat 포함)로 구성되며, Filebeat는 이 스택 내에서 로그 및 이벤트 데이터 수집을 담당하는 역할을 합니다. Filebeat의 주요 특징과 기능은 다음과 같습니다: 경량 및 빠른: Filebeat는 경량이며 리소스 사용량이 낮아서 서버에 미치는 부하가 적습니다. 로그 및 이벤트 데이터를 빠르게 수집하여 실시간으로 전송합니다. 다양한 데이터 소스 및 형식 지원: 파일 로그, 시스템..

Logstash는 데이터 수집, 변환 및 전송을 위한 강력한 오픈 소스 도구입니다. Logstash 설정 파일을 작성하는 방법을 다양한 예시와 주석을 포함하여 설명해 드리겠습니다. 1. 기본 구조 # Logstash 설정 파일의 기본 구조는 입력, 필터, 출력 섹션으로 나눠집니다. # 각 섹션은 중괄호로 둘러싸여 있으며, 각각의 플러그인 설정을 포함합니다. input { # 입력 플러그인 설정 } filter { # 필터 플러그인 설정 } output { # 출력 플러그인 설정 } 2. 파일 입력과 Elasticsearch 출력 # 파일 입력 설정 input { file { path => "/path/to/your/logfile.log" start_position => "beginning" } } # 필..

ELK 를 설치하기 위해 필자는 아래와 같은 명령어를 순서대로 실해아여 설치해 보았다. docker를 이용하여, 간단하게 설치하는 방법도 있지만, 네이티브하게 한번 멋지게 설치해보자. apt update 및 openjdk8 설치 sudo apt update sudo apt upgrade -y sudo apt-get install openjdk-8-jdk -y profile 수정 sudo vi /etc/profile export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATH export Class_PATH=$JAVA_HOME/lib:$CLASS_PATH GPG 키 추가 wget -qO - https://artifac..