개발과 육아사이

Grafana Loki: 1. 개요: Grafana Loki는 분산된 로그 수집 및 저장을 위한 오픈 소스 플랫폼입니다. Promtail과 함께 사용하여 로그를 수집하고, Object Store (S3, GCS 등)에 저장합니다. 2. 주요 특징: LogQL 쿼리 언어: Prometheus에서 영감을 받은 쿼리 언어로, 로그에 질의하기 위해 사용됩니다. 스키마 없음: 로그의 동적인 구조를 지원하며, 필요에 따라 새로운 레이블을 도입할 수 있습니다. 가변적인 리테인(보존) 정책: 로그 데이터의 보존 정책을 유연하게 구성할 수 있습니다. 3. 아키텍처: Promtail: 로그 수집을 위한 에이전트로, 로그를 수집하고 Loki에 전송합니다. Loki: 로그 데이터를 수신하고 Object Store에 저장하며,..

기본 필터링: fieldname:value: 필드의 값이 특정 값과 정확히 일치하는 문서를 검색합니다. 예: status:200 - "status" 필드 값이 200인 문서 검색 범위 필터링: fieldname:[min TO max]: 필드의 값이 주어진 범위 내에 있는 문서를 검색합니다. 예: age:[30 TO 40] - "age" 필드 값이 30에서 40 사이인 문서 검색 Wildcards (와일드카드): fieldname:value*: 필드의 값이 주어진 접두사로 시작하는 문서를 검색합니다. 예: name:joh* - "name" 필드 값이 "joh"로 시작하는 문서 검색 특정 문자열을 포함하는 메시지 필터링 메시지 필드에서 특정 문자열을 포함하는 로그를 필터링하는 예시입니다. 예: message..

Fluentd: Fluentd는 로그 및 이벤트 데이터 수집 및 전송을 위한 오픈 소스 데이터 수집 도구입니다. 다양한 소스에서 데이터를 수집하고 가공한 후 다양한 목적지로 전송할 수 있습니다. Ruby로 개발되었으며 플러그인 생태계가 풍부하며 데이터 가공 기능이 강력합니다. 로그 수집 및 처리를 위한 유연성을 제공하며 복잡한 데이터 파이프라인을 구축할 수 있습니다. Filebeat: Filebeat는 경량 로그 데이터 수집 도구로 Elastic Stack의 구성 요소 중 하나입니다. 주로 파일 로그를 수집하고 Elasticsearch, Logstash, Kafka 등과 같은 다양한 목적지로 전송합니다. 로그 데이터의 수집 및 전송을 단순화하고 설정이 간단하며 경량입니다. 메트릭 수집을 제한적으로 지원합..

Filebeat는 Elastic Stack의 구성 요소 중 하나로, 로그 파일 및 이벤트 데이터를 실시간으로 수집하여 중앙 집중화된 저장소 또는 분석 엔진으로 전송하는 역할을 하는 오픈 소스 데이터 수집 도구입니다. Elastic Stack은 Elasticsearch, Logstash, Kibana, Beats (Filebeat 포함)로 구성되며, Filebeat는 이 스택 내에서 로그 및 이벤트 데이터 수집을 담당하는 역할을 합니다. Filebeat의 주요 특징과 기능은 다음과 같습니다: 경량 및 빠른: Filebeat는 경량이며 리소스 사용량이 낮아서 서버에 미치는 부하가 적습니다. 로그 및 이벤트 데이터를 빠르게 수집하여 실시간으로 전송합니다. 다양한 데이터 소스 및 형식 지원: 파일 로그, 시스템..

grok은 Logstash에서 주로 사용되는 필터 플러그인 중 하나로, 텍스트 기반 로그 데이터를 구문 분석하고 필드로 추출하는 데 사용됩니다. Logstash의 grok 필터를 사용하는 방법을 자세히 설명하겠습니다. 1. grok 필터의 기본 구조 grok 필터를 사용하려면 먼저 필드를 추출하고자 하는 로그 메시지를 구성하는 패턴을 정의해야 합니다. 이러한 패턴은 Logstash에서 미리 정의된 패턴 또는 직접 정의한 사용자 정의 패턴을 사용하여 지정할 수 있습니다. grok 필터의 기본 구조는 다음과 같습니다: filter { grok { match => { "field_name" => "패턴" } } } 2. 미리 정의된 패턴 사용 Logstash에는 많은 미리 정의된 grok 패턴이 포함되어 있으..

Logstash는 데이터 수집, 변환 및 전송을 위한 강력한 오픈 소스 도구입니다. Logstash 설정 파일을 작성하는 방법을 다양한 예시와 주석을 포함하여 설명해 드리겠습니다. 1. 기본 구조 # Logstash 설정 파일의 기본 구조는 입력, 필터, 출력 섹션으로 나눠집니다. # 각 섹션은 중괄호로 둘러싸여 있으며, 각각의 플러그인 설정을 포함합니다. input { # 입력 플러그인 설정 } filter { # 필터 플러그인 설정 } output { # 출력 플러그인 설정 } 2. 파일 입력과 Elasticsearch 출력 # 파일 입력 설정 input { file { path => "/path/to/your/logfile.log" start_position => "beginning" } } # 필..

ELK 를 설치하기 위해 필자는 아래와 같은 명령어를 순서대로 실해아여 설치해 보았다. docker를 이용하여, 간단하게 설치하는 방법도 있지만, 네이티브하게 한번 멋지게 설치해보자. apt update 및 openjdk8 설치 sudo apt update sudo apt upgrade -y sudo apt-get install openjdk-8-jdk -y profile 수정 sudo vi /etc/profile export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATH export Class_PATH=$JAVA_HOME/lib:$CLASS_PATH GPG 키 추가 wget -qO - https://artifac..