개발과 육아사이

Grafana Loki: 1. 개요: Grafana Loki는 분산된 로그 수집 및 저장을 위한 오픈 소스 플랫폼입니다. Promtail과 함께 사용하여 로그를 수집하고, Object Store (S3, GCS 등)에 저장합니다. 2. 주요 특징: LogQL 쿼리 언어: Prometheus에서 영감을 받은 쿼리 언어로, 로그에 질의하기 위해 사용됩니다. 스키마 없음: 로그의 동적인 구조를 지원하며, 필요에 따라 새로운 레이블을 도입할 수 있습니다. 가변적인 리테인(보존) 정책: 로그 데이터의 보존 정책을 유연하게 구성할 수 있습니다. 3. 아키텍처: Promtail: 로그 수집을 위한 에이전트로, 로그를 수집하고 Loki에 전송합니다. Loki: 로그 데이터를 수신하고 Object Store에 저장하며,..

Telegraf는 데이터 수집, 처리 및 전송을 위한 오픈 소스 시스템 모니터링 및 이벤트 데이터 수집 도구입니다. Telegraf는 다양한 데이터 소스에서 메트릭 데이터를 수집하고, 이를 다양한 대상 시스템에 전송하는 역할을 수행합니다. 이것은 시스템 모니터링, 로깅, 이벤트 트래킹 및 다른 관련 작업에 매우 유용합니다. Install Telegraf | Telegraf Documentation (influxdata.com) Install Telegraf | Telegraf Documentation Thank you for your feedback! Let us know what we can do better: docs.influxdata.com 기본 설정 Input (입력) Input 플러그인은 데이..

참고사이트 Beats 다운로드: Elasticsearch를 위한 데이터 수집기 | Elastic Beats 다운로드: Elasticsearch를 위한 데이터 수집기 Elastic Stack용 경량 데이터 수집기인 Beats를 사용하여 데이터를 Elasticsearch로 손쉽게 수집하고 로그 파일, CPU 메트릭, 네트워크 데이터 등을 처리하세요. www.elastic.co 기능 Elastic Agent Beats Logstash 데이터 수집 역할 다양한 데이터 소스에서 데이터 수집 및 전송 다양한 데이터 소스에서 데이터 수집 및 전송 다양한 데이터 소스에서 데이터 수집 및 전송 플러그인 지원 모듈 기반 플러그인 지원 다양한 모듈 및 출력 플러그인 지원 다양한 입력 및 출력 플러그인 지원 구성 및 관리 K..

기본 필터링: fieldname:value: 필드의 값이 특정 값과 정확히 일치하는 문서를 검색합니다. 예: status:200 - "status" 필드 값이 200인 문서 검색 범위 필터링: fieldname:[min TO max]: 필드의 값이 주어진 범위 내에 있는 문서를 검색합니다. 예: age:[30 TO 40] - "age" 필드 값이 30에서 40 사이인 문서 검색 Wildcards (와일드카드): fieldname:value*: 필드의 값이 주어진 접두사로 시작하는 문서를 검색합니다. 예: name:joh* - "name" 필드 값이 "joh"로 시작하는 문서 검색 특정 문자열을 포함하는 메시지 필터링 메시지 필드에서 특정 문자열을 포함하는 로그를 필터링하는 예시입니다. 예: message..

Filebeat는 Elastic Stack의 구성 요소 중 하나로, 로그 파일 및 이벤트 데이터를 실시간으로 수집하여 중앙 집중화된 저장소 또는 분석 엔진으로 전송하는 역할을 하는 오픈 소스 데이터 수집 도구입니다. Elastic Stack은 Elasticsearch, Logstash, Kibana, Beats (Filebeat 포함)로 구성되며, Filebeat는 이 스택 내에서 로그 및 이벤트 데이터 수집을 담당하는 역할을 합니다. Filebeat의 주요 특징과 기능은 다음과 같습니다: 경량 및 빠른: Filebeat는 경량이며 리소스 사용량이 낮아서 서버에 미치는 부하가 적습니다. 로그 및 이벤트 데이터를 빠르게 수집하여 실시간으로 전송합니다. 다양한 데이터 소스 및 형식 지원: 파일 로그, 시스템..

grok은 Logstash에서 주로 사용되는 필터 플러그인 중 하나로, 텍스트 기반 로그 데이터를 구문 분석하고 필드로 추출하는 데 사용됩니다. Logstash의 grok 필터를 사용하는 방법을 자세히 설명하겠습니다. 1. grok 필터의 기본 구조 grok 필터를 사용하려면 먼저 필드를 추출하고자 하는 로그 메시지를 구성하는 패턴을 정의해야 합니다. 이러한 패턴은 Logstash에서 미리 정의된 패턴 또는 직접 정의한 사용자 정의 패턴을 사용하여 지정할 수 있습니다. grok 필터의 기본 구조는 다음과 같습니다: filter { grok { match => { "field_name" => "패턴" } } } 2. 미리 정의된 패턴 사용 Logstash에는 많은 미리 정의된 grok 패턴이 포함되어 있으..

Logstash는 데이터 수집, 변환 및 전송을 위한 강력한 오픈 소스 도구입니다. Logstash 설정 파일을 작성하는 방법을 다양한 예시와 주석을 포함하여 설명해 드리겠습니다. 1. 기본 구조 # Logstash 설정 파일의 기본 구조는 입력, 필터, 출력 섹션으로 나눠집니다. # 각 섹션은 중괄호로 둘러싸여 있으며, 각각의 플러그인 설정을 포함합니다. input { # 입력 플러그인 설정 } filter { # 필터 플러그인 설정 } output { # 출력 플러그인 설정 } 2. 파일 입력과 Elasticsearch 출력 # 파일 입력 설정 input { file { path => "/path/to/your/logfile.log" start_position => "beginning" } } # 필..