개발과 육아사이

LogQL은 Grafana Loki에서 사용되는 쿼리 언어로, 로그 데이터를 검색하고 필터링하는 데에 사용됩니다. 기본적으로 PromQL과 비슷하지만 로그 데이터에 특화되어 있습니다. 예시를 통해 LogQL을 설명하겠습니다. 기본 구조: {}:: 중괄호 안에 쿼리를 작성합니다. []: 괄호 안에는 필터 조건을 작성합니다. 기본 검색: # {}: 필터링할 로그 레이블을 지정합니다. # |=: 로그 내용을 필터링하는 데 사용됩니다. # "query string": 검색할 문자열 또는 정규 표현식을 지정합니다. {label_name=~"regex"} |= "query string" # app="example" 조건에 해당하는 로그 중에서 "error"를 포함하는 항목을 찾습니다. {app="example"} ..

참고사이트 Beats 다운로드: Elasticsearch를 위한 데이터 수집기 | Elastic Beats 다운로드: Elasticsearch를 위한 데이터 수집기 Elastic Stack용 경량 데이터 수집기인 Beats를 사용하여 데이터를 Elasticsearch로 손쉽게 수집하고 로그 파일, CPU 메트릭, 네트워크 데이터 등을 처리하세요. www.elastic.co 기능 Elastic Agent Beats Logstash 데이터 수집 역할 다양한 데이터 소스에서 데이터 수집 및 전송 다양한 데이터 소스에서 데이터 수집 및 전송 다양한 데이터 소스에서 데이터 수집 및 전송 플러그인 지원 모듈 기반 플러그인 지원 다양한 모듈 및 출력 플러그인 지원 다양한 입력 및 출력 플러그인 지원 구성 및 관리 K..

기본 필터링: fieldname:value: 필드의 값이 특정 값과 정확히 일치하는 문서를 검색합니다. 예: status:200 - "status" 필드 값이 200인 문서 검색 범위 필터링: fieldname:[min TO max]: 필드의 값이 주어진 범위 내에 있는 문서를 검색합니다. 예: age:[30 TO 40] - "age" 필드 값이 30에서 40 사이인 문서 검색 Wildcards (와일드카드): fieldname:value*: 필드의 값이 주어진 접두사로 시작하는 문서를 검색합니다. 예: name:joh* - "name" 필드 값이 "joh"로 시작하는 문서 검색 특정 문자열을 포함하는 메시지 필터링 메시지 필드에서 특정 문자열을 포함하는 로그를 필터링하는 예시입니다. 예: message..

Filebeat는 Elastic Stack의 구성 요소 중 하나로, 로그 파일 및 이벤트 데이터를 실시간으로 수집하여 중앙 집중화된 저장소 또는 분석 엔진으로 전송하는 역할을 하는 오픈 소스 데이터 수집 도구입니다. Elastic Stack은 Elasticsearch, Logstash, Kibana, Beats (Filebeat 포함)로 구성되며, Filebeat는 이 스택 내에서 로그 및 이벤트 데이터 수집을 담당하는 역할을 합니다. Filebeat의 주요 특징과 기능은 다음과 같습니다: 경량 및 빠른: Filebeat는 경량이며 리소스 사용량이 낮아서 서버에 미치는 부하가 적습니다. 로그 및 이벤트 데이터를 빠르게 수집하여 실시간으로 전송합니다. 다양한 데이터 소스 및 형식 지원: 파일 로그, 시스템..

grok은 Logstash에서 주로 사용되는 필터 플러그인 중 하나로, 텍스트 기반 로그 데이터를 구문 분석하고 필드로 추출하는 데 사용됩니다. Logstash의 grok 필터를 사용하는 방법을 자세히 설명하겠습니다. 1. grok 필터의 기본 구조 grok 필터를 사용하려면 먼저 필드를 추출하고자 하는 로그 메시지를 구성하는 패턴을 정의해야 합니다. 이러한 패턴은 Logstash에서 미리 정의된 패턴 또는 직접 정의한 사용자 정의 패턴을 사용하여 지정할 수 있습니다. grok 필터의 기본 구조는 다음과 같습니다: filter { grok { match => { "field_name" => "패턴" } } } 2. 미리 정의된 패턴 사용 Logstash에는 많은 미리 정의된 grok 패턴이 포함되어 있으..

Logstash는 데이터 수집, 변환 및 전송을 위한 강력한 오픈 소스 도구입니다. Logstash 설정 파일을 작성하는 방법을 다양한 예시와 주석을 포함하여 설명해 드리겠습니다. 1. 기본 구조 # Logstash 설정 파일의 기본 구조는 입력, 필터, 출력 섹션으로 나눠집니다. # 각 섹션은 중괄호로 둘러싸여 있으며, 각각의 플러그인 설정을 포함합니다. input { # 입력 플러그인 설정 } filter { # 필터 플러그인 설정 } output { # 출력 플러그인 설정 } 2. 파일 입력과 Elasticsearch 출력 # 파일 입력 설정 input { file { path => "/path/to/your/logfile.log" start_position => "beginning" } } # 필..

Logstash의 Java Heap Space 문제를 해결하기 위한 몇 가지 방법이 있습니다. heapsize 증가: Logstash의 환경 설정 파일(config file)에서 -Xmx 옵션을 사용하여 heapsize를 증가시키는 것이 가능합니다. 예를 들어, 4GB로 heapsize를 설정하고 싶다면 다음과 같이 작성할 수 있습니다: LS_JAVA_OPTS: "-Xmx4g" pipeline workers 줄이기: Logstash의 환경 설정 파일(config file)에서 pipeline.workers 값을 낮추는 것이 가능합니다. 이를 통해 Logstash가 처리할 수 있는 이벤트 수를 줄일 수 있습니다. 예를 들어, pipeline.workers 값을 2로 설정하고 싶다면 다음과 같이 작성할 수 ..