개발과 육아사이

Grafana Loki: 1. 개요: Grafana Loki는 분산된 로그 수집 및 저장을 위한 오픈 소스 플랫폼입니다. Promtail과 함께 사용하여 로그를 수집하고, Object Store (S3, GCS 등)에 저장합니다. 2. 주요 특징: LogQL 쿼리 언어: Prometheus에서 영감을 받은 쿼리 언어로, 로그에 질의하기 위해 사용됩니다. 스키마 없음: 로그의 동적인 구조를 지원하며, 필요에 따라 새로운 레이블을 도입할 수 있습니다. 가변적인 리테인(보존) 정책: 로그 데이터의 보존 정책을 유연하게 구성할 수 있습니다. 3. 아키텍처: Promtail: 로그 수집을 위한 에이전트로, 로그를 수집하고 Loki에 전송합니다. Loki: 로그 데이터를 수신하고 Object Store에 저장하며,..

참고사이트 Beats 다운로드: Elasticsearch를 위한 데이터 수집기 | Elastic Beats 다운로드: Elasticsearch를 위한 데이터 수집기 Elastic Stack용 경량 데이터 수집기인 Beats를 사용하여 데이터를 Elasticsearch로 손쉽게 수집하고 로그 파일, CPU 메트릭, 네트워크 데이터 등을 처리하세요. www.elastic.co 기능 Elastic Agent Beats Logstash 데이터 수집 역할 다양한 데이터 소스에서 데이터 수집 및 전송 다양한 데이터 소스에서 데이터 수집 및 전송 다양한 데이터 소스에서 데이터 수집 및 전송 플러그인 지원 모듈 기반 플러그인 지원 다양한 모듈 및 출력 플러그인 지원 다양한 입력 및 출력 플러그인 지원 구성 및 관리 K..

Filebeat는 Elastic Stack의 구성 요소 중 하나로, 로그 파일 및 이벤트 데이터를 실시간으로 수집하여 중앙 집중화된 저장소 또는 분석 엔진으로 전송하는 역할을 하는 오픈 소스 데이터 수집 도구입니다. Elastic Stack은 Elasticsearch, Logstash, Kibana, Beats (Filebeat 포함)로 구성되며, Filebeat는 이 스택 내에서 로그 및 이벤트 데이터 수집을 담당하는 역할을 합니다. Filebeat의 주요 특징과 기능은 다음과 같습니다: 경량 및 빠른: Filebeat는 경량이며 리소스 사용량이 낮아서 서버에 미치는 부하가 적습니다. 로그 및 이벤트 데이터를 빠르게 수집하여 실시간으로 전송합니다. 다양한 데이터 소스 및 형식 지원: 파일 로그, 시스템..

Logstash는 데이터 수집, 변환 및 전송을 위한 강력한 오픈 소스 도구입니다. Logstash 설정 파일을 작성하는 방법을 다양한 예시와 주석을 포함하여 설명해 드리겠습니다. 1. 기본 구조 # Logstash 설정 파일의 기본 구조는 입력, 필터, 출력 섹션으로 나눠집니다. # 각 섹션은 중괄호로 둘러싸여 있으며, 각각의 플러그인 설정을 포함합니다. input { # 입력 플러그인 설정 } filter { # 필터 플러그인 설정 } output { # 출력 플러그인 설정 } 2. 파일 입력과 Elasticsearch 출력 # 파일 입력 설정 input { file { path => "/path/to/your/logfile.log" start_position => "beginning" } } # 필..

ELK 를 설치하기 위해 필자는 아래와 같은 명령어를 순서대로 실해아여 설치해 보았다. docker를 이용하여, 간단하게 설치하는 방법도 있지만, 네이티브하게 한번 멋지게 설치해보자. apt update 및 openjdk8 설치 sudo apt update sudo apt upgrade -y sudo apt-get install openjdk-8-jdk -y profile 수정 sudo vi /etc/profile export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATH export Class_PATH=$JAVA_HOME/lib:$CLASS_PATH GPG 키 추가 wget -qO - https://artifac..