[Elasticsearch] Logstash 에서 JAVA Heapdump 해결 방법

Logstash의 Java Heap Space 문제를 해결하기 위한 몇 가지 방법이 있습니다.

1. heapsize 증가:
   Logstash의 환경 설정 파일(config file)에서 -Xmx 옵션을 사용하여 heapsize를 증가시키는 것이 가능합니다. 예를 들어, 4GB로 heapsize를 설정하고 싶다면 다음과 같이 작성할 수 있습니다:

   LS_JAVA_OPTS: "-Xmx4g"

2. pipeline workers 줄이기:
   Logstash의 환경 설정 파일(config file)에서 pipeline.workers 값을 낮추는 것이 가능합니다. 이를 통해 Logstash가 처리할 수 있는 이벤트 수를 줄일 수 있습니다. 예를 들어, pipeline.workers 값을 2로 설정하고 싶다면 다음과 같이 작성할 수 있습니다:

   pipeline.workers: 2

3. pipeline batch size 줄이기:
   Logstash의 환경 설정 파일(config file)에서 pipeline.batch.size 값을 낮추는 것이 가능합니다. 이를 통해 Logstash가 처리할 수 있는 이벤트 당 배치 수를 줄일 수 있습니다. 예를 들어, pipeline.batch.size 값을 100으로 설정하고 싶다면 다음과 같이 작성할 수 있습니다:

   pipeline.batch.size: 100

4. pipeline batch delay 증가:
   Logstash의 환경 설정 파일(config file)에서 pipeline.batch.delay 값을 늘리는 것이 가능합니다. 이를 통해 Logstash가 배치 처리를 시작하기 전에 대기하는 시간을 늘릴 수 있습니다. 예를 들어, pipeline.batch.delay 값을 5로 설정하고 싶다면 다음과 같이 작성할 수 있습니다:

   pipeline.batch.delay: 5

위의 방법을 시도해보고 여전히 문제가 발생한다면, Logstash에서 처리하는 이벤트의 양을 줄이는 것이 필요할 수 있습니다. 이 경우, 입력(input)을 조정하거나 필터(filter)를 적용하여 처리하는 데이터 양을 줄이는 것이 가능합니다. 또한, Logstash의 버전을 업그레이드하거나 Logstash가 실행 중인 시스템 자원을 증가시키는 것도 도움이 될 수 있습니다.