로그 수집, 가공, 전송 일련의 과정을 간편하게 해준다.

6.1 로그스태시란

• 플러그인 기반의 오픈소스 데이터 처리 파이프라인 도구
• 데이터를 저장하기 전에 원하는 형태로 가공 하는 역할
• 특징
  • 플러그인 기반: 로그스태시의 파이프라인은 플러그인 형태의 요소들로 이뤄져있다.
  • 모든 형태의 데이터 처리: 이벤트 데이터(시간에 따라 발생하는 데이터)를 처리하는 데최적화되어있다. 시간과 무관한 데이터를 처리하는 작업도 유연하게 사용된다.
  • 성능: 자체적으로 내장된 메모리와 파일 기반의 큐를 사용한다. → 처리속도와 안정성이 높다.
    • 인덱싱할 도큐먼트의 수와 용량을 종합적으로 고려해 벌크 인덱싱을 수행한다.
    • 파이프라인 배치 크기 조정을 통해 병목현상을 방지하고 성능을 최적화한다.
  • 안정성: ES의 장애 상황에 대응하기 위한 재시도 로직이나 오류가 발생한 도큐먼트를 따로 보관하는 데드 레터 큐를 내장한다.
    • 파일 기반의 큐를 사용할 경우 뜻하지 않은 로그스태시의 장애 상황에도 도큐먼트 유실을 최소화할 수 있다.

6.2 설치

• 지금은 jdk 도 같이 설치되어 jdk를 신경쓰지 않아도 된다. 다만 OS는 참고해야 한다.

brew install logstash
cd /usr/local
bin/logstash -e '
input { stdin {} }
output { stdout{} }'

standard input-output

• @ 기호는 로그스태시에 의해 생성된 필드
• @가없는 필드: 수집을 통해 얻어진 정보

input {
	{ 입력 플러그인 }
} 
filter {
	{ 필터 플러그인 }
}
output {
	{ 출력 플러그인 } 
}

input { tcp { port ⇒9900} } 일 때, echo 'hello logstash' | nc localhost 9900 을 보내면

input {
    tcp {
        port => 9900
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        user => "" # security 
        password => "" 
    }

}

input {
  file {
    path => "/usr/local/var/log/elasticsearch.log"
  }
}

output {
  stdout { }
}

elasticsearch.log 파일이 업데이트 될 때마다 출력 플러그인으로 출력된다.

6.3 파이프라인