Fluentd 소개

Fluentd

아키텍쳐

Plugin

Input

다양한 데이터 소스로 부터 log 를 수집하는 플러그인으로 대표적으로 HTTP, tail, TCP 등이 있다.

Parser

Input 내에서 사용할 수 있는 플러그인으로 입력된 데이터에 사용자가 원하는 방식으로 데이터를 파싱하기 위해 Regular expression, apache, nginx, syslog 등이 있다. 

Filter

데이터를 output 으로 보내기 전에 다음과 같은 기능을 한다.

• 필터링
• 데이터 필드  추가
• 데이터 필드 삭제

Buffer

필터링된 데이터를 바로 output 으로 보내지 않고 throttling 할 수 있다. 파일과 메모리 두가지 타입을 사용할 수 있으며, 내부적으로 chunk 단위로 관리된다. chunk 는 사이트별 혹은 시간별로 조절하여 데이터를 output 으로 보낼 수 있다.

Storage

데이터를 json 포맷의 key pair 형태로 로컬 디스크에 저장한다.

Formatter

필터링된 데이터를 output 으로 보내기전에 formatting 하는 기능을 한다.

Output

필터링된 데이터를 특정 storage 에 출력하는 기능을 한다.