Logstash Basics

Logstash에 대해 알아보아요우

Reference: Logstash docs

What is Logstash?

Logstash

• Real-time pipeline 기능을 가진 open source data collection engine

• 서로 다른 data source를 dynamic하게 통합하고, 지정한 목적지로 data를 정규화 할 수 있다

• Data를 cleanse하고 democratize 할 수 있다

The Power of Logstash

1. Elasticsearch 등을 위한 강력한 수집 기능

시너지 효과를 발휘하는 Elasticsearch와 Kibana를 활용한 수평 확장 가능한 data processing pipeline

2. Pluggable pipeline architecture

다양한 input, filter, output을 mix & match하고 조정하면서 pipeline에서 조화롭게 운용 가능

3. Community-extensible and developer-friendly plugin ecosystem

200여개의 plugin 사용 가능 & 직접 plugin을 만들어 제공할 수도 있는 유연성도 갖고 있음

logstash

Logstash Loves Data

• 더 많은 data를 수집할수록 더 많이 알 수 있다

• Logstash는 모든 형태 및 규모의 data를 다룰 수 있다

Logs and Metrics

모든것이 시작되는 곳

• 모든 유형의 logging data 처리 가능

  • 다양한 web log (ex. Apache) 및 appliction log (ex. log4j for Java) 를 수집한다

  • syslog, networking과 firewall log 등 여러 형식의 log를 수집한다

• Filebeat와 연계하여 보안을 유지하며 log를 전달할 수 있다

The Web

World Wide Web의 진정한 효용성 실현

• HTTP requests를 event로 변환

  • Social sentiment 분석을 위해 Twitter 등의 firehose 사용

  • Github, Jira를 비롯한 수많은 application을 위한 webhook 지원

  • 다양한 Watcher알림 활용 사례 지원

• 필요에 따라 HTTP 엔드포인트 polling으로 event 생성

  • web application interface로부터 상태, 성능, metric 및 기타 데이터 유형을 수집한다

Data Stores and Streams

이미 보유하고 있는 data에서 더 큰 가치를 발굴하기

• JDBC interface를 통해 관련 database 또는 NoSQL 저장소의 데이터를 더 정확히 이해할 수 있다

• Apache Kafka, RabbitMQ, Amazon SQS, ZeroMQ 와 같은 messaging queue가 제공하는 각종 data stream을 통합할 수 있다

Easily Enrich Everything

• 더 나은 data로 더 나은 knowledge를 얻기

  • 색인 또는 출력 시점에 거의 실시간으로 insight를 확보할 수 있도록 수집 과정에 데이터를 정리하고 변환한다

  • Logstash는 pattern matching, geo mapping, dynamic lookup 기능 등과 함께 다양한 집계 및 변이 기능을 제공한다