[ELK] Kibana(키바나)란?
업데이트:
빅데이터 아키텍처에서 시각화는 굉장히 중요하다. 예를 들어, 내 웹사이트를 방문한 사람들의 방문 시간대를 알고싶다면 엘라스틱서치를 활용해 어렵지 않게 요일과 시간대별로 사용자수를 알아낼 수 있을 것이다. 그러나 이렇게 얻은 결과를 단순 테이블 형태로 파악한다면 눈에 잘 들어오지 않을 것이다. 이 때문에 우리는 많은 양의 비정형적인 데이터를 보고서나 대시보드 형태로 시각화 하는 과정이 필요하다.
우리는 비츠와 로그스태시를 이용해 수집하고 가공한 데이터를 엘라스틱 서치에 저장하고 이를 Kibana를 통해서 시각화 할 것이다.
✅ Kibana란?
Kibana는 Elastic Stack의 중요한 구성 요소 중 하나로, 데이터 시각화 및 분석 도구이다. Elasticsearch에서 저장된 데이터를 쉽게 시각화 하고 탐색할 수 있는 웹 인터페이스를 제공한다. Kibana는 사용자가 Elasticsearch에 쿼리를 실행하고, 결과를 다양한 형태로 시각화 하여 분석할 수 있도록 도와준다. Kibana의 기능은 크게 세가지 정도로 분류될 수 있다.
-
데이터 분석과 시각화 툴 오픈소스 기반의 데이터 탐색 및 시각화 도구 제공
-
엘라스틱 관리 보안, 스냅샷, 인덱스 관리, 개발자 도구 등 제공
-
엘라스틱 중앙 허브 모니터링을 비롯해 엘라스틱 솔루션을 탐색하기 위한 포털
✅ Kibana 사용 이유
그렇다면 Kibana를 언제, 왜 사용해야 할까? 만약 Elasticsearch를 검색엔진으로 사용하면서 Kibana를 사용하지 않는다면 통계 페이지나 데이터 처리를 위해 WAS를 직접 구성하고, amCharts, c3 등의 차트 라이브러리를 이용하여 UI 코드를 작성해야 할 것이다. 번거로운 작업이지만 하려면 할 수 있다.
그러나 Kibana를 사용하면 쉽고 간단하고 빠르게 데이터 시각화를 완성할 수 있다. 또한 Kibana는 오픈소스이기 때문에 접근성도 좋다. 때문에 Elasticsearch의 실시간 데이터 시각화를 위해서는 Kibana는 거의 필수라고 볼 수 있다.
✅ Kibana의 시각화 주요 기능
Kibana 시각화에는 여러 주요 기능이 있다. Discover, Visualize, Dashboard, Canvas, Maps 등이 있는데 각각에 대해 알아보도록 하자.
📌 Discover
Discover는 데이터를 확인하고 탐색하기 위한 용도로 사용된다. 문서/이벤트/도큐먼트/로그의 시간에 따른 발생량을 히스토그램으로 보여주기도 하고 데이터 구조나 필드 타입 등을 간단히 확인할 수도 있다.
📌 Visualize
Visualize 메뉴는 엘라스틱 서치에 저장된 데이터를 그래프나 표, 지도 등 다양한 타입으로 보여주는 역할을 한다. 라인, 바, 파이 차트부터 맵, 시계열 비주얼 빌더, 태그 클라우드 등 다양한 시각화 타입을 지원한다. 가장 효과적으로 데이터를 보여줄 수 있는 타입을 선택하면 된다. 이때 시각화는 엘라스틱 서치의 집계를 통해 그래프를 그린다.
⚠️ 메트릭 집계 : 평균/최소/최대 같은 수량을 계산한다.
⚠️ 버킷 집계 : 특정 기준에 맞춰 데이터를 분리한다. 서브 버킷을 생성할 수 있다.
⚠️ 파이프라인 집계 : 집계 결과를 입력으로 받아 다시 집계를 한다. 부모/형제 집계 유형이 있다.
📌 Dashboard
대시보드는 시각화 타입들을 한 페이지에 모아 볼 수 있는 기능으로, 한 화면에서 다양한 관점으로 데이터를 보면서 분석할 수 있다. 또한 자동 새로고침 기능을 이용해 대시보드를 통해 시스템을 실시간으로 모니터링 할 수 있다. 따로 기술적으로 학습해야 하거나 어려운 내용은 없다.
📌 Canvas
캔버스는 인포그래픽 형태로 데이터를 프레젠테이션할 수 있게 해주는 툴이다. 일종의 파워포인트 처럼 화면을 편집하고 보여줄수 있다고 생각하면 된다. Kibana의 Dashboard가 아주 좋은 시각화 모듈을 제공하지만, 뭔가 정형화된 느낌이 들어 본인만의 방식으로 시각화 자료를 만들고 싶다면 Canvas를 사용하면 된다.
📌 Maps
Maps는 위치정보가 포함된 데이터를 지도에 올려 시각화 할 수 있고, 멀티 레이어 가능을 통해 다양한 형태의 지도를 레이어한 화면에서 볼 수 있다.
댓글남기기