Data Anomaly Detection(feat. elasticsearch)

이 책은 엘라스틱 매뉴얼이 아니며, 엘라스틱서치를 검색엔진이 아닌 데이터 분석툴로 활용한다. 특히 통계 분석이 가능한 데이터 구조를 만드는 데 필수인 파이프라인 생성 및 데이터 분석 과정을 예제와 함께 따라해볼 수 있는 구성을 제공하여 독자의 쉬운 이해를 돕는다.

[ 이 책의 구성 ]

1장에서는 웹 로그를 대상으로 엑셀(2013 이상)을 이용한 ‘탐색적 데이터 분석(Exploratory Data Analysis)’을 통해 통계 분석의 개념을 이해하고, 분석 대상 데이터에 대한 이해도를 높이며, 목적에 맞는 데이터 가공 및 분석 절차를 학습한다.

2장에서는 1장의 학습 과정을 엘라스틱서치에 적용하여 통계 분석이 가능한 데이터 구조를 만들고, 이상징후 분석을 진행한다.

3장에서는 엘라스틱 스택이 제공하는 대시보드와 머신러닝을 이용해서 이상징후 분석 시스템을 구현한다.

4장에서는 리눅스 등의 데이터 분석 환경 구축을 다룬다.

★ 리뷰 이벤트 중 ★

[ 목차 ]

1장. 데이터 분석

1.1 통계 분석

1.2 데이터 전처리

1.3 탐색적 데이터 분석

1.3.1 전체 그림 그리기

1.3.2 상태 세분화

1.3.3 상태별 관계 그리기

1.3.4 URL 변화 추이 그리기

1.3.5 변수 변화 추이 그리기

1.3.6 사용자 및 접속 도구 변화 추이 그리기

1.3.7 이상징후 확인

1.3.8 응답 변화 추이 그리기

1.4 데이터 해상도

1.4.1 시간 해상도

1.4.2 URL 해상도

1.4.3 변수 해상도

1.4.4 시행착오

1.5 정리

2장. 엘라스틱서치

2.1 엘라스틱서치란?

2.1.1 데이터 관리 구조

2.2 엘라스틱 스택 설치

2.3 환경 설정

2.3.1 JVM 메모리 설정

2.3.2 엘라스틱서치

2.3.3 키바나

2.3.4 로그스태시

2.4 데이터 연동

2.4.1 인코딩 오류

2.4.2 불필요한 데이터

2.4.3 시간 오류

2.4.4 DISSECT 플러그인

2.4.5 DATE 플러그인

2.4.6 필드 분류

2.4.7 인덱스 관리

2.4.8 연동 오류 검증

2.5 시계열 차트

2.5.1 필터

2.5.2 검색

2.5.3 GROK 플러그인

2.5.4 변수와 에러 메시지 분리

2.5.5 RUBY 플러그인

2.5.6 URL 해상도 변경

2.6 정리

3장. 이상징후 분석

3.1 대시보드

3.1.1 시계열 차트의 SIZE 옵션

3.2 웹 로그 대시보드

3.2.1 URL 요청 상태 정량화

3.2.2 변수 요청 상태 정량화

3.3 엘라스틱 머신러닝

3.4 정리

4장. 분석 환경 구축

4.1 엘라스틱 ON 윈도우

4.2 엘라스틱 ON 리눅스

4.3 정규표현식 메타 문자

4.4 정리