본 포스트는 구글 실시간 트래픽 데이터에 딥러닝 기반 이상감지 모델을 적용한 논문에 대해 간단하게 정리한 글 입니다.

작성자 : 박상민 - (주)인스페이스 미래기술실 연구원

본 포스트는 약 4개월간 이상감지(Anomaly Detection)를 연구하게 되면서 공부했던 논문, 구현체 등을 정리해 공유하는 글 입니다.

항공우주분야의 이상감지를 연구해왔기 때문에 대부분의 내용이 도메인에 밀접한 내용이 있으니 참고하시면 좋을 것 같습니다.

9. Time Series Anomaly Detection 9

• 구글의 실시간 트래픽 데이터에서 이상을 감지하기 위해서 연구를 시작하였다고 논문에서는 밝힙니다.

• 데이터는 노이즈가 있고, 트래픽 패턴이 있는 주기적인 데이터에서 이상을 감지하기위해 머신러닝 기법과 통계적 기법으로 접근하였다고 합니다.

• 많은 양의 라벨된 데이터가 없기 때문에 지도학습(supervised)의 분류 문제로 접근할 수 없었으므로, 두 부분으로 문제에 접근하였다고 하는데 다음과 같습니다.

  • 첫 번째는, regression과 시계열 데이터에서 값을 예측하기위해 텐서플로우를 이용하여 DNN, RNN, LSTM을 포함한 다양한 모델을 학습시킨 것 입니다.

  • 두 번째는, 실제 값과 예측값을 비교하는 anomaly rule(이상탐지 규칙)을 만들어 비교한 것 입니다.

• 논문에서는 두 개의 이상탐지 규칙은 트래픽 데이터가 잠시 지연되거나, 일시적으로 값이 튀는 것보다 지속적인 이상(sustained anomalies)를 찾는 문제에 더 초점을 두었다고 설명합니다.

• 모든 모델의 결과를 분석해 보니 논문에서 사용한 이상탐지 규칙이 효과적이었다고 밝히고 있습니다.

• 논문에서는 모델과 규칙들을 여러가지 조합으로 실험을 진행하였는데, 두 개의 규칙의 교차점을 사용하면 거의 모든 모델에서 이상을 찾아낼 수 있었다고 합니다.

• 통계적인 베이스가 있는 이상감지 규칙과, 사용자가 반복적으로 false positive를 수동으로 제거할 수 있도록 쉽게 수정할 수 있는 규칙은 이상징후를 탐지할 수 있는 매우 강력한 방법이라고 말하고 있습니다.