Explainable Intrusion Detection Systems (X-IDS): A Survey of Current Methods, Challenges, and Opportunities

1. Explainable Artificial Intelligence

1.1. Notions of Explainability

1.1.1. Local Explainability

• 하나의 예측이나 결정을 설명하는 방법론
• LIME, SHAP가 대표적인 예시

1.1.2. Global Explainability

• 모델의 결정과정 전체를 설명하는 방법론
• 도출될 수 있는 결과를 더 쉽게 설명하는 방법론
• SP-LIME, CAV, GIRP 등이 대표적인 예시

1.1.3. Model-Specific Interpretability

• 한정된 모델에 한해서 설명할 수 있는 방법론

1.1.4. Model-Agnostic Interpretability

• 모델에 상관 없이 설명할 수 있는 방법론
• 인공 신경망(ANN)을 해석하는데 사용되며, 지역 혹은 전역적일 수 있음

1.2. Formalizing Explainability tasks from the user perspectives

• 설명을 받기 위해서는 누가 설명을 받게 될지가 중요한 요소임
• Rosenfeld 등은, 일반 사용자, 전문가 사용자, 외부 기관으로 분류했음

1.3. Measures for evaluating explainability techniques

• Doshi-Velez and Kim 등은, 해석에 대한 3가지 평가 방법론을 제시함.
  • Application Ground: 해석의 결과가 사용자에게 미치는 영향에 중점을 두고 평가
  • Human Ground: 일반 사용자와 실험을 수행, 간소화된 응용프로그램에 중점을 두고 평가
  • Functionally Ground: 해석의 명확한 수학적 정의를 사용하여 평가

2. Survey and Taxonomy

• IDS는 탐지 방법에 따라 3가지 방식으로 구분된다:
  • Signature-based
    • 알려진 공격 패턴을 분석하여 탐지한다.
    • 제로데이 공격, Metamorphic 위협, Polymorphic 위협을 탐지하지 못한다.
      • Polymorphic: 전파되면서 자신의 코드를 변경하는 악성 프로그램
      • Metamorphic: 암호화 키 없이 자신의 코드를 재작성하는 악성 프로그램
  • Anomaly-based
    • 예상되지 못한 (=정상적이지 못한) 패턴을 분석하여 탐지한다.
    • 이 방법은 오탐의 위험성이 존재한다.
  • Hybrid-based
    • Signature와 Anomaly 탐지 방법, 모두를 합친 방식
    • 알려진 침입을 탐지하는 것은 물론, 알려지지 않은 공격에 대해서도 탐지 할 수 있다.

2.1. Salient features of white box techniques

• White box 모델은 전문가가 이해하기 쉬운 결과를 도출할 수 있도록 도움을 준다.
• 방법에 따른 세부 사항
  • Regression
    • 회귀 분석은 통계적인 배경지식을 기반으로 구성되어 있음.
    • 보통 모델링의 초기 단계나, 복잡한 모델의 Pipeline으로써 사용됨
    • 예시: Linear Regression (LR), Logistic Regression (LoR), various non-linear models, Poisson Regression, Kernel Regression (KR), and Spline Smoothing 등.
  • Rule-Based
    • 학습된 Rule set을 모델 결정 프로세스의 수단으로 활용함.
    • 인간의 의사 결정 과정을 모방하여 얻은 Rule을, Signature 기반 IDS에 통합하여 Anomaly가 제로데이 식별할 수 있도록 함.
  • Clustering
    • 지도, 비지도 학습에서 비슷한 데이터를 모을 때 사용하는 방법
    • 전통적으로 이러한 방법은 각 데이터의 거리를 기반으로 Metric을 계산함.
      • 예시: Euclidean, Manhattan, Cosine Measure, Pearson coefficient, Graph-based clustering 등.
    • 그래프를 재구성 도메인에서 도움이 됨.
  • Statistical & Probabilistic Methods
    • 본 논문에서 소개하는, 가장 넓은 범주의 방법론
    • Blackbox 방법론의 사용으로 사용이 다소 줄어듦.
    • 특정한 시나리오나 다단계 IDS에서의 큰 Pipeline을 구성하는데 적합함.
    • 예시: Moment-based approaches, Statistical ensembles, Markov Models, Baysian Networks 등.

2.2. Salient Features of Black Box Techniques

• Black box 모델은 불명확한 결정 모델을 설명하는데 사용됨
• 주로 민감한 영역을 결정하는 모델을 설명하는데 사용되고 있음
  • 안전, 프라이버시, 공정성 등을 요구하는 애플리케이션의 결정 과정을 설명함.
• 방법에 따른 세부 사항
  • Feature
    • Target Feature를 설명하는 방법
    • 각 Feature가 결과(예측)에 얼마나 영향을 미치는지 판단
    • 예시: artial Dependence Plot (PDP), Accumulated Local Effects (ALE), Individual Conditional Expectations (ICE), H-statistic, SHapley Additive exPlanations (SHAP).
  • Perturbation
    • 입력 공간이 미세하게 변하며 출력 공간이 변하는지를 통해 설명
    • 일반적인 데이터(표 데이터, 이미지, 텍스트 등)에 적용 가능함.
    • 특징이 변하는 정도에 따른 모델 민감도는 Feature Importance 임.
    • 예시: Randomized Input Sampling for Explanation of Black Box Models (RISE), Local Interpretable Model-Agnostic Explanations (LIME)
  • Decomposition
    • 원본 모델의 예측을 분해하여 설명하는 기법
    • 분해의 목표는 입력 공간에 Importance를 할당하는 것
    • 예시: Gradient * Input, Integrated Gradients (IG), Grad-CAM, DeepLIFT, Deep Taylor Decomposition (DTD), Layerwise Relevance Propagation (LRP)
  • Hybrid
    • 위에서 설명한 방법을 혼합한 방법
    • 다양한 방법들이 존재할 수 있음.

3. Approaches to Explainable IDS (X-IDS)

3.1. Black Box X-IDS Models

3.2. White Box X-IDS Models

4. Designing An Explainable IDS (X-IDS)

4.1. Pre-Modeling Phase

4.1.1. Datasets

• 레이블된 데이터셋을 활용해 모델을 학습할 수 있음.
• Privacy 문제를 해결하기 위해, 에뮬레이팅된 환경에서 생성됨.
• 예시) NSL-KDD, KDD-CUP-99, CICIDS2017, UGR 등등

4.1.2. Exploratory Data Analysis and Data Visualization

• 데이터 전처리는 모델의 정확도를 높이기 위해 필요함.
• Exploratory Data Analysis를 사용하면, 데이터셋의 Key Feature를 이해할 수 있음.

4.1.3. Feature Engineering

• Feature Selection은 Transforming 없이 Feature 공간을 줄임
  • 필요 없는 속성은 선택적으로 지우는 것
• Feature Extraction은 대부분을 차지하는 속성을 남겨둔 채로 Feature 공간을 줄이는 것
  • 전체적으로 속성을 줄이는 것

4.2. Modeling Phase

• 입력 값은 전처리된 모듈이고, 출력 값은 Explainer 모듈에 의해 생성된 Explaination이다.

4.2.1. AI Model

• 모델의 정확도와 설명 가능성은 Trade-Off 관계에 있다.
• 높은 예측 정확도는 공격을 예방할 수 있다.
  • Black-Box 모델은 중요한 비선형성을 탐지할 수 있고
  • White-Box 모델과의 복잡한 Interaction은 탐지하지 못할 수 있다.

4.2.2. Explainer Module and Evaluation

• 제안한 구조를 통해, 공격 예측과 설명을 동시에 수행 할 수 있다.
• 이러한 접근방식은 이 모델의 사용자를 염두에 두고 설계한 것은 아님.

4.3. Post Modeling Explainability Phase

4.3.1. Explanation Interface

• Visual Dashboard는 IDS에서 일어나는 일을 사용자가 알기 쉽게 설명하는 역할을 한다.
• 또한 추후 연구에서는 Custom Explainer를 이용해, 특정 상황에 맞는 Explainer를 구현할 수 있다.
  • 예시) 보안 전문가에게 유용한 정보, 사용자에게 유용한 정보 등
• Shapash를 이용해 Explainer를 구현하거나, explainerdashboard을 이용해 표시할 수 있다.

4.3.2. Users

• 개발자는 IDS를 개발하고 유지보수하는 역할을 수행한다.
• 방어자는 자산에 대한 보호하는 역할을 수행한다.
  • 잘못된 예측이 생길 경우, 방어자와 개발자는 새로운 데이터를 기반으로 모델을 수정할 수 있다.
• 투자자/기업가는 IDS 시스템에 대한 득실을 따져보고 결정하는 역할을 수행한다.
  • IDS 시스템을 간단하게 만들것을 요청할 수 도 있다.

5. Research Challenges and Recommendations

• 기존의 연구들은 알고리즘을 설명하는데 중점을 뒀다,

5.1. Defining Explainability for Intrusion Detection

• 문제 1: IDS에서의 Explainability에 대한 정의가 부족함.
• 문제 2: 현재의 연구는 범위가 좁고, 샘플 IDS 데이터셋으로 만든 모델을 설명하는데 그치고 있음.

5.2. Defining Tasks and Stakeholders

• 적절한 Explainability을 제공하기 위해선, 각 유저에 맞는 설명을 만들어야 함.
  • 각 유저는 역할에 따라 다른 설명을 요구하기 때문 (4.3.2. Users 참고)

5.3. Evaluation Metrics

• 현재는 Explain 모델을 평가할 합의된 Metric이 없음.
• 본 논문에서는 Florida Institute for Human and Machine Cognition에서 개발한 IHMC를 제안함.
  • 각 유저에게 좋은지를 평가함

5.4. Adverserial AI

• Explaination이 새로운 공격 포인트가 될 수 있음.
• 적대적(Adverserial) AI를 이용해 공격을 수행할 수 있음.
• 개발자는 이를 염두에 두고 개발해야 함.

5.5. Misleading/Incorrect Explanations

• Explainer에 대한 공격이 없더라도, 부정확한 정보를 도출할 수 있음
  • Explainer가 부정확한 정보를 자체적으로 생산하거나
  • 설명을 해석하는 사람이 정보를 잘못 이해할 수 있음.
• 보안 분석가는 신중하게 분석해야 함
• 잘못 분석된 설명에 대한 감사를 진행할 수 있는 시스템이 마련되어 있어야 함.

5.6. Scalability and Performance

• IDS에 있어, 기기의 Performance는 공격을 판단할 수 있는 지표가 되기도 함.
• 성능정보에 대해 전체 혹은 선택적인 설명을 생성하여 참고할 수 있어야 함.

6. Conclusion

• 의사결정 과정에서 불투명한 모델이 결과에 대한 정당성을 부여하지 못할 수 있음.
• 본 논문에서는 Explainable IDS 연구에서의 문제점과 적용가능성에 대해 집중했음
• White-Box 접근법은 모델 자체를 해석할 수 있지만, Black-Box 접근법은 Post-hoc 설명을 요구함

출처: https://arxiv.org/pdf/2207.06236.pdf