Explainable Security

1. Introduction

• eXplainable AI는 2017년 DARPA의 XAI 프로그램에 의해 시작된 새로운 인공지능 기술
• 관련 연구
  • 비인가된 요청에 대한 설명을 제공. 어떤 권한이 추가적으로 필요한지를 설명하는 모델 연구
  • Expalination이 가져야 할 Transparancy와 Justification에 대해 논의함.

2. Who?

• Explainable Security를 사용할 수 있는 사람들은 다음과 같다.
  • Designer / Developer: 보안 특성을 보장하도록 디자인/개발하는 사람.
  • User / Client: 선량하며 전문적인 지식을 가지지 않은 이용자. 시스템의 취약점을 만들 수 있음.
  • Attacker: 시스템의 익스플로잇 혹은 취약점을 찾는 사람.
  • Analyst: 디자인할 때의 시스템을 분석하는 사람. 혹은 런타임에서 시스템을 분석하는 사람.
  • Defender: 시스템을 지키는 행위를 하는 사람.
• 사람들의 역할에 따라 Explainer의 역할이 달라질 수 있음
  • Designer / Analysist
    • 유저가 시스템과 어떻게 상호작용하는지를 설명할 필요가 있음.
    • 왜 시스템이 안전한지, 왜 시스템이 특정한 조치를 수행하는 이유를 설명해야 함.
  • User / Client
    • 시스템이 어떻게 작동할 것으로 예상하는지
    • 시스템과 상호작용하는 방법 설명
    • Designer가 시스템 구축에 대한 요구사항을 도출
    • Analyzer가 User 상호작용의 보안을 검증 할 수 있도록 해야 함.
  • Analysist
    • 설계자에게 시스템의 보안을 개선하는 방법을 설명
    • Defender에게 방어 방법과 대상을 설명
  • Defender
    • 추적 가능한 공격을 이해하고 User에게 보호하기 위한 방법을 설명

3. What?

• 사람에 따라 요구하는 설명이나 그 정도가 다를 수 있음.
  • Designer / Developer: 안전한 시스템을 구현 할, User의 요구사항에 대한 구체적인 설명
  • Non-expert User: 시스템이 안전하다는 확신이 들 수 있도록 설명되어야 하며, 시스템을 안전하게 유지 할 수 있도록 설명되어야 한다.
  • Analysist: 분석할 모델을 만들거나 테스트 사례를 생성하고 실행하기 위해 시스템의 사양 혹은 시스템 코드에 대한 접근 권한이 요구됨.
  • Designers / Developers / Defenders: 취약점 및 관련 공격에 대한 설명이 필요함
  • Attacker: 취약점을 Expliot 할 수 있을지에 대한 설명이 필요함. 공격이 실패한 이유와 새로운 방어 기법이 공격 전략에 미치는 영향에 대한 설명 또한 필요함.
• 사람에 따라 어떤 것을 설명해야 하는지가 다를 수 있음
  • System과 System Model에 대한 설명은 개발하거나 분석하는데 사용될 수 있음
  • Security Properties에 대한 설명은 시스템에 대한 안전을 보장하는데 사용될 수 있음
  • 발견된 취약점및 공격 기법은 공격의 비용 및 이점과 함께 설명되어야 함.
  • 가능한 공격 대응책과 발견된 취약점은 악의적이지 않은 사람에게 공개되어야 함.

4. Where?

• XAI는 다음과 같은 분야에 사용될 수 있음
  • User의 Security/Privacy에 대한 설명을 제공할 수 있음
  • 시스템에 대한 설명을 분리하여 제공할 수 있음
  • 이해관계자는 전문가시스템과 협업하여 설명을 제공받을 수 있음

5. When?

• Security를 설명하는 것은 다음과 같은 분야에 사용할 수 있다.
  • Designed
  • Implemented
  • Deployed, Installed
  • Used
  • Analyzed
  • Attacked
  • Defended
  • Modified
• 설명 모델은 시스템이 디자인/개발 될때 제공되어야 한다.
  • 또한, 중요한 시스템에는 런타임에서 제공되어야 한다.
• 공격에 대한 피해는 클 수 밖에 없기 때문이다.

6. Why?

• 시스템과 관계된 사람들은 시스템이 안전하기를 바라기 때문에, 설명을 제공해야 한다.
• 설명 모델은 모델에 대한 확신과 신뢰, 투명성, 인증성 등을 제공하기 때문이다.

7. How?

• 모델에 대한 설명(모델)은 다음과 같은 형태로 진행될 수 있다.
  • 자연어: 텍스트 언어를 이용해 설명하는 방식
  • 그래픽: 설명(모델)을 그림/그래프로 표현하는 방식
  • 정규표현식: 특정 식을 이용해 설명(모델)을 수식으로 증명하는 방식
  • 게임: 시스템과 상호작용하는 것을 게임으로 나타내는 방식

8. A more detailed example

• 설계자는 하드웨어 및 소프트웨어 요구에 대한 설명 포함.
• 은행은 최종사용자에게 해당 기술이 왜 안전한지 설명 포함.
• 공격자는 공격에 성공하기 위한 명확한 설명이 필요함.

9. Conclusions

• 본 연구에서는 XAI를 이용한 보안에 대한 도전과제와 로드맵을 제시하였다.
• 이 분야에서 좋은 성과가 나올 것으로 기대한다.