[eXplainableAI (XAI)] 기초적인 설명 - Complexity: Intrinsic vs Post-hoc / Scope: Global vs Local / Dependency: Model-specific vs Model-agnostic

eXplainableAI

사람이 AI의 동작과 최종결과를 이해하고 올바르게 해석할 수 있고, 결과물이 생성되는 과정을 설명 가능하도록 해주는 기술

eXplainableAI 란

현재 XAI 기술을 분류하는 관점은 3가지가 있음.

• Complexity
  • 분류: Intrinsic vs Post-hoc
• Scope
  • 분류: Global vs Local
• Dependency
  • 분류: Model-specific vs Model-agnostic

Complexity

모델의 복잡성은 설명력과 깊은 연관이 있다. 모델이 복잡할수록, 사람이 해석하기가 더 어려워진다. 반대로 모델이 단순할수록 사람이 해석하기에 더 용이하다. 어려운 문제를 해결하기 위해서는 복잡한 구조가 유리하기 때문에 모델의 복잡성과 해석력은 서로 trade-off 관계가 있다.

1. Intrinsic
2. 모델을 쉽게 해설할 수 있는 가장 빠른 방법은 애초에 모델을 해석 가능한 구조로 고안하는 것이다. 의사결정나무 같은 단순한 모델은 구조만 보더라도 사람이 해석하기 쉽다. 따라서 구조가 단순한 모델은 그 자체적으로 이미 해석력을 확보하고 있다고 해서 Intrinsic(본래갖추어진) 이라는 이름을 붙였다. 또는 투명성(Transparency)를 갖췄다고 표현하기도 한다. trade-off관계로 인해 Intrinsic모델은 정확도가 낮다.
3. Post-hoc
4. 모델링 결과를 보고 바로 해석할 수 없는 경우, 모델링 이후에 해석을 위한 새로운 모델링 또는 알고리즘을 적용할 수 있다. 기계학습 및 딥러닝 분야에서 해석 가능한 기법이 대부분 Post-hoc에 속한다. 성능이 좋은 복잡한 모델을 사용하고 해석은 Post-hoc로 하는 방법이 보편적이다.

Scope

설명하는 범위에 따라서 해석 기법을 분류할 수 있다. 모든 예측 결과에 대해서 항상 설명력을 갖는 Global 기법과 하나 또는 일부 예측 결과만 설명 가능한 Local 기법으로 나뉜다.

1. Global
   • Instinsic 모델은 모델의 구조로부터 모든 예측 결과에 대한 설명이 가능하므로 Global기법에 속한다.
   • Post-hoc를 Global로 구현하기는 현실적으로 까다롭다. 설명 측면에서 모든 예측에 대해서는 일정한 설명력을 갖출 수 있더라도, 개별 예측 결과의 특징을 설명하는 능력은 다소 떨어질 수 있다.
2. 모델의 로직과 관련된 이해를 바탕으로, 모델이 예측하는 모든 결과를 설명한다. 예를들어, 데이터에서 어떤 변수가 중요하고 어떤 종류의 교호작용이 일어나는지에 대한 설명을 할 수 있다.
3. Local
4. 특정한 의사 결정 또는 하나의 예측 결과만 설명한다. 몇몇 개의 예측 결과를 묶어 예측 그룹에 대하여 설명하는 범위도 Local 기법에 포함한다. 전반적인 예측 성향은 설명하지 못하더라도 하나 또는 소수의 예측 결과는 완벽에 가깝게 설명할 수 있다.

Dependency

설명 기법이 특정 종류의 모델에만 적용할 수 있도록 특화되었는지, 혹은 모델에 관계 없이 범용적으로 적용할 수 있는지에 따라 분류할 수 있다.

1. Model-specificCNN 계열에서만 쓸 수 있는 시각화 해석 기법은 모두 Model-specific에 해당한다.
2. 특정 종류의 모델만 적용할 수 있는 설명 기법을 Model-specific이라 한다. Intrinsic기법은 모델 자체가 가지고 있는 특성을 이용하므로 타 모델에서 적용할 수 없는 전형적인 Model-specific이다. 특정 모델만 적용할 수 있다는 점에서 모델을 고를 때 선택권이 줄어드는 단점이 있다.
3. Model-agnostic
4. 모델 내부는 사람이 알 수 없으므로, 모델을 설명하기 위해서는 모델 밖에서 근거를 찾아햐 한다는 Model-agnostic은 모델의 어떠한 특성도 이용하지 않는다. 따라서 모델에 상관없이 적용 가능한 특징이 있다.

XAI 예시

ComplexityScopDependency

	Complexity	Scope	Dependency
Techniques	Intrinsic / Post-hoc	Global / Local	Model-specific / Model-agnostic
Decision Tree	Intrinsic	Global	Model-specific
LIME (Local Interpretable Model-agnostic Explanations)	Post-hoc	Local	Model-agnostic
Shapely	Post-hoc	Local	Model-agnostic
PDP (Partial Dependence Plot)	Post-hoc	Global	Model-agnostic
Permutation Feature Importance	Post-hoc	Global / Local	Model-agnostic

참고

[1] Amina Adadi and Mohammed Berrada, Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI), 10.1109/ACCESS.2018.2870052, IEEE, 2018

[2] https://realblack0.github.io/2020/04/27/explainable-ai.html