AI와 블랙박스 문제

학습의 종류

1. 지도학습 :정답이 있는 훈련 데이터로 모델을 학습시키는 것.

(K-nearest Neighbors, Logistic Regression, SVM)

2. 비지도학습: 정답이 없는 훈련 데이터로 모델을 학습시키는 것.

(Clustering, 주성분분석 - PCA)

3. 강화학습: 지도/비지도 학습과 다른 종류. 주어진 상태(State)에서 가장 높은 보상(Reward)을 얻을 수 있는 행동(Action)을 스스로 학습.

 

블랙박스 문제

머신러닝, 특히 복잡한 딥러닝 기반(인공신경망)의 AI 모델은 수많은 매개변수가 상호작용하는 복잡한 구조로 그 과정과 결과를 설명하기 매우 어렵다.

문제의 가능성

1. 신뢰성: 작동 원리를 이해할 수 없다면 의사결정자들이 AI를 신뢰하기 어렵다.

2. 윤리: AI가 우리가 알지 못하게 편향된 결과를 야기하고 사회적 불평등을 유발할 수 있다.

→ 다인종 국가에서 특정 인종의 데이터가 많은 것이 인공지능의 학습에도 영향을 미쳐 주류인종에 유리한 결과만을 도출.

 

설명가능한 AI (XAI)

학습 과정과 결과를 증빙할 수 있는 데이터를 시각화하여 사용자에게 보고하도록 하는 AI.

어떤 특성으로 그 결과를 도출했는지 파악하고,

그 특성이 인종/성별과 같이 차별을 유발할 수 있는 변수라면 사용하지 않음.

장점

1. 데이터의 편향성 제거

편향되었던 데이터로 학습하면 편향된 모델을 학습하게 됨. XAI에서는 편향된 특성을 파악하고 그 특성을 사용하지 않을 수 있음.

2. 모델의 성능 개선

모델의 판단에 들어가는 특성을 보고 정확성과 관련이 없는 요소들을 제거해 성능 개선.

3. 데이터 비용 줄이기

모델의 정확성이 낮을 때에 추가적인 데이터를 사용해 학습을 시켜야 된다. 이때 어떤 부분에 취약한지 파악할 수 있으면 사용할 학습 데이터의 양과 비용을 줄일 수 있다.

 

Ex) '말(Horse)' 식별 알고리즘

말의 생김새가 아닌 말 사진은 저작권으로 보호되는 경우가 많아 © 기호를 이용해 말을 분류.

→ 창의적일 수는 있지만 추후에 큰 오분류를 야기할 수 있음.

→ XAI에서는 분류에 사용된 특징들을 확인하고 채택/미채택을 결정 가능.

---

방대하고 복잡한 계산이 포함된 AI의 구조를 인간이 직접 해석하기는 불가능.

결국, AI의 과정, 결과를 해석하기 위해 새로운 AI를 사용.

설명가능한 AI (XAI)를 활용해 모델이 그러한 판단을 하게 된 근거를 시각화하여 인간이 이해할 수 있도록 함.

이를 통해 성별/인종과 같은 차별적 변수들을 제거,

모델의 정확성과 관련이 없는 요소 제거해 성능 향상,

근거가 있는 AI를 활용해서 회사의 의사결정의 효율성을 높임.

---

은행의 신용평가 과정에서 AI 활용시 어떤 변수들의 사용되었는지 파악하여 차별을 유발할 수 있는 변수 제거.

로보어드바이저의 매수 결정에서도 그 근거를 확인해 최정적으로 사람이 판단.