출처 : 여성시대 갤럭시탭
설명가능 인공지능
현재 인공지능은 블랙박스 인공지능이라고 해서
머신 러닝을 거쳐서 입력값에 대한 올바른 결과값을 낸다고 해도
왜 그런 답이 나오는지 제작자가 그 이유를 알 수 없음.
즉, AI가 실수를 해도 그걸 설명할 수가 없음.
예를 들어 숫자가 적힌 사진을 보여줬을 때 그 숫자를 정확하게 맞추는 AI에게 물고기 그림을 보여줬는데
AI가 '이건 3이네' 하면 왜 그렇게 생각했는지 알 길이 없음.
그래서 AI의 신뢰성과 AI가 이용되는 분야의 책임소재를 위해서는
인공지능 작업의 결과값을 사람이 이해할 수 있도록 해석가능한 '설명가능 인공지능' 혹은 유리박스 인공 지능이 필요하게 됨
현재 미 국방부와 구글 클라우드 등 많은 곳에서 연구중.
http://www.ciokorea.com/news/34654
하지만 일각에서는
'인간도 진짜로 왜 자기가 그런 선택을 했는지 모르지 않음? 굳이 필요가...?' 하는 의견도 있음
'그럼 설명하는 AI를 만들자!' 라는 의견도...
설명가능 인공지능이 사물 인식 딥러닝에 적용될 경우, 어떤 사물을 고양이로 인식했을 때 털과 콧수염, 발톱, 귀 모양 등으로 그 사물을 고양이로 판단한 근거를 설명하게 된다. 출처:DARPA
설명가능 인공지능은 딥러닝이 어떤 사물을 고양이로 인식했을 때 또 다른 인공지능 툴로 무엇을 언제 고양이라고 했고 언제 아니라고 했는지 모니터링하고 분석하는 것이다. 기존 딥러닝 과정에 설명가능 툴을 붙여 사진에서 어떤 특징들을 고양이로 판단하는데 활용했는지 밝히는 것이다. 이를 응용하면 암세포나 질병 진단, 전장에서 적군을 판단하는 데도 적용할 수 있다. 출처:DARPA
++
기존의 블랙박스 인공지능으로는 왜 과정에대해 설명하는 게 불가능한지 도탁스남이 설명한 댓글
딥러닝은 쉽게 보자면 수천,수만의 행렬들의 곱이라고 볼수있는데
입력값을 넣으면 연산을 통해나온 결과값을 알수있음, 그러나 각 행렬의 값하나는 그저 1.342와 같은 숫자여서 이숫자가 무슨의미인지 어떤 가중치른 갖는지 알수없다는 뜻이에요
일반적인 문제풀듯이 이런경우엔 이렇고 이럴땐 저렇고하는 룰이 정립된 알고리즘이 아님
학습시키는 과정도 숫자3은 반원형태의 도형 2개를 이어붙인것. 이런식으로 알려줘서 숫자3에 대한 룰을 정립하는게 아니라
3이적힌 이미지를 입력값으로 주고 위의 행렬연산후 미분등의 수학적연산으로 더 결과값에 가깝게 행렬안의 각각 값의 수치를 조정하는 과정이라는걸 들으면 어느정도 감이 올듯여