교과서에서 이미지 분류가 딥러닝 모델이 입력 영상을 여러 범주로 나누어 판정하는 과정이며, 의료 진단이나 챗봇처럼 실제 의사결정에도 확률적 판단이 쓰인다는 설명을 읽었다. 그런데 범주 옆에 함께 제시되는 0.95, 0.99 같은 높은 수치가 정말 ‘거의 맞다’는 뜻인지가 바로 이해되지는 않았다. 즉, 분류기가 낸 높은 확률값과 실제로 맞을 가능성은 같은가라는 의문이 탐구의 출발점이 되었다.^[3]

이 의문은 공개 이미지 분류 시연 자료를 보면서 더 구체화되었다. AlexNet 이후 이미지 분류 성능이 크게 향상되었다는 교과서 설명과 달리, 실제 공개 데모에서는 모델이 한 장의 이미지에 대해 매우 높은 확신을 보이면서도 오답을 내는 사례가 반복적으로 소개되었다. 나는 그중 한 이미지를 특정 동물 범주로 매우 높게 분류했지만 실제 정답 범주와 달랐던 사례를 선택해 살펴보았다. 이 사례는 ‘맞고 틀림’과 ‘얼마나 확신했는가’가 분리될 수 있다는 점을 보여 주었고, 숫자로 제시된 확률을 그대로 신뢰해도 되는지 다시 묻게 만들었다.

특히 이 문제는 단순히 AI가 똑똑해졌다는 일반론보다, 출력된 숫자를 어떻게 해석해야 하는가라는 해석의 문제로 보였다. 분류 결과가 99%라고 표시되어도 실제로는 비슷한 특징을 가진 다른 범주와 혼동했을 수 있고, 데이터가 학습 때와 조금만 달라져도 그 확신이 과장될 수 있다. 따라서 내가 궁금했던 것은 ‘모델이 정답을 몇 개 맞혔는가’보다, ‘모델이 스스로 말한 확률이 현실의 정답률과 얼마나 맞아떨어지는가’였다.

이 관찰을 바탕으로 탐구 질문을 두 가지로 좁혔다. 첫째, 정확도와 신뢰도는 같은가. 둘째, 어떤 상황에서 확률 교정이 필요한가. 이후 내용에서는 교과서의 인공신경망과 확률적 판정 개념을 바탕으로, 이미지 분류 모델의 확률 출력이 어떤 과정을 거쳐 만들어지며 왜 추가적인 신뢰도 검토가 필요한지 순서대로 분석하고자 한다.^[3]

앞선 1절에서 나는 높은 확률값이 실제 신뢰성과 같은지 의문을 제기하였다. 이를 이해하려면 먼저 교과서의 인공신경망-딥러닝-이미지 분류-확률적 판정이 어떻게 한 흐름으로 연결되는지 정리할 필요가 있다. 입력 이미지의 픽셀 정보는 신경망의 여러 층을 지나며 특징 벡터로 바뀌고, 마지막 층에서는 각 범주에 대한 점수로 변환된다. 이 점수는 보통 소프트맥스를 거쳐 범주별 확률처럼 해석된다. 즉 모델은 “무엇으로 보이는가”뿐 아니라 “얼마나 그럴듯한가”까지 함께 출력하는 셈이다.

이 과정을 수식으로 쓰면, 입력 이미지 $x$에 대해 모델이 각 범주 $k$의 점수 $z_k$를 만든 뒤 확률 $p_k$를 계산한다고 볼 수 있다.

$$p_k=\frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}}$$

여기서 $K$는 전체 범주 수, $z_k$는 범주 $k$의 점수, $p_k$는 그 범주로 분류될 것처럼 해석되는 값이다. 중요한 점은 $p_k$가 수학적으로는 확률 형태를 띠지만, 그 값이 실제 정답률과 일치하는지는 별도의 검증이 필요하다는 것이다. 그래서 정확도와 확률 해석은 같은 평가가 아니라 서로 다른 층위의 평가가 된다.

이를 구분하기 위해 세 개념을 비교하면 다음과 같다.

이 표에서 보듯 정확도는 결과 중심 지표이고, confidence는 개별 예측의 강도이며, calibration은 그 강도가 현실과 맞는지 보는 지표이다. 같은 정확도 90%의 두 모델이라도 하나는 0.9 근처 확률을 신중하게 내고, 다른 하나는 거의 모든 예측을 0.99로 과신할 수 있다. 이 경우 겉보기 성능은 비슷해도 실제 활용에서는 후자가 더 위험하다.

AlexNet 계열의 등장은 이미지 분류 정확도를 크게 높였다는 점에서 중요하지만, 바로 그 성공 때문에 오히려 확률 출력의 해석 문제가 더 중요해졌다고 생각했다.^[1] 예측이 틀릴 가능성이 여전히 남아 있다면, 높은 성능 이후에는 ‘더 많이 맞히는 모델’뿐 아니라 ‘틀릴 때도 얼마나 정직하게 확률을 말하는 모델인가’를 함께 평가해야 하기 때문이다. 따라서 이후 절에서는 정확도 외에 신뢰도 평가가 왜 산업 현장에서 필수적인지 살펴보고, 마지막으로 공개 자료를 통해 calibration 차이를 비교해 볼 것이다.^[3][4]

2절에서 정확도, confidence, calibration이 서로 다른 평가라는 점을 정리했으므로, 다음으로는 왜 이런 구분이 실제 산업에서 중요한지 살펴볼 필요가 있다. 같은 오분류라도 분야에 따라 손실 구조가 다르기 때문이다. 특히 교과서의 의료 진단 사례처럼 이미지 분류가 직접 판단 보조에 쓰이는 경우에는, 단순한 오답 개수보다 오답이 어떤 확신으로 제시되었는가가 더 큰 문제가 될 수 있다.

의료 영상에서는 놓침과 과잉 판정의 비용이 서로 다르다. 예를 들어 병변이 있는 영상을 정상으로 낮은 위험처럼 분류하면 치료 시점을 놓칠 수 있고, 반대로 정상 영상을 높은 확률의 이상으로 판단하면 불필요한 추가 검사와 불안을 유발할 수 있다. 즉 같은 1회의 오분류라도, 거짓 음성과 거짓 양성의 사회적 비용이 다르다. 반면 자율주행에서는 도로 위의 드문 물체나 경계가 흐린 표지판을 모델이 과신하거나 과소평가하는 순간이 더 치명적이다. 특히 학습 데이터에 적게 등장한 물체일수록 확률 출력이 불안정해질 수 있어, 단순 정확도보다 드문 사례에서의 신뢰도 점검이 중요해진다.^[5]

두 분야를 비교하면, 의료는 ‘질병 여부’처럼 진단 결과의 책임이 크고 자율주행은 ‘즉시 반응’의 안전성이 핵심이라는 차이가 있다. 그러나 공통점도 분명하다. 둘 다 높은 평균 정확도만으로는 현장 배포를 결정하기 어렵고, confidence 분포가 특정 구간에 과도하게 몰리는지, calibration이 실제 정답률과 어긋나는지, 낯선 데이터에서 확률이 지나치게 높아지지 않는지를 함께 봐야 한다. 연구기관과 기업이 모델 배포 전 검증 단계에서 여러 성능 지표를 병행하는 이유도 여기에 있다고 이해했다.^[6]

이를 정리하면 다음과 같다.

이 비교를 통해 AI 개발자의 역할도 다시 보게 되었다. 처음에는 성능이 높은 모델을 만드는 일이 핵심이라고 생각했지만, 이제는 모델을 안전하게 해석하고 사용할 수 있도록 검증하는 일까지 포함된다고 판단하게 되었다. 즉 AI 개발은 정답률 경쟁을 넘어서, 현장에서 인간이 그 출력을 어느 정도 믿어도 되는지 기준을 설계하는 작업과 연결된다. 이 관점은 다음 4절에서 공개 분류 자료를 비교할 때도 그대로 적용되며, 같은 정확도라도 왜 신뢰도 차이가 나는지 해석하는 기준이 된다.