정확도가 같아도 확률의 신뢰도는 다르다

확률값의 신뢰도와 캘리브레이션

두 모델이 각각 100건의 사례를 예측했다. 둘 다 80건을 맞혔다. 정확도는 모두 80퍼센트다.

첫 번째 모델은 대부분의 사례에 55퍼센트에서 70퍼센트 사이의 확률을 제시했다. 두 번째 모델은 자신이 선택한 답에 거의 항상 90퍼센트 이상의 확률을 붙였다.

둘의 정확도는 같지만 두 번째 모델이 훨씬 자신만만하다. 그렇다면 두 번째 모델이 더 좋은 모델일까.

그렇지 않을 수 있다. 90퍼센트라고 말한 사례 가운데 실제로 60퍼센트만 맞았다면 이 모델의 확률은 현실보다 지나치게 높다. 정확도와 확률의 신뢰도는 서로 다른 문제다.

90퍼센트의 뜻은 한 사례에서 확인할 수 없다

어떤 환자에게 질병 가능성 90퍼센트가 나왔다고 해보자. 실제 결과는 질병이 있거나 없거나 둘 중 하나다. 한 사람의 결과만으로 90퍼센트라는 확률이 맞았는지 판단할 수 없다.

확률의 의미는 비슷한 예측을 받은 많은 사례에서 확인한다.

• 90퍼센트라고 예측된 사례 100건을 모은다.
• 실제로 사건이 발생한 사례를 센다.
• 약 90건에서 발생했다면 숫자와 실제 빈도가 비교적 잘 맞는다.
• 60건에서만 발생했다면 모델은 과도하게 확신했다.
• 98건에서 발생했다면 오히려 위험을 낮게 말한 셈이다.

이처럼 모델이 제시한 확률과 실제 발생 빈도가 얼마나 잘 맞는지를 캘리브레이션, 즉 확률값의 신뢰도라고 한다.

완벽하게 캘리브레이션된 모델이라면 20퍼센트라고 예측한 집단에서는 약 20퍼센트, 70퍼센트라고 예측한 집단에서는 약 70퍼센트, 90퍼센트라고 예측한 집단에서는 약 90퍼센트의 사건이 발생한다.

현실에서는 표본 수와 환경 변화 때문에 정확히 일치하지 않는다. 중요한 것은 확률이 높아질수록 실제 발생 빈도도 그에 맞게 움직이는지, 그리고 숫자가 체계적으로 과장되거나 축소되지 않는지 확인하는 것이다.

정확도와 캘리브레이션은 두 축이다

정확도는 “가장 가능성이 높다고 선택한 답을 얼마나 맞혔는가”를 본다.

캘리브레이션은 “제시한 확률이 실제 빈도와 얼마나 맞는가”를 본다.

그래서 다음 네 가지 조합이 모두 가능하다(그림 4-1).

1. 정확도도 높고 확률도 잘 맞는다.

2. 정확도는 높지만 지나치게 확신한다.

3. 정확도는 낮지만 확률은 비교적 정직하다.

4. 정확도도 낮고 확률도 믿기 어렵다.

정확도 높고 낮음과 캘리브레이션 좋고 나쁨을 조합한 2×2 매트릭스.

그림 4-1. 정확도와 캘리브레이션의 두 축 — 많이 맞히는 능력과 말한 확률이 실제 빈도와 맞는 능력은 별도 축이다.

캘리브레이션 곡선은 무엇을 보여주는가

캘리브레이션을 확인할 때 예측 확률을 여러 구간으로 나눌 수 있다.

마지막 구간의 평균 예측 확률이 약 80퍼센트였는데 실제 발생률이 63퍼센트라면 모델은 높은 점수 구간에서 과신하고 있을 가능성이 있다.

이 값을 그래프로 그리면 가로축은 모델의 평균 예측 확률, 세로축은 실제 발생 비율이 된다. 둘이 잘 맞으면 점들이 대각선에 가깝게 놓인다. 모델이 실제보다 높은 확률을 말하면 대각선 아래쪽에, 실제보다 낮게 말하면 위쪽에 나타난다. 이를 캘리브레이션 곡선이라고 하며, 신뢰도 곡선이라고도 부른다.

다만 구간을 어떻게 나누었는지, 각 구간에 사례가 몇 개 있는지 함께 봐야 한다. 90퍼센트 구간에 사례가 다섯 개뿐이라면 실제 비율은 크게 흔들릴 수 있다. 그래프가 깔끔해 보여도 표본이 작은 집단에서는 확신하기 어렵다.

그림 4-2의 신뢰도 곡선은 모델의 확률과 실제 빈도가 얼마나 대응하는지 보여준다.

완전 보정 기준선, 과신 곡선, 과소신뢰 곡선과 표본 수 막대를 함께 그린 그래프.

그림 4-2. 신뢰도 곡선 — 예측 확률과 실제 발생 비율이 대각선에 가까울수록 확률 해석이 잘 맞는다.

과신과 과소신뢰

과신

모델이 실제 적중률보다 높은 확률을 제시한다.

• 90퍼센트 예측 집단의 실제 적중률이 65퍼센트
• 틀린 답에도 매우 높은 확률
• 자동 조치가 과도하게 강해질 수 있음

과소신뢰

모델이 실제 적중률보다 낮은 확률을 제시한다.

• 60퍼센트 예측 집단의 실제 적중률이 85퍼센트
• 유용한 모델을 지나치게 조심스럽게 사용
• 사람 검토 업무가 불필요하게 늘 수 있음

둘 다 운영 문제를 만든다. 과신은 위험한 자동화를 늘리고, 과소신뢰는 자동화 가능한 사례까지 사람에게 보내 비용과 지연을 키울 수 있다.

캘리브레이션은 정확도를 높이는 기술이 아니다

학습된 모델의 확률을 실제 빈도에 더 잘 맞도록 조정하는 방법들이 있다. 그러나 캘리브레이션의 목적은 반드시 더 많은 답을 맞히는 것이 아니다. 이미 나온 점수의 의미를 현실의 발생 빈도에 더 가깝게 맞추는 데 있다.

순위가 좋은 모델은 캘리브레이션을 조정한 뒤에도 누가 더 위험한지의 순서를 유지할 수 있다. 반대로 확률이 잘 맞는다고 해서 분류 능력이 높은 것은 아니다. 모두에게 비슷한 기본 확률만 제시하는 모델은 평균적으로는 정직해 보일 수 있지만 개인 간 위험 차이를 잘 구분하지 못할 수 있다.

그래서 모델을 볼 때는 최소한 두 질문을 따로 해야 한다.

• 누가 더 가능성이 높은지 잘 구분하는가?
• 그 가능성을 말하는 숫자가 실제 빈도와 맞는가?

캘리브레이션은 “이 숫자의 확률 의미를 믿을 수 있는가”를, 임계값은 “이 숫자에서 어떤 행동을 시작할 것인가”를 묻는 서로 다른 질문이므로, 확률이 잘 맞아도 하나의 정답 임계값이 자동으로 생기지는 않는다.

집단과 시간에 따라 확률의 의미가 달라질 수 있다

전체 데이터에서 확률이 잘 맞아도 특정 집단에서는 다를 수 있다. 한 지역, 한 연령대, 한 기기에서 80퍼센트의 의미가 달라질 수 있다. 학습 당시에는 잘 맞았지만 시간이 지나 사건의 기본 비율이 바뀌면 캘리브레이션도 무너질 수 있다.

예를 들어 사기 거래의 전체 비율이 급격히 변하거나, 승인 정책이 바뀌거나, 사용자 행동이 달라지면 과거의 0.8이 현재의 0.8과 같은 위험을 뜻하지 않을 수 있다. 그래서 캘리브레이션은 출시 전에 한 번 확인하고 끝낼 수 있는 속성이 아니다.

생성형 AI의 자신감과 캘리브레이션

생성형 AI는 전통적인 이진 분류 모델보다 열린 형태의 답을 만든다. 답변에는 여러 문장과 여러 주장이 포함된다. 각 토큰의 생성 확률을 알 수 있다 해도 답변 전체의 사실성을 하나의 확률로 간단히 바꾸기는 어렵다.

또한 “확실합니다”, “가능성이 높습니다” 같은 문구는 언어로 생성된 표현일 수 있다. 모델이 스스로 말한 90퍼센트를 캘리브레이션된 사실 확률로 간주해서는 안 된다.

생성형 AI에서도 신뢰도를 평가하려는 시도는 가능하다. 정답이 명확한 과제에서 반복적으로 확신과 적중률을 비교하거나, 답변의 주장별 사실성을 별도로 검증할 수 있다. 그러나 분류 모델의 0.9와 생성형 답변의 자연어 자신감은 같은 종류의 값이라고 단순화하면 안 된다.

유창한 답변을 검토할 때는 확신 표현보다 다음을 먼저 본다.

• 근거가 제시되어 있는가?
• 출처가 실제로 존재하는가?
• 계산이나 코드가 재현되는가?
• 질문이 모호할 때 한계를 밝혔는가?
• 틀릴 가능성이 높은 영역에서 사람 검토를 요청하는가?

실제 업무에서 확인할 것

• 모델이 제시한 숫자를 실제 확률로 해석해도 되는가?
• 비슷한 확률 구간의 실제 적중률을 확인했는가?
• 정확도와 캘리브레이션을 따로 평가했는가?
• 높은 확률 구간에 충분한 사례가 있는가?
• 특정 집단이나 시점에서 확률의 의미가 달라지지 않는가?
• 임계값을 정할 때 캘리브레이션된 확률을 사용했는가?
• 생성형 AI의 자연어 자신감을 검증된 확률로 오해하지 않는가?

판단 카드 4

높은 예측 확률의 실제 적중 빈도를 확인한다.

한 문장 정리

90퍼센트라는 확률이 믿을 만한지는 그 숫자를 받은 많은 사례에서 실제로 약 90퍼센트의 사건이 발생했는지 확인해야 알 수 있다.