프롤로그. 화면에 표시된 87퍼센트는 무엇을 뜻하는가
화면에는 87퍼센트라고 적혀 있었다.
숫자는 크고 선명했다. 설명은 짧았다. ‘위험 가능성 87퍼센트.’ 담당자는 그 수치를 보고 검토 순서를 바꾸었다. 어떤 사람은 추가 서류를 요청받았고, 어떤 거래는 잠시 멈췄으며, 어떤 콘텐츠는 화면 위쪽으로 올라갔다. 숫자 하나가 다음 행동을 정하는 것처럼 보였다.
그런데 이 87퍼센트는 정확히 무엇을 뜻할까.
실제로 문제가 있을 확률이 87퍼센트라는 뜻일 수 있다. 비슷한 사례들과 비교했을 때 위험한 쪽에 가깝다는 점수일지도 모른다. 내부에서만 쓰는 우선순위일 수도 있다. 0부터 100 사이로 바꾸어 표시했을 뿐, 현실의 발생 확률과는 직접 대응하지 않는 값일 가능성도 있다. 같은 87퍼센트라도 시스템마다 의미는 전혀 다르다.
우리는 숫자가 구체적일수록 그 의미도 분명하다고 느낀다. 87이라는 값은 ‘높다’와 ‘낮다’보다 정밀해 보인다. 소수점이 붙으면 더 과학적으로 보인다. 하지만 숫자의 자릿수는 그 숫자가 현실과 얼마나 잘 맞는지를 보장하지 않는다. 무엇을 측정했는지, 어떤 데이터에서 계산했는지, 무엇과 비교했는지, 어느 기준에서 행동으로 바꾸는지를 알지 못하면 87퍼센트는 구체적인 모양을 가진 모호한 값일 뿐이다.
결과가 결정이 되는 순간
모델의 출력은 화면에 표시되는 순간 끝나지 않는다.
어떤 조직에서는 점수가 높은 순서대로 사람이 다시 살펴본다. 어떤 조직에서는 일정 점수 이상이면 자동으로 다음 절차가 시작된다. 추천 결과는 사용자가 무엇을 볼지 바꾸고, 생성형 AI의 초안은 보고서와 공지문에 들어간다. 이 단계에서 모델의 결과는 현실의 일부가 된다.
중요한 변화는 모델이 맞거나 틀리는 데서만 생기지 않는다. 결과를 받은 사람이 어떻게 반응하는지에 따라 새로운 행동과 데이터가 만들어진다. 추천받은 상품이 더 많이 노출되면 더 많은 클릭이 쌓이고, 위험하다고 분류된 사람에게 추가 절차를 요구하면 이후 기록도 달라진다. 모델은 현실을 관찰하는 데 그치지 않고, 자신이 다음에 관찰할 현실에도 영향을 줄 수 있다.
그래서 AI 결과를 평가할 때는 모델 파일만 보면 충분하지 않다. 결과를 보여주는 화면, 점수를 행동으로 바꾸는 규칙, 사람 검토자의 권한, 오류를 수정할 절차까지 함께 봐야 한다. 모델이 평균적으로 잘 맞더라도 자동 적용 범위가 지나치게 넓으면 작은 오류가 큰 피해로 이어질 수 있다. 반대로 한계를 알고 낮은 위험 업무에서 보조적으로 사용한다면 완벽하지 않은 모델도 충분히 유용할 수 있다.
이 책에서 ‘판단’이라는 단어는 모델이 인간처럼 숙고한다는 뜻으로 사용하지 않는다. 입력을 받아 학습된 관계에 따라 결과를 계산하고, 그 결과가 사람과 조직의 절차를 거쳐 행동으로 이어지는 전체 과정을 가리킨다. 모델 출력과 현실에서 집행되는 결정을 구분하기 위해서다.
독자가 해야 할 일도 모델의 모든 계산을 다시 수행하는 것이 아니다. 업무를 사용하는 사람, 기획하는 사람, 승인하는 사람, 결과의 영향을 받는 사람은 서로 다른 질문을 던질 수 있다. 공통적으로 필요한 것은 시스템이 말할 수 있는 범위를 넘어서 해석하지 않는 태도다.
문장으로 감춰지는 같은 문제
생성형 AI는 숫자 대신 문장으로 같은 문제를 감춘다.
질문을 입력하면 몇 초 안에 문장이 나온다. 표현은 자연스럽고, 구조는 정돈되어 있으며, 이유까지 설명한다. 문장이 망설임 없이 이어지면 우리는 그 답이 사실에 근거해 만들어졌다고 느끼기 쉽다. 그러나 자연스러운 문체는 사실성의 증명서가 아니다. 답변에 포함된 문장 하나하나가 어떤 자료에서 왔는지, 모델이 무엇을 근거로 삼았는지, 틀릴 가능성이 어느 정도인지가 유창함 속에 자동으로 표시되는 것은 아니다.
숫자와 문장은 모양이 다르지만 공통점이 있다. 둘 다 모델이 내놓은 결과다. 그리고 결과가 만들어지는 과정에는 보이지 않는 선택들이 들어 있다.
어떤 현실을 데이터로 남겼는가.
무엇을 정답이라고 불렀는가.
어떤 오류를 더 크게 보았는가.
어느 점수부터 위험이라고 처리했는가.
어떤 사람에게는 자동으로 적용하고, 어떤 사람에게는 사람이 다시 확인했는가.
시간이 지나 환경이 바뀌었을 때 다시 시험했는가.
이 질문에 답하지 않은 채 결과만 보면 모델은 현실을 직접 읽고 결론을 내리는 존재처럼 보인다. 추천 서비스는 내 취향을 알고, 위험 예측 시스템은 나의 미래를 알고, 생성형 AI는 질문의 뜻과 정답을 알고 있는 것처럼 느껴진다.
하지만 모델이 직접 다루는 것은 사람 전체나 현실 전체가 아니다. 시스템에 기록된 입력이다. 클릭, 구매, 문장, 이미지, 센서값, 신청서 항목, 과거의 판정처럼 수집 가능한 흔적이다. 모델은 그 흔적 안에서 어떤 입력이 어떤 결과와 함께 나타났는지 계산한다. 새로운 입력이 들어오면 과거에 학습한 관계를 적용해 점수, 범주, 순위 또는 문장을 만든다.
이 과정은 분명 강력하다. 사람이 일일이 규칙을 적기 어려운 문제를 처리하고, 많은 사례에서 반복되는 관계를 찾아내며, 일정한 속도로 결과를 낼 수 있다. 그렇다고 모델이 현실의 원리를 그대로 발견했다고 말할 수는 없다. 데이터에 우연히 함께 나타난 관계를 사용하기도 한다. 과거에는 유효했지만 지금은 의미가 바뀐 신호를 붙잡기도 한다. 평균적으로 잘 맞으면서 특정 집단이나 드문 사례를 반복해서 놓칠 수도 있다. 높은 정확도를 보이면서 자신이 제시한 확률은 지나치게 확신에 차 있을 수도 있다.
같은 답도 쓰이는 곳에 따라 달라진다
AI 결과의 신뢰도는 모델만으로 결정되지 않는다. 같은 출력도 어디에 어떻게 사용하는지에 따라 의미와 위험이 달라진다.
생성형 AI가 회의 제목 후보를 잘못 제안했다면 사용자는 마음에 들지 않는 제목을 버리면 된다. 같은 모델이 존재하지 않는 판례를 인용한 법률 검토 초안을 만들었다면 문제는 훨씬 커진다. 사진 분류 모델이 개인 앨범의 고양이 사진을 놓친 것과, 의료 영상에서 이상 소견을 놓친 것도 같은 오류로 취급할 수 없다.
따라서 “이 모델은 정확한가”라는 질문만으로는 부족하다.
- 결과가 틀렸을 때 발견하기 쉬운가?
- 사람이 수정할 수 있는가?
- 자동으로 실행되는가?
- 불이익을 받은 사람이 이의를 제기할 수 있는가?
- 잘못된 결정을 되돌릴 수 있는가?
- 한 번의 오류가 얼마나 많은 사람에게 퍼지는가?
낮은 위험의 초안 작성에서는 사람이 결과를 선택하고 버리는 과정 자체가 안전장치가 될 수 있다. 그러나 채용 탈락, 대출 거절, 의료 우선순위, 공공 지원 제외처럼 사람의 권리와 기회에 영향을 주는 결정에서는 모델의 평균 성능만으로 사용을 정당화할 수 없다. 더 엄격한 데이터 검증, 오류 분석, 사람 재검토, 설명과 이의 제기, 운영 중단 기준이 필요하다.
이 책은 모든 분야에 하나의 신뢰 점수를 붙이지 않는다. 대신 과제의 위험과 사용 방식에 맞춰 질문의 강도를 조절한다. 아이디어 초안에는 가벼운 검토로 충분할 수 있지만, 사실 보고서에는 출처 확인이 필요하다. 자동 실행 시스템에는 승인·로그·롤백이 필요하다. 중요한 것은 모델의 이름이나 규모가 아니라, 결과가 현실에 미치는 영향과 그 영향을 통제할 수 있는 구조다.
그래서 이 책은 “AI를 믿어도 되는가”라는 질문에 예 또는 아니오로 답하지 않는다.
모든 AI를 믿으라는 답은 현실적이지 않다. 모든 AI를 의심하라는 답도 도움이 되지 않는다. 같은 모델도 어떤 업무에서는 유용한 보조 도구가 되고, 다른 업무에서는 위험한 자동 결정 장치가 될 수 있다. 오타를 정리하는 일과 치료 방법을 권하는 일은 같은 기준으로 평가할 수 없다. 상품 후보를 넓히는 추천과 복지 대상자를 제외하는 판정에는 서로 다른 오류 비용이 따른다.
믿을지 말지를 한 번에 결정하는 것이 아니라 어디까지 믿을지를 정해야 한다.
그 범위를 정하려면 최소한 일곱 가지를 물어야 한다.
첫째, 이 시스템은 무엇을 예측하거나 생성하는가.
둘째, 어떤 데이터와 정답으로 학습했는가.
셋째, 이 성능은 무엇과 비교해 좋은가.
넷째, 어떤 오류를 더 많이 내며 그 비용은 누구에게 돌아가는가.
다섯째, 시험 환경과 실제 사용 환경은 얼마나 같은가.
여섯째, 모델 결과는 어떤 임계값과 업무 규칙, 사람의 검토를 거쳐 실제 결정이 되는가.
일곱째, 운영 중 틀렸을 때 누가 발견하고 멈추고 되돌릴 수 있는가.
이 질문에 답하기 위해 모델 내부의 모든 수학을 알아야 하는 것은 아니다. 대신 숫자와 용어를 정확히 구분해야 한다. 점수와 확률은 같은 것이 아니다. 정확도와 믿을 만한 확률도 다르다. 예측에 도움이 되는 변수와 현실을 바꾸는 원인도 다르다. 사람이 마지막 버튼을 눌렀다는 사실과 사람이 실질적으로 판단했다는 사실 역시 다르다.
앞으로 우리는 기계가 무엇을 배우는지부터 시작해, 현실이 어떻게 데이터와 정답으로 바뀌는지, 분류·회귀·추천과 같은 문제 유형마다 어떻게 다르게 실패하는지, 정확도 95퍼센트가 실제로 무엇을 뜻하는지, 시험에서 잘 맞은 모델이 현실에서 무너지는 이유와 생성형 AI의 열린 답변을 평가하는 방법을 차례로 살펴볼 것이다. 마지막에는 모델의 출력을 실제 결정에 사용할 때 사람과 조직이 무엇을 설계해야 하는지 다룬다.
출발점은 단순하다.
화면에 87퍼센트가 나타났을 때 그 숫자를 곧바로 믿거나 버리지 않는 것. 먼저 그 숫자가 어떻게 만들어졌고 무엇까지 말할 수 있는지 묻는 것.
이 책을 읽는 동안 모든 질문에 완벽한 답을 얻지 못할 수도 있다. 중요한 데이터가 공개되지 않았거나, 모델 공급자가 평가 조건을 충분히 설명하지 않았거나, 실제 운영 결과가 아직 쌓이지 않은 경우도 있다. 그때 ‘모른다’는 결론은 실패가 아니다. 확인되지 않은 부분을 확인된 사실처럼 사용하지 않는 것 역시 판단 기준의 일부다.
완벽한 설명을 기다리기보다, 지금 확인할 수 있는 조건과 아직 모르는 조건을 구분하는 데서 신뢰는 시작된다.
그 질문이 기계의 판단을 다루는 첫 번째 판단이다.
