챕터 7. 검증과 증거: 다른 AI의 의견이 아니라 외부 증거를 쓴다
한 번은 자료 요약 루프에 검증 단계를 붙였다고 안심하고 자리를 비웠다. 초안을 만드는 AI가 있고, 그 초안을 검토하는 다른 AI가 있으니 이만하면 됐다고 여겼다. 돌아와 결과를 보니 검토 AI는 “정확하고 잘 정리됐다”는 평가를 붙여두었다. 그런데 그 요약 안에는 원문에 없는 숫자가 하나 섞여 있었다. 검토 AI는 그것을 자신 있게 통과시켰다.
검증 단계를 붙였다는 사실만으로는 부족했다. 다른 AI의 “괜찮다”는 평가와 원문 대조 기록은 같은 검증이 아니다. 무엇에 근거했는지가 신뢰도를 가른다.
다른 AI의 의견은 출발점일 뿐이다
전작에서 우리는 만드는 역할과 검증하는 역할을 나누라고 배웠다. 같은 흐름에서 만든 결과를 곧바로 자기평가하면 오류를 합리화하기 쉬우니, 별도 지시나 별도 실행자에게 검토를 맡기라는 것이었다. 이 원칙은 여전히 유효하다. 하지만 검토자를 하나 더 세우는 것만으로 검증이 완성되지는 않는다.
두 검토자가 같은 자료와 모호한 평가 기준에 기대면, 서로 다른 모델이어도 비슷한 맹점을 공유할 수 있다. 반대로 같은 모델을 쓰더라도 독립적인 테스트나 원문 대조를 별도 단계로 실행하면 검증은 강해진다. 모델의 이름보다 판단 근거의 독립성이 중요하다. 예를 들어 만드는 AI가 지어낸 숫자를 검토 AI가 그럴듯하다는 이유로 승인하는 상황도 생길 수 있다.
이것은 더 좋은 AI를 쓴다고 저절로 해결되는 문제가 아니다. 성능이 높은 모델도 같은 불완전한 자료와 모호한 평가 기준에 기대면 같은 함정에 빠질 수 있다. 오스마니 역시 별도 AI 검토가 도움이 되지만, 그 자체로 인간의 판단이나 실제 검증을 완전히 대신하지는 못한다고 지적한다.[주 5] 문제는 성능만이 아니라 근거에 있다. 검토 AI가 무엇에 기대어 판단하는지가 핵심이다. 그것이 자기 판단이나 다른 AI의 인상이라면, 아무리 여럿을 세워도 인상의 합의에 머물 수 있다.
검증은 외부 증거에 기대야 한다
그래서 검증에는 위계가 있다. 다른 AI의 의견보다 외부 증거가 위다.
외부 증거란 현재 AI 출력의 자기평가와 분리돼 있고, 사람이 다시 확인할 수 있는 참조물이다. 이 책에서는 편의상 다섯 범주로 묶는다. 원문, 원본 숫자, 미리 승인한 규칙, 체크리스트, 실행 결과. 요약이 맞는지는 원문과 대조하고, 계산이 맞는지는 원본 숫자와 맞춰본다. 형식은 정해둔 규칙과 대조하고, 빠진 항목은 체크리스트로 확인한다. 코드나 수식이 작동하는지는 실제로 돌려본 결과를 본다. 이 다섯 범주가 업계의 표준 분류이거나 가능한 증거의 전부라는 뜻은 아니다.
이 다섯 가지의 공통점은, AI가 “그렇다고 생각한다”는 말에서 벗어나 대조 과정을 다시 확인할 수 있게 해준다는 것이다. 다만 외부 증거가 곧 절대적 진실은 아니다. 원문이나 원본 데이터 자체가 틀릴 수도 있고, 체크리스트가 부족할 수도 있다. 증거의 역할은 무오류를 보장하는 것이 아니라, 무엇을 근거로 판정했는지 추적 가능하게 만드는 데 있다. 내 요약에 섞인 가짜 숫자는 검토 AI의 인상으로는 걸러지지 않았지만, 원문과 한 줄씩 대조했다면 근거 문장이 없다는 사실을 드러낼 수 있었다.
업무마다 쓸 수 있는 증거가 다르다. 리서치 요약이라면 원문 링크가 증거가 되고, 정산이라면 원본 명세의 숫자가 그 역할을 한다. 문서 검수라면 정해둔 표기 규칙이 증거이며, 콘텐츠라면 쓰면 안 되는 표현의 목록이 잣대가 된다. 자기 업무에서 무엇이 외부 증거가 될 수 있는지를 찾는 것이, 믿을 만한 루프를 만드는 첫걸음이다. 증거를 찾을 수 없는 일이라면, 앞서 4장에서 본 대로 애초에 루프를 걸 자리가 못 된다.
증거 레지스터 만들기
검증 단계가 있어도 어떤 자료를 기준으로 삼는지 적지 않으면 실행할 때마다 잣대가 바뀐다. 증거 레지스터는 검증 항목과 기준 자료를 연결한 표다.
| 검증 항목 | 기준 자료 | 대조 방법 | 통과 조건 | 실패 시 행동 |
|---|---|---|---|---|
| 요약 속 수치 | 원문 보고서 | 수치와 단위를 원문에서 검색 | 값·단위·기준 기간이 모두 일치 | 해당 문장 재작성 |
| 보고서 합계 | 원본 데이터 | 항목 합계를 다시 계산 | 원본 합계와 일치 | 계산 재실행 후 이관 |
| 필수 항목 | 승인된 체크리스트 | 항목별 존재 여부 확인 | 모든 필수 항목 존재 | 누락 부분만 보완 |
| 게시물 표기 | 브랜드 표기 규칙 | 금칙어·고유명사 대조 | 위반 0건 | 수정안 생성 후 재검사 |
증거 레지스터를 만들 때는 출처의 위치와 버전도 적는다. “회사 규정과 대조”만 쓰면 어떤 규정인지 알 수 없다. “2026-06-01 승인된 표기 규칙 v3의 2~4항과 대조”처럼 다시 찾아갈 수 있어야 한다. 원본이 갱신되면 레지스터의 버전도 함께 바꾼다.
검증 기록에는 최소한 네 요소를 남긴다.
무엇을 검사했는가 / 무엇과 대조했는가 / 어떤 차이가 있었는가 / 그래서 어떤 판정을 내렸는가
예를 들면 다음과 같다.
월간 보고서 2쪽의 매출 합계를 원본 데이터 2026-06 시트 B열과 재계산했다. 보고서 12,450,000원, 원본 12,540,000원으로 90,000원 차이가 났다. 수치 불일치로 통과시키지 않고 계산 단계로 돌려보냈다.
“검증을 통과했다”는 말의 함정
여기서 흔한 함정 하나를 짚어야 한다. AI가 “검증을 통과했습니다”라고 말할 때, 그 말 자체는 증거가 아니다.
AI에게 “이 결과를 검증해줘”라고 하면 대부분 “검증한 결과 문제없습니다”라는 답이 돌아온다. 이 답은 검증의 결과처럼 보이지만, 실제로는 AI의 인상일 뿐이다. 무엇과 대조했는지, 어떤 항목을 확인했는지가 없다면, 그것은 “괜찮아 보인다”의 다른 표현에 지나지 않는다.
그래서 검증을 설계할 때는 통과 여부만 묻지 않는다. 무엇과 대조했는지를 함께 남기게 한다. “원문 3번 문단과 대조한 결과, 요약의 두 번째 문장의 수치가 원문과 일치하지 않음.” 이런 식으로 대조의 근거가 함께 기록되면, 그 검증은 인상이 아니라 확인이 된다. 통과라는 선언이 아니라, 대조라는 행위가 기록으로 남아야 한다.
두 가지 검증 기록을 나란히 놓으면 차이가 분명하다. “검토 결과 정확합니다”는 아무 근거가 없다. 무엇을 봤는지, 무엇과 맞췄는지가 없으니 확인할 길이 없다. 반면 “표의 다섯 항목을 원본과 대조, 셋째 항목의 합계가 원본과 100 차이남”은 근거가 있다. 어디를 어떻게 맞췄는지가 적혀 있어, 사람이 그 대조를 다시 짚어볼 수 있다. 앞의 것은 믿어달라는 말이고, 뒤의 것은 확인해보라는 기록이다.
이것이 전작의 생성-검증 분리에서 한 걸음 더 나아간 지점이다. 전작은 누가 검증하느냐를 물었다. 이 책은 무엇을 근거로 검증하느냐를 묻는다. 사실과 형식을 다루는 업무에서는 검증 단계를 나누는 것에서 시작해, 그 검증이 현재 출력과 독립된 증거에 기대게 해야 무인 실행의 신뢰도를 높일 수 있다.
검증 결과만으로 루프는 움직이지 않는다. 통과하면 끝낼지, 부족하면 다시 돌릴지, 사람이 볼지를 정해야 한다. 이 판정 규칙이 다음 장의 주제다.
