문서가 거의 끝났다고 느끼는 순간이 가장 위험하다. 문단은 채워졌고, 표도 있고, 결론도 있다. AI가 만든 문장은 자연스럽고, 사람이 고친 문장은 더 매끄럽다. 이제 보내기만 하면 될 것 같다. 바로 그때 검증이 필요하다.
검증은 불신과 다르다. AI를 믿지 말자는 태도가 아니다. 내가 만든 결과물이 독자에게 넘어가기 전에, 사실과 출처와 일반화의 범위를 확인하는 작업이다. 글의 표면이 매끄러울수록 검증은 더 필요하다. 이상한 문장은 쉽게 걸리지만, 그럴듯한 오류는 문장 속에 숨어 지나간다.
이 장의 검증은 세 가지 오류를 본다. 사실 오류, 출처 창작, 과잉 일반화. 셋은 서로 닮았지만 처리 방식이 다르다. 사실 오류는 맞고 틀림을 확인해야 한다. 출처 창작은 근거의 존재를 확인해야 한다. 과잉 일반화는 말할 수 있는 범위를 줄여야 한다.
오류 1. 사실 오류
사실 오류는 가장 익숙한 오류다. 날짜, 이름, 수치, 제도, 기능, 인용, 가격 같은 것이 틀리는 경우다. AI는 자연스러운 문장 속에 틀린 사실을 넣을 수 있다. 문장이 자연스럽다고 사실이 맞아지는 것은 아니다.
예시 작업으로 돌아가보자. 교육 서비스 상세페이지를 고치던 중 AI가 이런 문장을 만들었다고 하자.
AI 출력 예시 수강생의 80퍼센트가 중도 포기 없이 과정을 마쳤고, 복습 자료를 활용한 학습자는 평균 학습 시간이 절반으로 줄었다.
이 문장이 실제 자료에서 나온 것이라면 쓸 수 있다. 자료가 없다면 바로 위험해진다. 숫자는 신뢰를 주는 동시에 책임을 만든다. 출처 없는 숫자는 문장을 단단하게 보이게 하지만, 실제로는 가장 먼저 무너질 수 있는 부분이다.
사실 오류를 잡는 첫 기준은 “내가 확인한 자료에 있는가”다. 검색하면 나올 것 같은 말, 업계에서 흔히 말하는 수치, 누군가 그랬을 법한 인용은 근거가 아니다. 원자료, 내부 데이터, 공개 문서, 직접 확인한 기록 중 하나가 있어야 한다.
사실을 확인하지 못하면 문장을 줄인다. “80퍼센트가 완주했다”를 “완주율을 높이기 위해 복습 경로를 제공한다”로 바꾸는 식이다. 숫자를 지우면 문장이 약해지는 것이 아니라 정직해진다. 확인하지 못한 강함보다 확인 가능한 약함이 낫다.
오류 2. 출처 창작
출처 창작은 더 까다롭다. AI는 실재하는 듯한 논문 제목, 저자명, 기관 보고서, 기사 링크를 만들어낼 수 있다. 사용자는 제목이 그럴듯하면 넘어가기 쉽다. 특히 본문 흐름에 잘 맞는 출처일수록 더 위험하다.
이 책에서는 연구 인용을 다룰 때 확인한 자료만 쓴다. 예를 들어 생성형 AI가 창의성을 높이면서 결과물의 다양성을 낮출 수 있다는 논의는 Doshi와 Hauser의 2024년 연구에 기대어 말한다. AI 사용 공개가 평가에 미치는 영향은 Li 등 2024년 연구처럼 확인된 자료를 기준으로 둔다. 확인하지 않은 출처는 본문에 넣지 않는다.
출처가 있는 문장을 볼 때는 세 가지를 확인한다.
| 확인 항목 | 볼 것 |
|---|---|
| 존재 | 실제 논문, 보고서, 기사인가 |
| 내용 | 내가 쓰려는 주장과 정말 같은 말인가 |
| 범위 | 연구의 맥락을 벗겨내고 확대하지 않았는가 |
존재만 확인해도 부족하다. 실재하는 연구를 엉뚱한 주장에 붙이는 경우가 있다. 예를 들어 AI 도움을 받은 글들이 서로 더 비슷해졌다는 연구를 보고 “AI 글은 모두 나쁘다”라고 쓰면 과잉 해석이다. 연구가 말한 범위를 넘어섰다.
출처 창작을 막는 가장 좋은 방법은 서지 장부를 따로 두는 것이다. 본문을 쓰는 파일과 근거를 확인하는 파일을 나눈다. 본문 안에서는 연구자와 연도만 간결하게 쓰고, 전체 서지는 부록으로 보낸다. 이렇게 하면 글을 쓰는 중에 근거가 흐려지는 일을 줄일 수 있다.
오류 3. 과잉 일반화
과잉 일반화는 틀린 사실보다 더 오래 살아남는다. 문장이 너무 그럴듯하기 때문이다. “AI를 쓰면 창의성이 떨어진다”, “AI 공개는 신뢰를 낮춘다”, “좋은 프롬프트가 좋은 결과를 만든다” 같은 말은 일부 맥락에서는 맞을 수 있다. 그러나 그대로 넓히면 위험하다.
과잉 일반화는 대개 세 단어로 시작된다. 모두, 항상, 결국. 이 단어들이 보이면 멈춘다. 모든 독자, 모든 업종, 모든 글쓰기, 모든 AI 사용에 같은 규칙이 적용되는 경우는 드물다. 실무 글에서 필요한 것은 큰 결론보다 적용 범위다.
예를 들어 AI 사용 공개 연구를 보자. 어떤 연구에서는 AI 지원 사실 공개가 글의 품질 평가를 낮출 수 있다고 나온다. 다른 연구에서는 뉴스 문맥에서 AI 보조나 AI 생성 글의 품질 평가가 인간 작성 글과 비슷하게 나타났고, 공개 후 단기적 읽기 의향이 올라갈 수 있었다. 방향이 하나로만 모이지 않는다.
그렇다면 본문은 이렇게 써야 한다. “AI를 썼다고 밝히면 신뢰가 떨어진다”가 아니다. “공개 방식과 문맥에 따라 평가가 달라질 수 있다”가 더 정확하다. 이 문장은 덜 자극적이지만 더 오래 버틴다. 검증은 문장을 약하게 만드는 일이 아니라 버틸 수 있는 범위로 줄이는 일이다.
5분 검증
시간이 거의 없을 때도 검증은 가능하다. 5분 검증은 빠른 발송 전 최소 방어선이다. 전체를 완벽히 확인하려는 방식이 아니다. 가장 위험한 부분만 잡는다.
| 순서 | 할 일 | 기준 |
|---|---|---|
| 1 | 숫자와 고유명사만 표시 | 날짜, 가격, 이름, 수치 |
| 2 | 출처 없는 숫자 삭제 또는 완화 | 확인 안 된 수치는 쓰지 않음 |
| 3 | 모두, 항상, 절대 같은 넓은 말 찾기 | 범위를 좁힘 |
| 4 | 독자가 바로 행동할 문장 확인 | 오해하면 비용이 큰 문장 |
| 5 | 마지막 문단의 약속 수위 확인 | 성과 보장 금지 |
5분 검증에서는 문체를 고치지 않는다. 문장을 예쁘게 만들려다 시간이 사라진다. 볼 것은 사실과 약속 수위다. 특히 숫자는 빠짐없이 표시한다는 마음으로 본다. 숫자는 작아 보여도 책임이 크다.
5분 검증 후에도 불안한 문장이 남으면 보내지 않는다. 시간이 없을수록 확인 못 한 문장을 강하게 쓰면 안 된다. “확인됐다”보다 “확인할 필요가 있다”가 맞을 때도 있다. 실무에서 신뢰는 빠른 확신보다 정확한 보류에서 생길 때가 많다.
30분 검증
30분이 있으면 문장보다 구조를 본다. 사실 확인에 더해, 근거와 주장 사이가 맞는지 확인한다. 문서의 핵심 주장 3개만 뽑아도 충분하다.
| 순서 | 할 일 | 기준 |
|---|---|---|
| 1 | 핵심 주장 3개 표시 | 문서가 독자에게 믿게 하려는 말 |
| 2 | 각 주장 옆에 근거 표시 | 내부 자료, 외부 출처, 직접 관찰 |
| 3 | 근거가 없는 주장은 표현 완화 | 주장보다 관찰로 낮춤 |
| 4 | 반대 관점 1개씩 붙이기 | 독자가 의심할 지점 |
| 5 | 출처 링크 또는 서지 장부 대조 | 실재 여부와 내용 일치 확인 |
| 6 | 결론의 범위 줄이기 | 말할 수 있는 만큼만 말함 |
30분 검증에서 가장 많이 고치는 부분은 결론이다. 초안의 결론은 대개 넓다. “따라서 AI 활용은 업무 생산성을 높이는 핵심 전략이다” 같은 문장은 그럴듯하지만 크다. 자료가 실제로 보여준 것이 회의록 정리 시간 단축뿐이라면, 결론도 그만큼으로 줄어야 한다.
보고서라면 30분 검증에서 “결정해야 할 것”과 “확인해야 할 것”을 나눈다. 이 둘이 섞이면 문서가 위험해진다. 확인이 필요한 내용을 결정 사항처럼 쓰거나, 결정된 내용을 아직 검토 중처럼 흐릴 수 있다. 검증은 사실뿐 아니라 상태를 확인하는 일이다.
2시간 검증
2시간 검증은 출간 원고, 유료 콘텐츠, 외부 공개 문서처럼 실수 비용이 큰 작업에 쓴다. 이때는 문서 전체를 다시 설계할 수도 있다는 마음이 필요하다. 검증 결과에 따라 문단을 버릴 준비가 되어 있어야 한다.
| 순서 | 할 일 | 기준 |
|---|---|---|
| 1 | 주장 목록 만들기 | 장 또는 문서 단위 핵심 주장 |
| 2 | 근거 등급 매기기 | 직접 자료, 공식 자료, 연구, 추정 |
| 3 | 출처 원문 확인 | 제목만 보지 않고 내용 확인 |
| 4 | 반대 근거 찾기 | 같은 주제의 다른 결과나 예외 |
| 5 | 인용 문장 다시 쓰기 | 연구 범위를 벗기지 않음 |
| 6 | 위험 문장 목록화 | 법적, 의료적, 금전적 오해 소지 |
| 7 | 최종 독자 관점으로 재독 | 독자가 행동으로 옮길 때 생길 위험 |
| 8 | 삭제 후보 결정 | 근거가 약한 문장 제거 |
2시간 검증은 시간이 오래 걸리지만 모든 문장을 같은 깊이로 보지는 않는다. 위험도가 높은 문장을 깊게 본다. 숫자, 연구 인용, 성과 약속, 비교 우위, 타인 평가, 법이나 정책 관련 문장. 이런 곳이 우선이다.
이 책의 경우 2시간 검증은 연구 서지와 AI 공개 논의에 필요하다. “AI 공개는 신뢰를 떨어뜨린다”처럼 단정하기 쉽지만, 실제 연구들은 더 복잡하다. 그래서 7장에서는 공개 여부보다 공개 방식으로 논점을 좁힌다. 검증이 목차의 방향까지 바꾸는 경우다.
멀티 모델 교차 검증의 원리
여러 AI 모델을 쓰면 검증이 더 좋아질까. 도구를 늘리는 것만으로 충분하지는 않다. 같은 질문을 여러 모델에 던지고 다수결을 하는 방식은 위험하다. 여러 모델이 같은 오류를 자연스럽게 반복할 수 있기 때문이다.
멀티 모델 교차 검증은 역할을 나눌 때 쓸모가 생긴다. 한 모델에게 요약을 맡겼다면, 다른 모델에게 반박을 맡긴다. 한 모델이 주장 목록을 뽑았다면, 다른 모델에게 근거가 약한 순서로 정렬하게 한다. 한 모델이 문장을 다듬었다면, 다른 모델에게 사실 확인 질문만 만들게 한다.
역할은 이렇게 나눌 수 있다.
| 역할 | 맡길 일 | 금지할 일 |
|---|---|---|
| 요약자 | 주장과 근거를 분리 | 결론 새로 만들기 |
| 반박자 | 약한 주장 찾기 | 문체 평가로 흐르기 |
| 검증 질문자 | 확인할 질문 목록 만들기 | 모르는 사실을 단정 |
| 독자 대역 | 오해할 지점 찾기 | 취향 평가만 하기 |
도구명은 중요하지 않다. 중요한 것은 같은 일을 여러 번 시키지 않는 것이다. 같은 렌즈를 여러 개 들이대면 같은 사각지대가 남는다. 요약, 반박, 질문, 독자 대역처럼 렌즈를 바꿔야 한다.
다만 AI에게 최종 확인을 맡기면 안 된다. AI는 검증 질문을 잘 만들 수 있지만, 공식 출처를 직접 확인한 책임은 작업자에게 남는다. 링크가 실제로 열리는지, 논문이 주장과 맞는지, 내부 수치가 최신인지, 정책이 바뀌지 않았는지 확인해야 한다. 검증은 도구의 일이 아니라 책임의 일이다.
검증 로그 남기기
검증을 하고도 기록하지 않으면 다음 작업에서 같은 불안이 반복된다. 짧은 로그면 충분하다.
검증 로그 문서명: 검증 날짜: 확인한 주장: 확인한 출처: 삭제한 문장: 완화한 표현: 남은 불확실성:
삭제한 문장을 남기는 것이 특히 좋다. 왜 지웠는지 기록하면 기준이 쌓인다. 다음번 AI 출력에서 비슷한 문장이 나오면 더 빨리 알아본다. 검증 로그는 6장에서 다룰 기준 축적의 재료가 된다.
검증 로그에 “남은 불확실성”을 적는 일도 중요하다. 모든 것을 확인할 수는 없다. 확인하지 못한 것이 무엇인지 아는 것과 모르는 척 넘어가는 것은 다르다. 불확실성을 적어두면 문장 수위를 낮출 수 있다. 때로는 본문이 아니라 각주나 주석으로 보낼 수도 있다.
보내기 전 마지막 문장
검증의 마지막 단계는 첫 문장이 아니라 마지막 문장이다. 글은 마지막에서 약속을 크게 만들기 쉽다. “이제 누구도 평균에 머물 필요가 없다” 같은 문장은 시원하지만 위험하다. 독자에게 무엇을 보장하는지 묻게 된다.
마지막 문장은 대개 줄이는 편이 낫다. “이제 다 된다”보다 “이제 무엇을 확인할지 안다”가 낫다. “결과가 달라진다”보다 “다음 출력 앞에서 볼 기준이 생긴다”가 낫다. 검증은 문장을 작게 만들지만, 작은 문장이 더 오래 간다.
5장의 기준은 하나로 모인다. 그럴듯함을 믿지 않는다. 대신 확인할 수 있는 것, 말할 수 있는 범위, 남겨야 할 불확실성을 나눈다. AI가 만든 초안이든 사람이 고친 문장이든, 검증을 지나야 독자에게 건넬 수 있다. 평균을 벗어나는 일은 개성만의 문제가 아니다. 책임의 문제이기도 하다.
검증 사례. 상세페이지 첫 문단
교육 서비스 상세페이지 예시를 끝까지 가져가보자. AI가 검증 전 초안을 이렇게 냈다고 하자.
AI 출력 예시 처음 시작하는 학습자도 중간에 놓치지 않도록 설계된 과정이다. 수강생 대부분이 복습 자료와 질문 피드백을 통해 끝까지 흐름을 따라갔고, 필요한 순간마다 다시 돌아볼 수 있는 학습 경로를 제공한다. 이제 혼자 막히는 시간을 줄이고 안정적으로 실력을 쌓을 수 있다.
문장은 괜찮아 보인다. 그러나 검증할 지점이 여럿 있다. “수강생 대부분”은 실제 데이터가 있는가. “질문 피드백”은 모든 과정에 제공되는가. “혼자 막히는 시간을 줄인다”는 확인된 효과인가, 기대 효과인가. 이 세 질문에 답하지 못하면 문장을 그대로 쓰면 안 된다.
5분 검증이라면 이렇게 줄인다.
5분 검증 후 중간에 놓쳤을 때 다시 따라올 수 있도록 복습 자료와 질문 경로를 함께 둔 과정이다. 신청 전에 가장 많이 나오는 걱정은 "못 따라가면 어떻게 하나"에 가깝다. 그래서 첫 안내는 성과 약속보다 돌아올 수 있는 구조를 보여주는 쪽에 맞춘다.
숫자와 효과 약속을 뺐다. “수강생 대부분”도 지웠고, “실력을 쌓을 수 있다”도 낮췄다. 문장이 덜 화려해졌지만 더 안전하다.
30분 검증이라면 운영 자료를 본다. 실제로 복습 자료가 모든 회차에 있는지, 질문 경로가 어느 시간 안에 답변되는지, 문의 기록에서 중간 이탈 불안이 반복됐는지 확인한다. 확인된 내용만 본문 근거로 남긴다. 확인되지 않은 것은 “운영 예정”이나 “검토 중”으로 낮추거나 삭제한다.
2시간 검증이라면 독자 오해까지 본다. “질문 경로”라는 말이 개인별 코칭처럼 읽히지는 않는가. “복습 자료”가 강의 전체 녹화인지, 요약 노트인지, 체크리스트인지 분명한가. “다시 따라올 수 있다”가 결과 보장처럼 들리지는 않는가. 검증은 사실만이 아니라 독자가 어떻게 받아들일지도 확인한다.
이 사례에서 최종 문장은 이렇게 갈 수 있다.
검증 후 문장 후보 처음 배우는 사람이 가장 자주 걱정하는 지점은 시작보다 중간이다. 이 과정은 놓친 부분을 다시 확인할 수 있도록 회차별 복습 자료와 질문 경로를 함께 둔다. 빠른 성과를 약속하기보다, 멈춘 자리로 돌아올 수 있는 구조를 먼저 보여준다.
이 문장은 초안보다 조용하다. 그러나 책임질 수 있는 범위 안에 있다. 검증은 문장의 온도를 낮춘다. 낮아진 온도는 때로 신뢰가 된다.
삭제가 검증의 결과일 때
검증을 하면 고칠 문장만 나오는 것이 아니다. 삭제해야 할 문장도 나온다. 특히 근거가 약한 수치, 실재 확인이 안 된 인용, 대상이 너무 넓은 약속은 삭제가 가장 좋은 처리일 때가 많다.
삭제는 아깝다. 자료를 찾느라 시간을 썼고, 문장도 그럴듯하게 이어져 있을 수 있다. 그래도 근거가 없으면 빼야 한다. “어디선가 본 것 같다”는 기억은 출처가 아니다. “업계에서 많이 말한다”는 감각도 출처가 아니다. 원고는 기억보다 기록에 기대야 한다.
삭제한 뒤 빈자리가 생기면 두 가지 중 하나를 고른다. 확인 가능한 작은 근거로 바꾸거나, 주장 자체를 낮춘다. “대부분의 학습자가 완주한다”는 근거가 없으면 “완주를 돕기 위한 복습 경로를 둔다”로 바꿀 수 있다. 결과에서 설계로 이동하는 방식이다.
검증 후 좋은 문장은 대개 덜 화려하다. 대신 나중에 설명할 수 있다. 왜 이 표현을 썼는지, 어떤 자료를 봤는지, 어디까지 말할 수 있는지 답할 수 있다. 설명 가능한 문장이 신뢰를 만든다.
검증을 습관으로 만드는 짧은 문장
검증을 매번 길게 할 수는 없다. 그래서 작업 전에 짧은 문장을 정해두면 좋다.
확인한 것만 강하게 쓴다. 확인하지 못한 것은 낮춰 쓴다. 불확실한 것은 남겨 둔다.
이 세 문장은 단순하지만 쓸모가 있다. 강하게 쓸 자격이 있는 문장과 낮춰야 할 문장을 가른다. 불확실성을 숨기지 않게 한다. AI가 만든 초안은 종종 모든 문장을 같은 확신으로 내놓는다. 작업자의 역할은 확신의 높이를 다시 조절하는 일이다.
5장을 닫으며 다시 말하면, 검증은 창의성을 죽이는 절차가 아니다. 오히려 좋은 문장이 오래 버티게 하는 바닥이다. 평균에서 벗어난 문장도 근거가 없으면 무너진다. 반대로 조용한 문장도 확인된 근거 위에 있으면 독자의 신뢰를 얻는다.
검증까지 마친 문장은 다음 작업의 재료가 된다. 3장에서 질문을 설계했고, 4장에서 문장을 골랐고, 5장에서 근거를 확인했다. 이제 남는 것은 이 과정을 한 번의 요령으로 끝내지 않고 반복 가능한 기준으로 쌓는 일이다. 다음 장의 출발점이 여기다.
