AI 참고문헌·판례를 믿으면 안 되는 이유

1장. AI 글쓰기의 딜레마

들어가며: 그 논문은 존재하지 않았다

2023년 봄, 미국 변호사 스티븐 슈워츠(Steven Schwartz)가 법정에서 망신을 당했다. 그는 ChatGPT를 이용해 Mata v. Avianca 소송을 준비했고, AI가 제시한 6개의 판례를 인용했다. 문제는 그 판례들이 모두 가짜였다는 것이다. 존재하지 않는 사건, 존재하지 않는 판사, 존재하지 않는 판결문. AI가 만들어낸 ‘그럴듯한 거짓말’이었다. 이 사건은 전 세계 언론에 대서특필되며 AI 환각 문제를 수면 위로 끌어올렸다.

비슷한 일이 학계에서도 일어나고 있다. 대학원생 A씨는 학위논문의 문헌 검토를 ChatGPT에게 맡겼다. AI는 친절하게도 20개의 참고문헌을 정리해주었다. 하지만 지도교수가 원문을 확인해보니, 절반 이상이 실제로 존재하지 않는 논문이었다. 저자명, 저널명, 출판연도까지 완벽하게 갖추었지만, 그 논문들은 AI의 상상 속에만 존재했다.

“AI로 글을 쓰고 싶지만, 표절과 오류가 두렵다면?”

이 질문이 바로 이 책의 출발점이다.

1.1 환각(Hallucination)의 함정

그럴듯한 거짓말의 메커니즘

ChatGPT, Claude, Gemini 같은 생성형 AI는 놀라운 능력을 가지고 있다. 유창한 문장을 만들고, 복잡한 개념을 설명하며, 창의적인 아이디어를 제안한다. 하지만 이들에게는 치명적인 약점이 있다. 바로 ‘환각(Hallucination)’이다.

환각이란 AI가 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 말하는 현상이다. 왜 이런 일이 발생할까?

생성형 AI는 방대한 텍스트 데이터를 학습해서 ‘다음에 올 가장 적절한 단어’를 예측하는 방식으로 작동한다. 쉽게 말해, AI는 ‘사실을 아는 것’이 아니라 ‘그럴듯해 보이는 것’을 생성한다. 적절한 제약이 없으면, 많은 시스템이 “모르겠습니다”라고 답하는 대신 패턴에 맞는 내용을 ‘창작’해버린다.

실제 피해 사례

사례 1: 학술계 – 가짜 참고문헌

여러 연구에서 ChatGPT가 생성한 참고문헌 중 상당수가 허구로 밝혀진 바 있다. 의료·심리학 등 일부 분야를 대상으로 한 실험에서는 AI가 생성한 참고문헌 중 약 20~30%가 완전히 허구인 것으로 나타났다. 저널 이름은 실제로 존재했지만, 해당 논문은 출판된 적이 없었다. 형식은 완벽했지만 내용은 창작물이었다. 특히 의료·심리학 등 일부 분야에서는 허구 인용 비율이 더 높게 나타나기도 했다.

사례 2: 저널리즘 – 조작된 인용문

여러 매체에서 AI 생성 기사 속 잘못된 인용문·사실 오류 사례가 보고되었다. 실제로 한 온라인 매체의 AI 생성 기사에서, 인용된 전문가가 “그런 말을 한 적이 없다”고 항의한 일이 있었다. AI가 전문가의 이름과 소속은 정확히 기재하면서 발언 내용만 창작한 것이다. 이름은 진짜, 말은 가짜—가장 위험한 조합이다.

사례 3: 비즈니스 – 허위 통계

한 스타트업이 투자 유치를 위한 시장 분석 보고서를 AI로 작성했다. 보고서에는 구체적인 시장 규모와 성장률이 포함되어 있었다. 하지만 투자자가 출처를 확인해보니, 그런 통계를 발표한 기관 자체가 존재하지 않았다. 투자 논의는 그 자리에서 중단됐다.

왜 이런 일이 계속 발생하는가

문제의 핵심은 학습 데이터와 실시간 정보의 괴리다.

• ChatGPT는 특정 시점까지의 데이터만 학습한다
• 학습 후 발표된 논문, 뉴스, 통계는 알지 못한다
• 그럼에도 질문을 받으면 ‘답을 만들어낸다’

더 심각한 문제는 AI가 자신의 한계를 인정하지 않는다는 점이다. “이 정보는 확실하지 않습니다”라고 말하는 대신, 마치 확신에 찬 전문가처럼 대답한다. 사용자는 AI의 자신감에 속아 그 정보를 그대로 믿게 된다.

1.2 출처 없는 글의 위험성

학술 글쓰기에서 출처의 의미

그림 1-2. 비효율적인 검증 사이클

학술 글쓰기에서 출처는 단순한 형식이 아니다. 그것은 지적 정직성의 증거다.

출처를 밝힌다는 것은:
– 내 주장이 어떤 근거에 기반하는지 보여주는 것
– 독자가 원문을 직접 확인할 수 있게 하는 것
– 학문적 대화에 참여하는 방식을 보여주는 것

AI가 생성한 글에 출처가 없다면, 독자는 그 정보를 어떻게 검증할 수 있을까? 사실상 검증이 불가능하다.

팩트 체크의 비용

AI가 작성한 글을 검증하는 데는 상당한 비용이 든다.

만약 AI가 작성한 3,000단어 글에 20개의 사실 주장이 포함되어 있다면, 이를 모두 검증하는 데 최소 3-4시간이 소요된다. 이 정도면 차라리 처음부터 직접 조사하는 것이 나을 수도 있다.

AI가 쓴 글 = 검증 필수의 현실

현재 AI 글쓰기의 현실은 이렇다:

AI 작성 -> 출처 불분명 -> 전수 검증 필요 -> 시간/비용 증가

이 사이클은 AI 글쓰기의 효율성을 심각하게 저해한다. “빨리 쓰려고 AI를 썼는데, 검증하느라 더 오래 걸렸다”는 하소연이 나오는 이유다.

[TIP] 핵심 메시지: 출처 기반 AI는 검증을 쉽게 해줄 뿐, 최종 책임은 작성자에게 있다. 어떤 AI를 쓰든, 최종 검증과 판단은 인간의 몫이다.

[!] 균형 관점: 이 책에서 소개할 Perplexity는 ‘빠른 방향 제시’에 강하지만, 그것이 ‘최종 근거’가 될 수는 없다. 출처가 제공된다는 것은 검증을 ‘쉽게’ 해줄 뿐, 검증을 ‘대신’ 해주는 것이 아니다.

1.3 연구자가 원하는 것

이상적인 리서치 도구

그림 1-1. 기존 AI vs 출처 기반 AI 비교

연구자, 대학원생, 콘텐츠 크리에이터가 AI에게 진정으로 원하는 것은 무엇일까?

1. 빠른 자료 탐색
– 수백 개의 논문 중 핵심 논문을 빠르게 찾고 싶다
– 연구 동향을 한눈에 파악하고 싶다
– 관련 분야의 최신 논쟁점을 알고 싶다

2. 정확한 출처
– 모든 정보에 출처가 달려 있어야 한다
– 그 출처를 클릭하면 원문으로 이동할 수 있어야 한다
– 가짜 출처가 섞여 있으면 안 된다

3. 신뢰할 수 있는 요약
– 30페이지 논문의 핵심을 3분 안에 파악하고 싶다
– 하지만 그 요약이 원문을 왜곡하면 안 된다
– 중요한 뉘앙스가 사라지면 안 된다

기존 도구들의 한계

Google Scholar의 한계
– 검색은 가능하지만, 요약이나 분석은 제공하지 않는다
– 결과가 너무 많아서 핵심을 찾기 어렵다
– 검색어를 잘 설정해야 원하는 결과가 나온다

논문 DB 직접 검색의 한계
– 각 DB(PubMed, JSTOR, IEEE 등)를 개별적으로 검색해야 한다
– 전문(Full-text) 접근에 제한이 있다
– 분야 간 통합 검색이 어렵다

기존 AI(ChatGPT 등)의 한계
– 출처가 없거나 가짜 출처를 제시한다
– 최신 정보에 접근하지 못한다
– 학술 DB와 연동되지 않는다

물론 이 도구들이 쓸모없다는 뜻은 아니다. 각각의 강점과 약점이 뚜렷해서, ‘빠른 탐색 + 출처 기반 요약’을 한번에 해결해주는 조합이 부족했을 뿐이다.

[!] 참고: 이 책에서 소개할 Perplexity의 Academic 소스도 Google Scholar 대비 커버리지가 제한적일 수 있다. 특히 전통적인 학술지나 특정 분야에서는 결과가 누락될 수 있으므로, 기존 도구와의 병행 사용을 권장한다.

전환: 해결책을 향하여

지금까지 우리는 AI 글쓰기의 구조적 문제를 살펴보았다.

• 환각: AI가 만들어내는 그럴듯한 거짓말
• 출처 부재: 검증이 불가능한 정보
• 도구 한계: 기존 도구들의 각각의 약점

만약 AI가 모든 답변에 출처를 달아준다면?

만약 그 출처를 클릭해서 원문을 바로 확인할 수 있다면?

만약 학술 논문 DB에 직접 접근해서 검색 결과를 보여준다면?

다음 장에서는 이 질문들에 대한 답을 찾아본다. 2023년 이후 급부상한 새로운 유형의 AI, 바로 Perplexity를 소개한다.

[KEY] Key Takeaway

1. 환각은 구조적 문제다 — AI는 사실을 ‘아는’ 게 아니라 ‘그럴듯한 것’을 생성한다
2. 출처 없으면 검증 비용 폭증 — AI 글 검증에 직접 조사보다 더 오래 걸릴 수 있다
3. 해답은 출처 기반 AI — 빠른 탐색 + 정확한 출처 + 신뢰 가능 요약이 필요하다

실전 미션 (3분)

ChatGPT에게 당신의 연구 분야에서 “최근 3년간 주요 논문 3개”를 요청한 뒤, 첫 번째 논문이 실제로 존재하는지 Google Scholar에서 확인해보세요.

결과가 어땠나요? 이 경험을 기억하며 2장을 읽어주세요.

다음 장에서는 이 문제를 해결할 수 있는 새로운 도구, Perplexity AI를 만나봅니다.