5. 루프의 4단계
어제 보낸 메일 한 통을 떠올려 봅니다. 거래처에 일정 변경을 알리는 짧은 메일이었습니다. 나는 AI에게 초안을 부탁했고, 받은 글을 한 번 읽고, 어색한 문장 두 개를 고쳐서 보냈습니다. 길어야 삼 분. 그사이에 무슨 일이 있었는지는 거의 의식하지 못합니다. 너무 익숙하고 빠른 일은 단계로 느껴지지 않기 때문입니다.
그런데 이 삼 분을 느린 화면으로 되감으면, 똑같은 모양의 과정이 보입니다. 나는 AI에게 상황을 설명했고(맥락 수집), AI가 초안을 만들었고(행동), 그 초안이 쓸 만한지 확인했고(결과 확인), 마음에 안 드는 부분을 고쳐 다시 손봤습니다(수정·반복).
이 네 칸이 루프입니다. 맥락 수집 → 행동 → 결과 확인 → 수정·반복. 거창한 자동화 시스템이든 메일 한 통이든, 안을 들여다보면 같은 골격이 돕니다. 이 책에서 다루는 모든 이야기는 결국 이 네 칸 중 하나를 손보는 일입니다.
하나씩 천천히 봅니다.
맥락 수집. 일을 시작하기 전에 필요한 정보를 모으는 단계입니다. 메일이라면 받는 사람이 누구인지, 어떤 일정이 어떻게 바뀌는지, 말투는 정중해야 하는지 같은 것들입니다. 사람은 이걸 머릿속에서 순식간에 끝내기 때문에 단계라고 느끼지도 않습니다. 거래처 담당자의 이름, 그동안의 관계, 지난번 메일의 말투까지 이미 알고 시작하니까요. 하지만 AI는 우리가 말해주지 않은 것을 알지 못합니다. 맥락이 부족하면 그럴듯하지만 엉뚱한 초안이 나옵니다. 좋은 루프는 여기서부터 갈립니다.
행동. 모은 맥락을 가지고 실제로 한 단계를 실행하는 단계입니다. 초안을 쓰고, 코드를 한 줄 짜고, 검색을 한 번 돌리는 일입니다. 사람들은 보통 AI를 이 단계로만 생각합니다. 질문하면 답이 나오는 그 한 번. 그러나 행동은 루프의 네 칸 중 하나일 뿐입니다. 행동만 있고 나머지 세 칸이 없으면, 우리가 익히 아는 그 ‘한 번 쓰고 마는 답’이 됩니다. 받은 답을 그대로 쓸 수 없어 결국 내가 처음부터 다시 하게 되는, 그 익숙한 장면입니다.
결과 확인. 나온 결과가 쓸 만한지 점검하는 단계입니다. 메일 초안을 읽으며 ‘이대로 보내도 되나’를 판단하는 그 순간입니다. 이 단계가 루프와 단순한 답을 가릅니다. 확인 없이 결과를 그대로 받으면, 틀린 것을 빠르게 받아들이게 됩니다. 날짜가 맞는지, 빠진 안건은 없는지, 말투가 상대에게 맞는지를 보는 짧은 점검이 여기에 들어갑니다. 뒤에서 자세히 다루겠지만, AI가 스스로 이 확인을 하게 만드는 것이 이 책에서 가장 중요한 기술입니다.
수정·반복. 확인에서 부족함을 발견하면, 고쳐서 다시 도는 단계입니다. 어색한 문장을 손보고 다시 읽는 일입니다. 한 번에 끝날 수도 있고, 몇 번을 돌 수도 있습니다. 중요한 건 ‘돌아간다’는 사실입니다. 결과가 충분하면 루프를 멈추고, 부족하면 맥락을 보태 다시 첫 칸으로 돌아갑니다. 이 되돌아감이 루프를 루프로 만듭니다. 한 번 가고 끝나는 직선과, 충분해질 때까지 도는 원의 차이입니다.
네 칸은 순서가 있고, 서로 기댑니다. 맥락 없이 행동하면 헛돌고, 확인 없이 수정하면 무엇을 고치는지조차 모릅니다. 그래서 어느 한 칸을 건너뛰면 나머지가 함께 흔들립니다. 우리가 AI에게 실망하는 대부분의 순간은, 알고 보면 이 네 칸 가운데 하나를 빠뜨린 순간입니다.
네 칸을 따로 떼어 놓으니 당연해 보입니다. 실제로 당연합니다. 우리는 이미 이렇게 일하고 있습니다. 보고서를 쓸 때도, 자료를 찾을 때도, 머릿속에서 이 네 칸을 빠르게 돕니다. 다만 너무 빨라서 의식하지 못할 뿐입니다. 이 책이 하려는 일은 그 빠른 과정을 느리게 펼쳐, 우리가 손볼 수 있는 네 개의 손잡이로 만드는 것입니다. 손잡이가 보이면 고칠 수 있습니다.
시험 삼아 오늘 AI에게 시킨 작업 하나를 골라 봅니다. 무엇이든 좋습니다. 그리고 네 칸에 나눠 넣어 봅니다. 어떤 맥락을 줬는지, 어떤 행동을 시켰는지, 결과를 확인은 했는지, 고쳐서 다시 돌렸는지.
아마 한두 칸이 비어 있을 겁니다. 대부분은 결과 확인과 수정·반복이 비어 있습니다. 행동만 하고 끝냈다는 뜻입니다. 괜찮습니다. 그 빈칸이 바로 앞으로 채워 갈 곳입니다. 빈칸을 알아차리는 것만으로도 절반은 시작된 셈입니다. 무엇이 빠졌는지 보이면, 그 칸을 채우는 방법은 이 책이 차차 알려 줍니다. 다음 장에서는 이 네 칸이 저마다 어디서 새는지, 일이 틀어지는 지점부터 봅니다.
6. 각 단계에서 일이 틀어지는 지점
한번은 AI에게 보고서 요약을 맡겼다가 낭패를 본 적이 있습니다. 받은 요약은 문장도 매끄럽고 구성도 좋았습니다. 그대로 윗선에 올렸습니다. 그런데 핵심 숫자 하나가 원문과 달랐습니다. 글이 너무 그럴듯해서, 틀렸을 거라고 의심조차 하지 않았던 겁니다. 매끄러운 문장에 속아 숫자를 안 본 셈입니다.
이런 일은 운이 나빠서 생기지 않습니다. 루프의 어느 한 칸이 샜기 때문에 생깁니다. 그리고 어느 칸이 샜는지는 대개 정해진 모양이 있습니다. 네 단계는 저마다 다른 방식으로 틀어집니다. 어디서 새는지 알면, 막연히 운을 탓하는 대신 그 칸만 손보면 됩니다.
흥미로운 건, 네 가지 실패가 모두 비슷한 얼굴을 하고 있다는 점입니다. 결과물 자체는 하나같이 멀쩡해 보입니다. 그래서 ‘AI가 일을 못한다’는 뭉뚱그린 인상만 남고, 정작 어느 단계가 문제였는지는 흐릿하게 지나갑니다. 진단의 첫걸음은 이 뭉뚱그린 인상을 네 칸으로 쪼개는 것입니다.
맥락이 부족하면, 그럴듯한데 엉뚱한 결과가 나옵니다.
가장 흔한 실패입니다. 받는 사람이 누구인지, 어떤 형식을 원하는지, 무엇을 빼야 하는지 말해주지 않으면 AI는 빈칸을 자기 식으로 채웁니다. 결과물은 멀쩡해 보입니다. 다만 내가 원한 것이 아닐 뿐입니다. 분기 보고서를 원했는데 연간 요약이 나오고, 정중한 메일을 원했는데 지나치게 사무적인 글이 나옵니다. 틀린 게 아니라 어긋난 겁니다. 예를 들어 ‘쉽게 써 줘’라고만 하면, AI는 누구에게 쉬운 글인지 모릅니다. 초등학생에게 쉬운 글과 임원에게 쉬운 글은 전혀 다릅니다. 명백한 오류는 눈에 띄지만, 어긋남은 그럴듯해서 그냥 지나치기 쉽습니다. 그래서 더 잡아내기 어렵습니다.
맥락은 줬는데 엉뚱한 행동을 하면, 헛행동이 됩니다.
시킨 일과 다른 일을 하는 경우입니다. 요약해 달라고 했는데 평가를 하고, 고쳐 달라고 했는데 처음부터 다시 씁니다. 사람으로 치면 지시를 반쯤 흘려들은 셈입니다. 한 번의 헛행동은 별일 아닙니다. 문제는 루프 안에서 헛행동이 다음 단계의 입력이 될 때입니다. 틀린 요약 위에 다시 요약을 얹고, 그 위에 또 손을 대면, 처음의 작은 어긋남이 끝에 가서는 알아볼 수 없게 커집니다. 오류가 쌓이는 겁니다.
확인을 건너뛰면, 틀린 것을 빠르게 받아들입니다.
앞서 말한 보고서 사고가 바로 이 칸이 샌 경우입니다. 결과가 그럴듯할수록 확인을 건너뛰기 쉽습니다. 매끄러운 문장은 신뢰를 부르고, 신뢰는 검증을 게으르게 만듭니다. 그러나 AI는 자신 있게 틀립니다. 모른다고 말하는 대신 그럴듯한 답을 지어내기도 합니다. 확인 단계가 없으면 루프는 틀린 결과를 그대로 다음으로 넘깁니다. 빠르게, 그리고 깔끔하게. 속도가 오히려 독이 되는 지점입니다.
멈출 줄 모르면, 끝없이 수정만 합니다.
반대 방향의 실패도 있습니다. 결과가 충분한데도 자꾸 더 고치는 경우입니다. 한 번 더 다듬으면 나아질 것 같아서 계속 돌립니다. 시간이 녹고, 가끔은 처음보다 못한 결과가 나옵니다. 루프는 돌아갈 줄 아는 만큼 멈출 줄도 알아야 합니다. 멈춤은 8장에서 따로 다룹니다.
최근에 AI에게 일을 맡겼다가 마음에 안 들었던 경험을 하나 떠올려 봅니다. 그리고 물어봅니다. 그건 어느 칸이 샌 걸까. 맥락을 덜 줬나, 엉뚱한 행동을 했나, 확인을 안 했나, 아니면 멈추지 못했나.
대부분의 실패는 네 칸 중 하나로 정확히 떨어집니다. 막연히 “AI가 별로다”가 아니라 “확인 단계가 비어 있었다”로 바뀌는 순간, 문제는 고칠 수 있는 것이 됩니다. 도구를 탓하면 할 수 있는 일이 없지만, 빠진 칸을 찾으면 채울 방법이 생깁니다.
한 가지 덧붙이면, 한 작업에서 두 칸이 동시에 새는 일도 흔합니다. 맥락을 덜 줬는데 확인까지 건너뛰면, 어긋난 결과가 그대로 통과합니다. 그럴 때는 가장 앞선 칸부터 손봅니다. 맥락이 바로잡히면 뒤따르는 단계의 실패도 절반은 함께 사라지기 때문입니다. 루프는 앞 칸의 결과가 뒤 칸으로 흐르는 구조라, 위쪽을 막는 편이 언제나 효율적입니다.
새는 곳을 진단했으면 절반은 끝난 겁니다. 나머지 절반, 그러니까 각 칸을 실제로 어떻게 단단하게 만드는지는 4부에서 하나씩 다룹니다. 그 전에 먼저, 잘 돌아가는 루프와 그렇지 않은 루프는 무엇이 다른지부터 짚고 갑니다.
7. 좋은 루프 vs 나쁜 루프
같은 일을 두 사람에게 맡겨 봤다고 합시다. 서른 장짜리 회의 자료를 한 장으로 요약하는 일입니다. 도구는 둘 다 같은 AI를 씁니다.
첫 번째 사람은 자료를 한꺼번에 AI에 넣고 “한 장으로 요약해 줘”라고 합니다. 결과가 깁니다. “더 줄여 줘”라고 합니다. 이번엔 너무 짧습니다. “조금만 늘려 줘”라고 합니다. 그러다 처음에 있던 중요한 내용이 빠진 걸 뒤늦게 발견합니다. 다시 처음부터. 무엇이 빠졌는지, 어디서 틀어졌는지 짚을 수가 없어 매번 처음부터 다시 합니다. 삼십 분이 지나도 쓸 만한 요약은 나오지 않습니다.
두 번째 사람은 먼저 묻습니다. 이 요약은 누가, 왜 보나. 답은 ‘바쁜 임원이 회의 참석 여부를 정하려고’입니다. 그러면 필요한 건 결론과 안건 세 개뿐입니다. 자료를 단락별로 나눠 핵심만 뽑게 하고, 뽑을 때마다 원문과 맞는지 확인합니다. 한 장이 차면 멈춥니다. 십 분 만에 끝납니다.
두 사람은 같은 도구로 같은 일을 했습니다. 결과를 가른 건 도구가 아니라 루프의 모양입니다. 좋은 루프에는 세 가지가 있습니다. 짧고, 검증할 수 있고, 멈출 줄 압니다.
짧다. 좋은 루프는 한 번에 한 걸음만 갑니다.
첫 번째 사람은 서른 장을 한 번에 처리하려 했습니다. 그래서 무엇이 잘못됐는지 짚어낼 수 없었습니다. 결과가 한 덩어리로 나오니, 고칠 때도 전체를 고쳐야 했습니다. 두 번째 사람은 단락별로 작게 돌렸습니다. 한 단락이 틀리면 그 단락만 다시 하면 됩니다. 걸음이 짧을수록 어디서 틀어졌는지 보이고, 고치는 비용도 작습니다. 짧은 루프는 실패해도 싸게 실패합니다. 한 시간을 들인 결과가 송두리째 어긋나면 잃는 것도 한 시간이지만, 오 분짜리 걸음이 어긋나면 잃는 건 오 분뿐입니다.
검증할 수 있다. 좋은 루프에는 맞는지 판단할 기준이 있습니다.
두 번째 사람은 ‘원문과 맞는지’라는 기준을 들고 매 단계 확인했습니다. 기준이 분명하니 통과와 탈락이 깔끔하게 갈립니다. 첫 번째 사람에게는 기준이 없었습니다. 그저 ‘마음에 드나’였고, 마음은 매번 바뀝니다. 어제는 괜찮던 문장이 오늘은 거슬립니다. 기준이 없으면 확인은 기분이 되고, 기분에 기댄 루프는 방향을 잃습니다. 기준은 거창할 필요가 없습니다. ‘숫자가 원문과 같은가’, ‘결론이 한 문장으로 보이는가’처럼 예와 아니오로 답할 수 있으면 됩니다. 예와 아니오로 떨어지지 않는 기준은 기준이 아니라 취향입니다.
멈출 줄 안다. 좋은 루프에는 끝이 정해져 있습니다.
두 번째 사람은 ‘한 장이 차면 멈춘다’를 미리 정했습니다. 끝이 분명하니 그 선에 닿는 순간 손을 뗐습니다. 첫 번째 사람은 끝을 정하지 않아서, 더 나아질 것 같다는 기대만으로 계속 돌렸습니다. 멈출 곳을 모르는 루프는 충분한 결과를 지나쳐 더 나쁜 곳으로 갑니다. 끝을 정하는 일은 게으름이 아니라 판단입니다. 충분한 결과에서 손을 떼는 데에도 작은 용기가 필요합니다. 더 나아질지 모른다는 미련을 누르고, 지금이 충분하다고 인정하는 판단이기 때문입니다.
이 세 가지는 타고나는 재능이 아닙니다. 설계입니다. 일을 맡기기 전에 정할 수 있는 것들입니다. 걸음을 얼마나 짧게 끊을지, 무엇을 기준으로 확인할지, 어디서 멈출지. 이 세 질문에 미리 답해두면, 같은 도구로도 십 분과 삼십 분이 갈립니다. 둘의 차이는 실력이 아니라 준비였습니다.
세 가지는 따로 노는 게 아니라 서로 돕습니다. 걸음이 짧으면 검증하기 쉽고, 검증 기준이 분명하면 언제 멈출지도 또렷해집니다. 반대로 걸음이 길면 무엇을 검증할지부터 막막해집니다. 그래서 셋 중 하나만 제대로 갖춰도 나머지가 따라오기 시작합니다.
지금 자주 하는 AI 작업 하나를 세 가지로 채점해 봅니다. 내 루프는 짧은가, 검증할 기준이 있는가, 멈출 곳을 정해뒀는가. 셋 다 ‘예’라면 이미 잘 돌리고 있는 겁니다. 하나라도 ‘아니오’라면, 거기가 다음에 손볼 곳입니다. 세 가지를 한꺼번에 갖추려 애쓸 필요는 없습니다. 가장 비어 있는 칸 하나부터 채우면, 앞서 봤듯 나머지가 따라옵니다.
세 가지 중에서도 멈춤은 의외로 자주 빠집니다. 돌리는 법은 신경 쓰면서 멈추는 법은 정하지 않기 때문입니다. 다음 장에서는 이 멈춤을 따로 다룹니다. 루프를 언제, 어떻게 멈출 것인가.
8. 루프를 멈춰야 할 때 — 무한 루프와 비용 폭발
제품 소개 문구 한 줄을 다듬다가 한 시간을 쓴 적이 있습니다. AI에게 “조금 더 매력적으로”를 스무 번쯤 시켰습니다. 매번 조금씩 달라졌지만, 더 좋아졌는지는 확신할 수 없었습니다. 어느 순간부터는 그냥 다른 문장을 보고 있을 뿐, 더 나은 문장을 보고 있는 게 아니었습니다. 결국 처음 받은 세 번째 안으로 돌아갔습니다. 나머지 한 시간은 그냥 사라졌습니다.
문제는 문구가 아니었습니다. 멈출 곳을 정해두지 않은 것이 문제였습니다.
사람이 혼자 일할 때는 멈춤을 따로 의식하지 않습니다. 지치면 멈추기 때문입니다. 손이 아프고, 눈이 침침해지고, 배가 고파지면 자연히 일을 내려놓습니다. 우리 몸이 정지선 노릇을 해 온 겁니다. 완벽하지 않아도 어느 선에서 손을 떼는 감각은, 사실 피로가 대신 만들어 준 것이었습니다.
AI에게는 그런 정지선이 없습니다. 지치지 않고, 지겨워하지 않고, 시켜둔 만큼 끝없이 돕니다. “더 나은 안을 만들어”라고 해두면 영원히 더 나은 안을 시도합니다. 그래서 AI 루프에서는 멈춤을 사람이 명시적으로 정해줘야 합니다. 이건 포기가 아니라 설계입니다. 잘 만든 루프일수록 어디서 멈출지가 분명합니다.
멈춤이 어려운 데는 이유가 있습니다. 다음 한 번이면 더 나아질 것 같다는 기대가, 멈춰야 할 순간에 가장 강해지기 때문입니다. 그 기대는 대개 착각입니다. 충분히 좋은 결과를 손에 쥐고도, 더 좋아질지 모른다는 가능성 하나 때문에 그것을 놓아 버립니다. 그러고는 더 못한 결과를 받아 들고 후회합니다.
멈춤 조건은 보통 네 가지 중 하나로 정합니다.
횟수. 같은 일을 몇 번까지 다시 시킬지 미리 정합니다. “세 번 돌려서 안 나오면 멈춘다.” 세 번 안에 안 되는 일은 대개 접근을 바꿔야 하는 일이지, 한 번 더 돌린다고 풀리지 않습니다. 같은 방식으로 네 번째를 돌리는 건 같은 실패를 한 번 더 하는 일에 가깝습니다.
시간. 한 작업에 쓸 시간을 정합니다. “이 문구에는 십 분만 쓴다.” 시간을 정해두면, 십 분이 지났을 때 지금 안이 완벽하지 않아도 결정을 내리게 됩니다. 마감이 일을 끝내 주듯, 스스로 그은 시간선이 루프를 끝내 줍니다.
비용. AI를 본격적으로 돌리면 토큰이든 요금이든 실제 비용이 듭니다. 긴 작업을 자동으로 반복시킬 때는 “여기까지 쓰면 멈춘다”는 예산을 정해둡니다. 비용 정지선이 없으면, 잘못 짠 루프 하나가 밤새 돌며 요금을 태웁니다. 사람이 자는 동안에도 AI는 멈추지 않으니, 이 선은 특히 자동화에서 중요합니다.
만족. 결과가 어느 선에 닿으면 멈춥니다. 이게 가장 까다롭습니다. 기준을 ‘완벽’으로 잡으면 영원히 멈출 수 없기 때문입니다. 완벽한 문구, 완벽한 요약은 없습니다. 그래서 미리 ‘충분’을 정의해 둬야 합니다. “결론이 한 줄로 들어가고 오타가 없으면 충분하다.” 충분의 선을 그어두면, 그 선에 닿는 순간 손을 뗄 수 있습니다. 완벽을 좇지 않고 충분에서 멈추는 것이, 실은 가장 빠른 길입니다.
네 가지를 다 쓸 필요는 없습니다. 작업 하나에 정지선 하나면 됩니다. 짧은 작업이면 횟수, 시간이 걸리는 작업이면 시간, 자동으로 오래 도는 작업이면 비용. 그리고 거의 모든 작업에 ‘충분’의 정의 하나를 곁들입니다.
정지선은 미리 그어야 의미가 있습니다. 일을 시작하기 전, 아직 결과에 마음을 뺏기지 않았을 때 정해두는 겁니다. 결과를 본 뒤에 멈출지 말지를 정하려 하면, 이미 ‘한 번 더’의 유혹 안에 들어와 있습니다. 멈춤의 기준은 차분할 때 정하고, 일할 때는 그 기준을 따르기만 하면 됩니다.
지금 자주 하는 AI 작업을 하나 떠올려, 정지선을 한 줄로 적어 봅니다. “○○하면 멈춘다.” 이 한 줄이 한 시간짜리 무한 루프를 십 분으로 줄여 줍니다.
여기까지가 루프의 해부입니다. 네 단계가 무엇인지, 어디서 새는지, 좋은 루프는 어떻게 다르고, 언제 멈추는지 봤습니다. 이제 한 걸음 물러나 더 큰 선택을 봅니다. 루프를 정해진 길로 깔아둘 것인가, 아니면 AI가 스스로 길을 정하게 둘 것인가. 다음 부에서 다룰 워크플로우와 에이전트의 갈림길입니다.
