14. 스스로 검증하게 만들기
앞에서 한 가지 약속을 했습니다. 좋은 루프에는 검증이 있다고. 그런데 매번 그 검증을 사람이 하면, 결국 사람이 루프에 묶입니다. AI가 한 걸음 갈 때마다 사람이 결과를 들여다봐야 한다면, 일을 맡긴 게 아니라 감시하는 셈입니다. 이 장의 목표는 그 검증을 AI가 스스로 하게 만드는 것입니다.
먼저 왜 검증이 그토록 중요한지 짚고 갑니다. 검증이 없는 루프는 틀린 결과를 빠르게 늘립니다. 6장에서 봤듯, AI는 자신 있게 틀립니다. 그 틀린 결과가 확인 없이 다음 단계로 넘어가면, 루프는 오류 위에 오류를 쌓습니다. 빠른 루프일수록 더 빨리 망가집니다. 속도는 검증이 있을 때만 미덕입니다.
검증을 AI에게 맡기는 방법은 생각보다 단순합니다. 통과 조건을 말로 정해 주는 겁니다. 무엇을 만족해야 다음으로 넘어갈 수 있는지, 그 기준을 분명히 적어 둡니다. 이 기준을 게이트라고 부릅니다. 문처럼, 조건을 통과한 결과만 다음으로 내보내고 그렇지 않은 결과는 되돌려 보냅니다.
게이트의 핵심은 기준이 예와 아니오로 떨어져야 한다는 것입니다. 7장에서 본 그대로입니다. ‘좋은가’는 게이트가 될 수 없습니다. ‘숫자가 원문과 같은가’, ‘빠진 항목이 없는가’는 게이트가 됩니다. AI가 자기 결과를 이 기준에 비춰 스스로 답하게 하면, 사람이 매번 보지 않아도 루프가 혼자 돌아갑니다.
게이트를 걸 때 흔한 실수는 조건을 너무 많이, 너무 빡빡하게 거는 것입니다. 통과 조건이 열 개가 넘으면, AI는 어느 것도 제대로 만족시키지 못한 채 맴돕니다. 처음에는 가장 중요한 두세 개만 겁니다. 꼭 지켜야 할 것, 틀리면 치명적인 것부터. 나머지는 루프가 안정된 뒤에 더해도 늦지 않습니다. 게이트는 촘촘할수록 좋은 게 아니라, 꼭 막아야 할 것을 정확히 막을 때 좋습니다.
세 가지 일에서 어떻게 게이트를 거는지 봅니다.
글을 쓸 때입니다. 통과 조건을 이렇게 정합니다. 정해진 분량 안에 들어왔는가, 쓰지 말라고 한 표현이 섞이지 않았는가, 핵심 결론이 첫 문단에 있는가. AI가 초안을 쓴 뒤 이 세 가지를 스스로 점검하게 합니다. 하나라도 어긋나면 고쳐 쓰고, 다 통과하면 내보냅니다. 사람은 통과한 결과만 봅니다.
조사를 할 때입니다. 통과 조건은 출처가 달려 있는가, 서로 모순되는 내용은 없는가, 질문에 실제로 답하고 있는가입니다. AI가 모은 내용을 이 기준으로 스스로 거르게 하면, 출처 없는 추측이나 앞뒤가 안 맞는 정보가 결과에 섞이는 일이 줄어듭니다.
코드를 만들 때입니다. 여기서는 게이트가 가장 분명합니다. 미리 만들어 둔 시험을 통과하는가. AI가 코드를 짠 뒤 그 시험을 직접 돌려 보고, 통과하지 못하면 고쳐서 다시 돌립니다. 통과할 때까지 이 작은 루프가 스스로 반복됩니다. 사람은 시험을 통과한 코드만 받습니다.
세 경우의 공통점이 보입니다. 사람이 하는 일은 점검 기준을 미리 정의하는 것뿐입니다. 그다음 점검은 AI가 스스로 합니다. 검증을 설계한다는 건, 매번 직접 확인하는 대신 확인의 기준을 한 번 잘 만들어 두는 일입니다.
검증에는 두 가지 방식이 있습니다. 하나는 규칙으로 거르는 것입니다. 분량, 형식, 금지어처럼 명확한 조건은 기계적으로 점검할 수 있습니다. 다른 하나는 AI에게 비평을 맡기는 것입니다. 한 AI가 만든 결과를 다른 시선으로 다시 보게 하는 겁니다. 같은 AI에게 “이 결과의 약점을 찾아봐”라고 시키기만 해도, 처음에는 보이지 않던 허점이 드러납니다. 만드는 일과 검증하는 일을 갈라 두면, 품질이 한 단계 올라갑니다.
어느 방식이든 핵심은 검증을 만드는 일과 따로 두는 것입니다. 결과를 만든 직후에 ‘이 정도면 됐다’고 스스로 판단하게 두면, AI는 자기 결과에 관대해집니다. 사람도 자기 글의 오타를 잘 못 보는 것과 같습니다. 방금 만든 것을 곧바로 검증하면, 만들 때의 시선이 그대로 남아 허점을 지나칩니다. 만드는 역할과 검증하는 역할을 떼어 놓을 때, 검증이 비로소 제 몫을 합니다.
지금 자주 하는 AI 작업 하나를 떠올려, 통과 조건 두세 개를 적어 봅니다. 무엇이 충족돼야 그 결과를 믿고 쓸 수 있는지. 이 조건이 곧 게이트입니다. 게이트를 한 번 잘 세워 두면, 루프는 사람의 손을 덜 빌리고도 믿을 만한 결과를 냅니다. 다음 장에서는 이 루프가 긴 작업에서도 흔들리지 않게 하는 또 하나의 장치, 메모를 봅니다.
15. AI의 짧은 기억 — 메모와 컨텍스트 관리
긴 작업을 맡겨 본 적이 있다면 한 번쯤 겪었을 일입니다. 처음에는 잘 따라오던 AI가, 작업이 길어지자 앞에서 정한 것을 잊습니다. 분명히 “정중한 말투로”라고 했는데 어느새 반말 섞인 문장이 나오고, 천 단위로 끊으라고 한 숫자가 뒤로 가면 다시 붙어 나옵니다. AI가 게을러진 게 아닙니다. 앞의 내용을 잊은 겁니다.
AI의 기억에는 한계가 있습니다. 한 번에 담아 둘 수 있는 양이 정해져 있어서, 작업이 그 한계를 넘어가면 앞쪽 내용이 흐려집니다. 사람도 비슷합니다. 회의가 길어지면 처음에 정한 것을 잊고, 그래서 우리는 메모를 합니다. AI에게도 같은 방법이 통합니다. 기억을 머리에만 맡기지 말고, 종이에 적어 두는 겁니다.
이 한계는 AI가 똑똑하든 아니든 상관없이 존재합니다. 아무리 좋은 AI라도 한 번에 들고 있을 수 있는 양에는 끝이 있습니다. 그래서 ‘더 좋은 AI를 쓰면 해결되겠지’라는 기대는 빗나갑니다. 기억의 한계는 도구를 바꿔 넘는 게 아니라, 메모라는 방법으로 넘는 것입니다. 그리고 방법은 도구가 바뀌어도 그대로 통합니다.
메모의 원리는 간단합니다. 작업 중간에 정해진 것과 진행 상태를 따로 적어 두고, 다음 단계에 그 메모를 함께 넘기는 것입니다. AI는 매 단계 이 메모를 다시 읽으며 일관성을 유지합니다. 머릿속에서 흐려지는 것을, 손이 닿는 곳에 적어 두는 셈입니다.
무엇을 메모할지는 세 가지로 나눠 보면 분명합니다.
첫째, 결정 사항입니다. 작업 도중 정한 규칙을 적습니다. “말투는 정중체”, “숫자는 천 단위로 끊음”, “분량은 한 꼭지에 한 장”. 한 번 정한 규칙은 끝까지 지켜져야 하니, 이런 결정일수록 메모로 남깁니다. 규칙이 메모에 적혀 있으면, AI는 매 단계 그것을 다시 보며 같은 기준을 지킵니다.
둘째, 진행 상태입니다. 어디까지 했는지를 적습니다. “전체 다섯 개 중 셋째까지 끝남”. 긴 작업을 여러 번에 나눠 할 때, 이 메모가 없으면 AI는 매번 처음으로 돌아가거나 이미 한 일을 또 합니다. 진행 상태를 적어 두면, 멈췄다 다시 시작해도 끊긴 곳에서 이어 갑니다.
셋째, 맥락입니다. 이 작업이 무엇을 위한 것인지, 누가 볼 것인지 같은 배경을 적습니다. 작업이 길어질수록 처음의 목적이 흐려지기 쉽습니다. 목적을 적어 두면, 중간에 길을 잃어도 다시 방향을 잡습니다. 무엇을 위한 일인지가 분명하면, 사소한 판단도 그 방향에 맞춰 정해집니다.
이 메모는 거창한 도구가 필요하지 않습니다. 작업 지시 안에 “지금까지 정한 것”이라는 한 덩어리를 만들어 두고, 단계가 바뀔 때마다 거기에 한 줄씩 더하면 됩니다. 중요한 건 도구가 아니라 습관입니다. 정한 것을 그때그때 적어 두는 습관, 다음 단계에 그 메모를 빠뜨리지 않고 넘기는 습관입니다. 도구는 바뀌어도 이 습관은 그대로 통합니다.
한 가지 더, 메모는 늘리기만 하는 게 아니라 줄이기도 해야 합니다. 메모가 너무 길어지면 그 자체가 짐이 됩니다. 끝난 단계의 진행 메모는 지우고, 더 이상 유효하지 않은 결정은 새 결정으로 바꿉니다. 메모는 작업의 현재 상태를 비추는 거울이어야지, 지나온 모든 기록을 쌓아 두는 창고가 되면 안 됩니다. 거울에는 지금 필요한 것만 비춰야 합니다.
메모가 특히 중요해지는 건 루프가 길 때입니다. 한두 걸음짜리 짧은 루프에서는 AI가 앞을 잊을 새가 없습니다. 그러나 여러 단계를 도는 긴 루프에서는, 메모가 일관성의 생명줄이 됩니다. 앞 장에서 본 검증이 매 걸음의 품질을 지킨다면, 메모는 전체를 관통하는 일관성을 지킵니다. 한쪽은 한 걸음 한 걸음을, 다른 한쪽은 처음부터 끝까지를 지키는 셈입니다.
실제로 해 보면, 메모를 남기는 일은 처음엔 번거롭게 느껴집니다. 그냥 시키면 될 것을 굳이 적어야 하나 싶습니다. 그러나 작업이 세 단계만 넘어가도, 메모가 없는 루프는 눈에 띄게 흔들립니다. 한 번 흔들려 처음부터 다시 한 경험을 하고 나면, 메모를 적는 몇 초가 더는 아깝지 않아집니다.
지금 하는 긴 작업이 있다면, AI가 자꾸 잊는 것이 무엇인지 떠올려 봅니다. 그게 바로 메모로 남겨야 할 것입니다. 잊지 말라고 다시 말하는 대신, 잊을 수 없게 적어 두는 겁니다. 검증과 메모, 이 두 장치를 갖추면 루프는 꽤 단단해집니다. 그러나 아직 빠진 것이 있습니다. 사람은 어디에 있어야 하는가. 다음 장의 주제입니다.
16. 사람이 개입할 지점 설계
지금까지 우리는 루프를 점점 더 스스로 돌게 만들었습니다. 검증을 달아 스스로 점검하게 하고, 메모를 남겨 스스로 일관성을 지키게 했습니다. 그러다 보면 자연스러운 질문에 닿습니다. 그럼 사람은 어디에 있어야 하는가. 아예 손을 떼도 되는가.
한번은 욕심을 부린 적이 있습니다. 잘 돌아가는 루프가 기특해서, 처음부터 끝까지 통째로 맡기고 결과만 받기로 했습니다. 며칠은 괜찮았습니다. 그러다 한 번, 루프가 잘못된 방향으로 들어선 채 끝까지 가 버렸습니다. 중간에 한 번만 봤어도 잡았을 일이, 손을 놓은 탓에 결과가 다 나온 뒤에야 드러났습니다. 되돌리는 데 든 시간이, 맡겨서 아낀 시간보다 많았습니다.
이 일에서 배운 것이 이 책의 한가운데에 있는 생각입니다. 좋은 루프는 AI를 더 풀어놓는 기술이 아닙니다. 사람이 감당할 수 있는 범위 안에서 AI가 반복하게 만드는 설계 기술입니다. 자율성을 높인다는 건 사람을 빼는 게 아니라, 사람이 들어갈 곳을 제대로 정하는 일입니다.
이 말을 뒤집으면 이렇게 됩니다. 사람이 감당할 수 없는 루프는, 아무리 똑똑하게 돌아도 좋은 루프가 아닙니다. 결과가 훌륭해도 무슨 일이 일어나는지 사람이 따라갈 수 없다면, 그건 통제가 아니라 운에 맡기는 것입니다. 좋은 설계는 AI를 똑똑하게 만드는 데 있지 않고, 사람이 끝까지 손에 쥐고 있을 수 있게 만드는 데 있습니다.
그 들어갈 곳을 개입 지점이라고 부릅니다. 루프가 혼자 도는 중에도, 사람이 멈춰 세워 결과를 보고 승인하거나 방향을 고치는 지점입니다. 모든 단계에 사람을 두면 자동화의 의미가 없고, 아무 데도 두지 않으면 통제를 잃습니다. 그래서 어디에 둘지가 설계의 핵심이 됩니다.
개입 지점을 어디에 둘지는 세 가지를 보면 정해집니다.
첫째, 되돌릴 수 없는 행동 앞입니다. 메일을 보내고, 결제를 하고, 파일을 지우는 일은 한번 일어나면 주워 담을 수 없습니다. 이런 행동 바로 앞에는 사람의 확인을 둡니다. AI가 거기까지 준비는 하되, 마지막 버튼은 사람이 누르는 겁니다. 준비는 AI가 다 해 두니, 사람은 누를지 말지만 정하면 됩니다.
둘째, 판단이 크게 갈리는 분기입니다. 어느 쪽으로 가느냐에 따라 결과가 완전히 달라지는 지점이 있습니다. 이런 갈림길에서는 AI의 선택을 사람이 한 번 확인합니다. 길을 잘못 들면 그 뒤의 모든 단계가 어긋나기 때문입니다. 갈림길 하나만 지켜도, 그 뒤로 줄줄이 이어질 실수를 한꺼번에 막습니다.
셋째, 비용이 큰 단계 앞입니다. 시간이든 돈이든 많이 드는 작업을 시작하기 전에는, 사람이 한 번 들여다봅니다. 잘못된 채로 비싼 단계에 들어가면, 8장에서 본 비용 폭발이 그대로 일어납니다. 들어가기 전 한 번의 확인이, 태워 버릴 뻔한 비용을 아낍니다.
개입 지점을 정할 때 또 하나 정할 것이 빈도입니다. 너무 자주 부르면 사람이 묶이고, 너무 드물게 부르면 놓칩니다. 처음에는 자주 개입하다가, 루프가 믿을 만해지면 조금씩 간격을 넓히는 편이 좋습니다. 신입에게 처음엔 자주 보고받다가 차차 맡기는 것과 같습니다. 신뢰가 쌓인 만큼 개입을 줄이는 겁니다. 줄이되 없애지는 않습니다. 되돌릴 수 없는 곳의 확인 하나는, 아무리 익숙해져도 남겨 둡니다.
여기에 자율성의 역설이 있습니다. 개입 지점을 잘 두면, 오히려 더 많이 맡길 수 있습니다. 위험한 곳에 사람의 확인이 있다는 걸 알면, 나머지 구간은 마음 놓고 AI에게 넘길 수 있기 때문입니다. 안전장치가 있어야 과감해집니다. 브레이크를 믿을 수 있어야 속도를 낼 수 있는 것과 같습니다. 개입 지점은 자유를 줄이는 장치가 아니라, 더 많은 자유를 가능하게 하는 장치입니다.
지금 맡기고 있거나 맡기려는 루프를 떠올려, 어디에 사람이 들어가야 할지 표시해 봅니다. 되돌릴 수 없는 곳, 크게 갈리는 곳, 비싼 곳. 그 지점에 확인 하나만 두어도, 통째로 맡길 때의 불안이 크게 줄어듭니다. 그리고 사람이 들어갈 곳을 정하는 이 생각은, 이 책의 마지막에서 한 번 더 만나게 됩니다. 일의 미래에서 사람이 설 곳이 바로 여기이기 때문입니다.
다음 장에서는 개입으로도 막지 못한 실패를, 어떻게 되돌릴 수 있게 하는지 봅니다.
17. 실패를 복구 가능하게 — 되돌리기와 로그
개입 지점을 잘 두어도, 모든 실패를 막을 수는 없습니다. 사람이 미처 보지 못한 곳에서, 혹은 괜찮아 보여 승인한 곳에서 일이 어긋나기도 합니다. 그래서 안전망이 하나 더 필요합니다. 막는 것과는 다른 종류의 안전망, 실패한 뒤에 되돌리는 장치입니다.
막기와 되돌리기는 다른 일입니다. 개입은 나쁜 일이 일어나기 전에 가로막습니다. 복구는 일어난 일을 없던 것으로 만듭니다. 둘 중 하나만 있으면 불안합니다. 막기만 믿으면 뚫렸을 때 속수무책이고, 되돌리기만 믿으면 매번 사고를 친 뒤 수습하느라 지칩니다. 그래서 막을 수 있는 건 막고, 막지 못한 건 되돌릴 수 있게 둡니다. 두 장치는 같은 위험을 앞과 뒤에서 함께 막습니다.
생각해 보면, 우리가 AI에게 일을 통째로 맡기기 망설이는 진짜 이유가 여기 있습니다. 잘못되면 어쩌나, 되돌릴 수 없으면 어쩌나. 이 두려움이 손을 묶습니다. 그런데 거꾸로 말하면, 되돌릴 수 있다는 확신만 있으면 훨씬 과감하게 맡길 수 있습니다. 복구 가능성은 단순한 보험이 아니라, 더 많이 위임하게 해 주는 발판입니다.
되돌리기의 첫 번째 원칙은 원본을 건드리지 않는 것입니다. AI에게 무언가를 고치게 할 때, 원본을 직접 고치게 하지 않습니다. 복사본을 만들어 그 위에서 작업하게 합니다. 결과가 마음에 들면 그때 원본을 바꾸고, 어긋나면 복사본만 버리면 됩니다. 원본이 그대로 있으니, 몇 번을 실패해도 출발점으로 돌아올 수 있습니다. 실패가 원본까지 무너뜨리지 못하면, 실패는 더 이상 무섭지 않습니다.
두 번째는 중간을 저장하는 것입니다. 긴 작업을 한 번에 끝까지 가게 하지 않고, 단계마다 결과를 따로 남겨 둡니다. 그러면 끝에서 문제가 생겨도 처음으로 돌아갈 필요가 없습니다. 어긋나기 직전의 저장점에서 다시 시작하면 됩니다. 사진을 한 장씩 찍어 두는 것과 같습니다. 어느 순간으로든 돌아갈 수 있고, 잃는 것은 그 지점 이후의 작업뿐입니다.
세 번째는 기록을 남기는 것입니다. AI가 무엇을 했는지 한 줄씩 적어 두는 겁니다. 이걸 로그라고 부릅니다. 일이 잘못됐을 때, 로그가 없으면 어디서 어긋났는지 알 수 없습니다. 결과만 덩그러니 남아 “뭔가 잘못됐다”는 사실만 알 뿐, 어느 단계가 원인인지 깜깜합니다. 로그가 있으면 거꾸로 짚어 갈 수 있습니다. 어느 걸음에서 길이 틀어졌는지 보이고, 그 걸음만 고치면 됩니다.
되돌릴 수 있다는 사실은 일의 속도까지 바꿉니다. 실패가 무서우면 사람은 매 단계 망설입니다. 한 걸음 떼고 한참 들여다보고, 또 한 걸음 떼고 들여다봅니다. 그러나 언제든 되돌릴 수 있다는 걸 알면, 일단 가 보고 아니면 돌아오면 된다는 마음으로 빠르게 움직입니다. 안전망은 사람을 신중하게만 만드는 게 아니라, 오히려 과감하게 만듭니다. 16장의 개입이 자유를 넓혔듯, 복구도 같은 일을 합니다.
이 모든 것이 거창한 시스템을 뜻하지는 않습니다. 혼자 일하는 규모에서는 아주 단순하게 시작할 수 있습니다. 원본 파일은 따로 보관하고 복사본에서 작업하기, 중요한 중간 결과를 그때그때 다른 이름으로 저장하기, AI가 한 일을 간단한 목록으로 남기기. 이 세 가지만 해도 대부분의 실패는 수습 가능해집니다. 도구를 새로 들일 필요도, 복잡한 절차를 만들 필요도 없습니다.
규모가 커지면 이 장치들도 정교해집니다. 자동으로 모든 변경을 기록하고, 한 번에 여러 단계를 되감는 도구들이 있습니다. 그러나 그건 필요해진 뒤에 들이면 됩니다. 처음부터 갖출 것은 습관 쪽입니다. 원본을 지키고, 중간을 남기고, 한 일을 적는 습관. 도구는 이 습관을 편하게 해 줄 뿐, 습관을 대신하지는 못합니다.
앞 장의 개입 지점과 이 장의 복구는 짝을 이룹니다. 개입은 사고가 나기 전에 막고, 복구는 사고가 난 뒤에 수습합니다. 둘 다 갖추면 앞뒤가 모두 받쳐집니다. 막다가 놓친 것은 되돌려 수습하고, 되돌리기 부담이 큰 곳에는 개입을 둡니다. 두 장치는 서로의 빈틈을 메웁니다. 무엇 하나에만 기대지 않으니, 어느 한쪽이 실패해도 다른 쪽이 받칩니다.
지금 맡기는 루프에서 가장 되돌리기 어려운 단계를 떠올려 봅니다. 거기에 복사본이든 저장점이든 안전망을 하나 놓아 봅니다. 되돌릴 수 있다는 그 한 가지가, 일을 맡기는 마음을 한결 가볍게 만듭니다. 다음 장에서는 사고를 아예 일어나지 않게 하는 마지막 장치, 가드레일을 다룹니다.
18. 가드레일 — AI에게 줄 자유의 경계
지금까지 본 장치들은 사고가 난 다음을 다뤘습니다. 검증은 잘못된 결과를 거르고, 개입은 위험한 순간에 사람을 부르고, 복구는 어긋난 일을 되돌립니다. 이번 장의 가드레일은 한 발 더 앞에 섭니다. 사고를 아예 일어나지 않게, 미리 선을 긋는 일입니다.
가드레일은 도로 옆의 난간을 떠올리면 됩니다. 난간은 평소에 아무 일도 하지 않습니다. 그러나 차가 크게 벗어나려 할 때, 더 나가지 못하게 막습니다. AI에게도 같은 난간을 둡니다. 무엇을 해도 좋지만 이 선만은 넘지 마라, 하는 경계입니다. 이 선을 미리 정해 두면, 그 안에서는 마음 놓고 자유를 줄 수 있습니다.
경계는 보통 세 가지 모양으로 정합니다.
첫째, 하지 말 것을 정합니다. 금지하는 행동을 분명히 합니다. 외부로 메일을 보내지 마라, 이 폴더의 파일은 지우지 마라, 결제는 하지 마라. 무엇을 하라고 일일이 말하기보다, 절대 하면 안 되는 것 몇 가지를 분명히 정해 두는 편이 간단하고 확실합니다. 해도 되는 일은 끝이 없지만, 하면 안 되는 일은 대개 몇 가지로 추려집니다.
가드레일을 정할 때는 ‘무엇을 허용할까’가 아니라 ‘무엇을 막을까’를 먼저 묻는 편이 빠릅니다. 허용할 것을 다 적으려면 끝이 없지만, 막을 것은 손에 꼽힙니다. 되돌릴 수 없는 일, 비용이 큰 일, 밖으로 나가는 일. 이 몇 가지만 막아 두면, 나머지는 열어 두어도 큰 사고로 이어지지 않습니다.
둘째, 범위를 정합니다. 일할 수 있는 영역을 한정합니다. 이 자료 안에서만 찾아라, 이 금액 이하에서만 처리해라, 이 기간의 데이터만 봐라. 범위가 정해지면, AI가 아무리 멀리 가려 해도 그 울타리를 벗어나지 못합니다. 울타리 안에서는 자유롭되, 울타리 밖으로는 나갈 수 없습니다.
셋째, 권한을 정합니다. 할 수 있는 일의 종류를 제한합니다. 읽기만 하고 쓰지는 마라, 초안만 만들고 보내지는 마라. 가장 강한 가드레일은 애초에 위험한 일을 할 수 없게 만드는 것입니다. 못 하게 막힌 일은 실수로도 일어나지 않습니다. 막을 수 있다면, 조심하라고 당부하는 것보다 아예 못 하게 하는 편이 확실합니다.
여기서 4부 전체가 하나로 모입니다. 가드레일은 사고를 미리 막고, 개입 지점은 위험한 순간에 사람을 부르고, 복구는 그래도 일어난 일을 되돌립니다. 사전, 도중, 사후의 세 겹 안전망입니다. 한 겹이 뚫려도 다음 겹이 받칩니다. 세 겹이 함께 있을 때, 비로소 안심하고 루프를 돌릴 수 있습니다. 어느 하나만으로는 부족하지만, 셋이 겹치면 웬만한 실패는 그물에 걸립니다.
그렇다고 모든 루프에 세 겹을 다 두라는 말은 아닙니다. 가볍고 되돌리기 쉬운 일에는 안전망이 거의 필요 없습니다. 잘못돼도 다시 하면 그만인 일에까지 가드레일과 개입과 복구를 겹겹이 두면, 그 자체가 일을 무겁게 만듭니다. 안전망은 위험에 비례해서 둡니다. 되돌릴 수 없고 비용이 큰 루프일수록 두껍게, 가벼운 루프일수록 얇게. 안전망을 두는 일에도 멈출 곳이 있는 셈입니다.
가드레일에 대한 흔한 오해가 하나 있습니다. 경계를 그으면 AI의 능력을 깎는 것 아니냐는 생각입니다. 사실은 반대입니다. 못 넘는 선이 분명할수록, 그 안에서는 더 많은 자유를 줄 수 있습니다. 위험한 곳이 막혀 있다는 걸 알면, 나머지 영역은 통째로 맡겨도 불안하지 않기 때문입니다. 가드레일은 자유를 막는 벽이 아니라, 자유를 안전하게 쓰게 해 주는 테두리입니다.
여기까지가 좋은 루프를 만드는 다섯 가지 장치입니다. 짧게 끊기, 스스로 검증하기, 메모로 기억하기, 사람이 개입할 곳 두기, 그리고 경계 긋기와 되돌리기.
다섯 장치는 따로 노는 규칙이 아니라 하나의 태도에서 나옵니다. AI에게 일을 맡기되, 그 일이 어디로 가는지 끝까지 놓치지 않겠다는 태도입니다. 짧게 끊어 보이게 하고, 검증으로 거르고, 메모로 잇고, 개입으로 지키고, 경계로 막습니다. 다섯 가지가 모두 같은 곳을 향합니다. 사람이 감당할 수 있는 범위 안에서 AI가 일하게 하는 것. 16장에서 한 말이 결국 이 다섯 장치로 풀린 셈입니다.
이 장치들을 갖추면, 어떤 방식을 택하든 루프는 믿을 만해집니다. 이제 남은 건 실제로 해 보는 일입니다. 다음 부에서는 이 장치들을 실제 작업에 어떻게 엮는지, 현장의 루프들을 봅니다.
