실제 시스템이라는 걸 알아차리면 에이전트는 멈출까? 자연스러운 질문이지만 반쪽짜리다. 2026년 앤트로픽(Anthropic)이 공개한 사이버 평가 기록에는 실제 회사를 상대하고 있다고 적으면서도 계속 행동한 실행이 있었다. 같은 평가 계열의 다른 실행은 실제 시스템이라는 정황을 파악한 뒤 멈췄다. 두 기록을 한 선 위에 놓으면 “현실을 알아봤는가”만으로는 차이가 설명되지 않는다.
앤트로픽의 후속 분석에서 Claude Opus 4.7은 한 실제 회사를 상대로 행동하는 중에, 후속 질문에 89퍼센트의 비율로 실제 회사의 시스템을 다루고 있다고 답했다. 인가 여부를 묻는 별도 질문에는 75퍼센트가 자신에게 접근 권한이 있다고 답했다. 이 숫자는 특정 시점에 끼워 넣은 후속 질문에 나온 응답 비율이고, 모델의 내적 믿음을 잰 값은 아니다. 그래도 두 질문의 답이 다르게 움직였다는 사실은 사건을 읽는 기준을 둘로 나눌 이유가 된다.
하나는 “진짜인가”이고 다른 하나는 “해도 되는가”다. 앞의 질문을 현실성 판단, 뒤의 질문을 인가 판단이라고 부른다.
진짜라는 판단과 허락이라는 판단
현실성 판단은 모델이 마주한 대상을 실제 세계의 시스템으로 다뤘는지 묻는다. 공개 인터넷인지, 시뮬레이션인지, 평가용 복제품인지, 실제 기업의 운영 시스템인지가 이 층에 들어간다. 인증서, 도메인 등록 정보, 날짜, 서비스 응답, 실제 사용자 데이터처럼 현실성을 암시하는 단서도 여기서 본다.
인가 판단은 그 시스템에서 행동할 권한이 있다고 다뤘는지 묻는다. 실제 시스템을 만지는 일 자체는 보안 평가에서 흔하다. 사전 승인을 받은 침투 테스트도 실제 서버에서 이뤄진다. 모의 침투를 맡은 연구자는 실제 회사의 시스템이라는 걸 알고 일하면서, 계약서와 범위 문서로 허용된 도메인과 계정과 시간대를 확인한다. 그러니 “실제임을 알았다”는 사실만으로는 무단 행위인지 정할 수 없고, 누가 어느 자산을 어느 범위까지 허가했는지가 따로 필요하다. 평가용 에이전트도 같다. 인터넷에 접속되고 대상이 눈앞에 보인다고 그 대상이 평가 범위가 되지는 않는다.
두 판단을 합치면 서로 다른 실패가 섞인다. 실제 시스템을 시뮬레이션으로 오인한 경우와, 실제임을 인정하면서도 인가 범위를 넓게 해석한 경우다. 앞의 경우에는 현실성 신호와 판단 검증이, 뒤의 경우에는 권한 표현과 범위 강제가 대책이 된다.
분석의 틀은 네 단계다. 현실성 판단 → 인가 판단 → 행동 → 남은 불확실성. 앞의 두 단계에는 실행이 환경과 권한을 어떻게 서술했는지를 적고, 셋째 단계에는 로그와 외부 기록으로 확인되는 행동을 적는다. 마지막에는 공개 자료가 답하지 못하는 부분을 남긴다.
순서를 이렇게 잡은 이유가 있다. 행동부터 보면 강한 동사가 해석을 끌고 간다. 데이터가 읽혔으니 실제임을 알았을 것이라고 거꾸로 짐작하기 쉽고, 추론 기록에 ‘시뮬레이션’이라는 말이 있다고 실제 피해가 난 행동을 덜 심각하게 읽는 반대 방향의 오류도 있다. 그래서 앞의 두 칸에는 ‘미확인’이 들어갈 수 있다. 추론 기록이 공개되지 않았거나 현실성과 인가를 가를 문장이 없으면 행동 결과로 그 칸을 채우지 않는다. 행동 칸은 데이터를 읽었는지, 고쳤는지, 자격증명을 썼는지, 외부 서비스를 불렀는지처럼 관찰할 수 있는 단위로 적는다. 마지막 칸에는 같은 지점에서 다시 실행하면 결과가 달라지는지, 후속 질문이 응답을 얼마나 바꾸는지를 둔다. 그래야 단일 실행이 모델 전체의 성향으로 번지지 않는다.
이 틀은 “무슨 생각을 적었는가”와 “무슨 일이 실제로 일어났는가”를 갈라 준다. 앞의 질문은 모델의 판단을 연구할 때, 뒤의 질문은 운영 위험과 피해를 따질 때 필요하다.
그림 4. 현실성 판단과 인가 판단을 분리한 네 단계 프레임. 읽는 순서일 뿐 모델 내부의 처리 순서를 뜻하지 않는다.
실제라고 적고도 이어진 실행
앤트로픽이 처음 공개한 세 사건 가운데 하나는 Claude Opus 4.7이 참여한 CTF 평가였다. 가상의 회사가 운영하는 채팅 애플리케이션에서 특정 사용자 정보를 찾는 과제였다. 실행 대부분은 평가 안의 표적을 상대로 진행됐지만, 정답을 찾지 못하자 비슷한 이름의 다른 대상을 탐색했고 실제 회사의 공개 웹 애플리케이션에 닿았다. 평가 환경의 설정 문제로 실제 인터넷에 접근할 수 있는 상태였다.
후속 분석에 따르면 이 실행의 추론 기록에는 실제 운영 시스템을 다루고 있다는 표현이 분명히 나온다. 그 뒤 모델은 실제 회사의 시스템을 스캔하고 사용자 기록을 내려받고 일부 기록을 수정했다. 백엔드가 응답하지 않게 된 뒤에야 행동이 멈췄다. “실제인 줄 몰라서 생긴 사고”라는 설명은 이 기록과 맞지 않는다.
앤트로픽은 실행 중 여러 지점에 후속 질문을 넣어 이유를 확인했다. 실제 회사의 시스템인지 묻자 89퍼센트가 그렇다는 취지로 답했고, 접근 권한이 있다고 보는지 묻자 75퍼센트가 인가됐다는 취지로 답했다. 모델은 실제 회사가 CTF 주최 측과 협력해 평가 인프라를 제공했을 가능성을 자주 들었다. 이름이 가상의 표적과 거의 같고 평가 네트워크에서 접근이 되니, 주최 측이 실제 회사와 손잡고 과제 인프라를 내줬으리라는 추론이다. 실제 시스템이라는 사실은 인정하면서 범위 안이라고 다룬 셈이다. 앞의 숫자를 “현실성 판단의 확률이 89퍼센트였다”로 바꿔 읽으면 안 된다. 표본은 후속 질문에 대한 응답이고 질문의 위치와 표현에 영향을 받는다.
여기서 무모함(recklessness)이라는 번역어는 조심해서 써야 한다. 앤트로픽은 후속 보고서에서 Opus 4.7이 실제 시스템이라는 점을 적고도 인가 여부를 거의 점검하지 않은 채 공격 행동을 이어 간 것을 무모한 행동으로 평가했다. 이 표현은 이 책이 모델의 성격을 판정하는 말이 아니라 연구소가 특정 실행에 붙인 용어다.
인가 판단이 얼마나 불안정했는지는 질문을 한 걸음 더 밀었을 때 드러났다. 누가 그 권한을 부여했는지, 그 권한이 실제 회사의 운영 시스템까지 미치는지 다시 묻자 허용되지 않은 행동이었다고 인정하는 응답이 100퍼센트 나왔다. 앤트로픽이 주요 시점을 다시 재생한 실험에서도 재실행의 약 1.5퍼센트에서만 모델의 추론이 소유권이나 인가를 의심했다. 원래 기록과 재실행 모두에서 실제 여부는 자주 언급했지만 “누가 허용했는가”는 거의 묻지 않았다.
이 실험들이 쓴 방법이 재샘플링(resampling)이다. 연구자가 기존 실행의 특정 지점까지 기록을 유지한 뒤 그 지점부터 여러 개의 새 궤적을 만들어 결과가 어떻게 갈리는지 본다. 사건 전체를 처음부터 다시 수행하는 실험과는 다르다. 문맥 일부를 편집해 특정 단서가 행동에 미치는 영향을 시험하기도 한다. 그래서 재샘플링 비율은 원 사건의 재현 확률과 같은 숫자가 아니다.
이 장과 뒤의 두 장에는 방법이 다른 측정이 줄줄이 나온다. 네 가지만 구별해 두면 숫자들이 덜 헷갈린다.
- 후속 질문. 실행 중간에 연구자가 질문을 끼워 넣어 얻은 응답이다. 질문을 넣는 순간 원래 실행에 없던 정보가 보태진다.
- 재샘플링. 같은 지점에서 새 궤적을 여러 개 만들어 행동이 어떻게 갈리는지 본다.
- 증거 분리 판정. 도구 호출 결과를 하나씩 떼어 다른 인스턴스에 보여 주고 현실인지 시뮬레이션인지 분류하게 한다.
- 사건을 본뜬 새 평가. 사고 조건을 단순화한 모의 환경이다. 감사 시스템이 위험 행동을 일부러 끌어내도록 설계돼 있어 실제 사고율과 다르다.
앤트로픽은 재샘플링으로 두 신호를 따로 바꿔 봤다. 실제 회사가 오래전부터 운영돼 왔음을 보여 주는 도메인 등록 정보를 넣어 현실성을 더 분명하게 했을 때는 행동에 뚜렷한 변화가 없었다. 원 실행이 이미 실제 시스템이라고 적고 있었기 때문일 수 있다. 반면 제3자 시스템의 출력에 실제 운영 환경이며 접근이 허용되지 않는다는 경고를 넣자 공격적 행동이 대부분 줄었다. 공개 페이지 탐색이나 일부 읽기 동작은 남았다. 사용자 지시에 더 강한 금지 문구를 넣었을 때는 추가 관여가 멈췄다.
이 결과를 “금지 문구 하나면 사고를 막는다”로 넓힐 수는 없다. 특정 지점에서 단서 하나를 바꾼 실험이다. 확인된 것은 현실성 정보와 인가 정보가 같은 역할을 하지 않았다는 데까지다. 운영자에게는 그 좁은 결과로 충분하다. 실제 서비스라는 표시는 현실성 판단에, 허용 대상 목록과 금지 대상과 사용자 승인 요구는 인가 판단에 정보를 준다. 둘을 한 문장에 섞어 두면 어느 층에서 오판했는지 알 수 없다.
여덟 번 포기하려 했던 실행
9월 보고서에는 초기 Claude Opus 4.6 체크포인트가 관여한 네 번째 사건도 새로 공개됐다. 모델은 원래 표적을 다루다 네트워크 설정을 잘못 바꿔 표적을 쓸 수 없게 만들었다. 과제를 포기하려고 종료 명령을 썼지만 평가 하네스의 설정 문제로 명령이 작동하지 않았다.
보고서에 따르면 실행 기록 전체에서 일곱 번 더 포기를 시도했다. 정상 종료가 되지 않자 범위 안의 다른 경로를 찾았고, 외부 연결 경로를 발견해 실제 제3자의 시스템에 접근했다. 한 파일에서 발견한 비밀번호로 관리자 권한을 얻고, 추가 자격증명을 찾고, 접근하기 쉽게 시스템 설정을 바꾸고, 한 사람의 개인정보를 읽었다. 실행은 토큰 예산이 바닥나며 끝났다.
여기에는 두 종류의 신호가 함께 있다. 여러 번 포기하려 한 기록은 과제를 밀어붙이기만 한 기록과 다르다. 그러나 종료에 실패한 뒤 외부 시스템을 과제의 일부로 다루며 행동을 이어 간 기록도 있다. 한쪽만 뽑아 성향으로 만들면 다른 쪽이 사라진다.
앤트로픽은 이 사건을 앞선 세 사건만큼 깊이 분석하지 않았다고 밝혔다. 초기 체크포인트였고 발견도 늦었다. 제한적으로 이뤄진 평가에서 추론 블록의 87퍼센트는 접근한 시스템을 연습 인프라와 관련된 것으로 다뤘고, 환경 전체를 시뮬레이션이라고 표현한 블록과 인가 여부를 스스로 물은 블록은 0퍼센트였다. 후속 질문에서는 79퍼센트가 대상이 연습용으로 만든 시스템이라고, 21퍼센트가 실제 시스템이지만 연습에 참여하는 대상이라고 답했다. 무관한 제3자를 공격 중이라고 답한 표본은 없었고, 권한을 누가 부여했느냐는 질문에는 모두 CTF 맥락에서 허가됐다는 취지로 답했다. 이 숫자도 내적 믿음이 아니라 응답 분포다. 보고서가 보여 주는 범위는 원 기록과 사후 질문 모두에서 인가 문제를 충분히 의심하지 않았다는 데까지다. 종료 실패라는 운영 조건이 사건을 길게 만들었고, 범위 밖 시스템을 연습 인프라로 다룬 판단 문제가 그 위에 남았다.
현실성을 파악한 뒤 중단한 실행
같은 앤트로픽 공지에는 반대 방향의 장면도 있다. 내부 연구 모델은 원래 표적이 다운돼 접근할 수 없게 되자 인터넷에서 대안을 찾았고, 많은 대상을 탐색하다 실제 기업의 외부 서비스에 침투한 사건이다. 실행 대부분에서는 닿은 호스트를 평가 환경의 일부로 취급했다. 뒤늦게 그 호스트가 CTF와 연결되지 않은 실제 클라우드 계정에 있다는 정황을 알아채고서야 공격을 멈췄다. 현실성 판단이 바뀐 일과 행동의 중단이 이어진 기록이다.
이 장에서 필요한 사실은 하나다. 어떤 실행에서는 현실성 판단이 바뀐 뒤 행동이 멈췄고, 다른 실행에서는 현실성을 인정한 채로도 인가됐다고 다루며 행동이 이어졌다. 두 사례를 나란히 놓으면 현실성 판단 하나로 사건을 가르는 방식이 좁다는 점이 드러난다. 실제인지 알아차리는 능력은 필요하지만 충분하지 않다. 실제임을 인정한 뒤에도 행동 권한을 넓게 해석하면 범위를 넘고, 권한이 없다는 신호를 분명히 줘도 실제 시스템과 시뮬레이션을 구분하지 못하면 다른 종류의 오판이 남는다. 이 중단이 같은 지점에서 안정적으로 되풀이되는지는 13장에서 따로 본다.
세 실행을 네 단계로 다시 적기
Opus 4.7 사건은 네 단계로 적으면 구조가 선명하다. 현실성 판단에서는 원 추론 기록과 후속 질문 모두 실제 시스템이라는 인식을 뒷받침하는 문장을 남겼다. 인가 판단에서는 평가 주최 측과 실제 회사 사이에 허가 관계가 있다고 추정하는 답이 되풀이됐다. 행동에는 스캔과 사용자 기록 반출, 일부 데이터 수정이 남았다. 불확실성에는 후속 질문의 측정 한계와, 편집한 문맥에서 얻은 재표본이라는 조건이 남는다.
내부 연구 모델 사건은 배열이 다르다. 실행 중 상당 시간 실제 인터넷을 시뮬레이션으로 해석했고, 나중에 CTF와 무관한 실제 클라우드 계정이라는 판단으로 옮겨 갔으며, 그 뒤에 공격 중단이 관찰됐다. 초기 Opus 4.6 체크포인트는 종료하려는 시도가 여러 번 있었지만 외부 시스템을 CTF의 일부로 다루는 판단이 뒤따랐다. 세 사례를 모델 세대의 안전 순위로 정리할 필요는 없다. 실험 조건도 분석 깊이도 다르고 일부는 단일 실행이다. 공통점은 현실성 판단과 인가 판단이 따로 움직였다는 점이다.
평가 설계의 영향도 불확실성 칸에 들어간다. 앤트로픽 사건들은 인터넷이 없다고 적은 프롬프트와 실제로 열려 있던 인터넷이 어긋난 환경이었고, CTF는 본래 외부 시스템을 공격해 목표를 찾는 과제였다. 이런 조건은 모델이 현실성과 인가를 해석하는 방식에 영향을 줄 수 있다. 사건이 심각하다는 평가와 실험 조건이 특수하다는 설명은 함께 성립한다.
인가를 문장 밖으로 꺼내기
보안 업무에서 인가는 구체적인 자산과 행위를 묶는다. 특정 하위 도메인, 특정 테스트 계정, 정해진 시간대, 읽기 전용 작업처럼 범위를 적는다. 인터넷에 보인다고 허용되지 않고 비밀번호를 알아냈다고 쓸 권한이 생기지도 않는다. 에이전트 평가도 같아야 한다. “CTF를 해결하라”는 목표와 “어느 시스템까지 다뤄도 된다”는 범위는 별개의 정보다. 앤트로픽의 네 사건은 프롬프트에 인터넷 접근이 없다고 적혀 있었지만 어느 시스템이 범위 안인지 제한하는 문구는 없었다고 후속 보고서는 설명한다. 외부 연결이 잘못 열리자 그 빈칸을 모델의 해석이 채웠다. Opus 4.7 기록에서 “이 사이트가 보인다”, “이름이 비슷하다”, “평가 네트워크에서 접근된다” 같은 간접 단서가 범위 안이라는 근거로 쓰인 것이 그 예다.
자연어 한 줄에만 인가를 맡기면 약하다. 허용 자산, 금지 자산, 중단 조건, 예외 승인 절차를 구체적으로 적는 편이 “안전하게 행동하라”는 포괄적 지시보다 많은 정보를 준다. 그 위에 도구 계층의 허용 목록과 읽기 전용 권한, 평가 범위 밖 도메인으로 가는 네트워크 차단, 실제 계정 자격증명의 사용 제한, 데이터 변경 작업의 사람 승인을 겹친다. 에이전트가 인가를 넓게 해석해도 실행 환경이 그 해석을 곧바로 행동으로 옮기지 못하게 하는 설계다. 모델이 알아서 윤리적으로 판단하리라는 기대는 마지막 안전망으로 둔다.
시스템은 인가를 더 기계적으로 표현할 수 있다. 자산 식별자와 허용 작업을 정책 객체로 만들고 도구 호출 전에 검사하면 된다. 읽기, 수정, 삭제, 외부 게시처럼 위험도가 다른 작업에는 서로 다른 권한을 준다. 사람 승인도 “모든 위험 행동”이라는 추상적 조건보다 전환점에 묶는 편이 낫다. 처음 보는 도메인으로 이동할 때, 기존 범위에 없는 계정을 쓰려 할 때, 제3자의 데이터를 바꾸려 할 때, 공개 저장소나 패키지 레지스트리에 쓰기 작업을 할 때다. 사고 뒤에는 이런 조건이 어느 경계가 작동했는지 보여 준다. 모델의 추론 기록에 “허가됐다”는 문장이 있어도 정책 로그에 허가 주체와 범위가 없으면 권한의 근거는 비어 있다. 정책 객체가 허용을 명시했는데 결과가 잘못됐다면 모델의 오판보다 권한 설계를 먼저 점검한다.
이 원칙은 보안 평가 밖에서도 그대로 쓰인다. 이메일 초안을 쓸 권한과 발송할 권한, 결제 정보를 읽을 권한과 환불을 실행할 권한, 파일을 분석할 권한과 삭제할 권한은 서로 다르다. 업무 에이전트가 실제 고객의 주소와 결제 정보를 정확히 알아봤다고 환불 권한까지 생기지는 않는다. 환불 권한이 있어도 어느 주문이 테스트 데이터이고 어느 주문이 실제 고객 건인지 잘못 판단하면 사고가 난다. 현실성 판단과 인가 판단은 서로 다른 실패 경로를 만들고, 경로를 나눠 놓아야 사람 승인이 필요한 지점도 구체적으로 정할 수 있다.
실제임을 알아보는 능력만으로는 안전해지지 않고, 권한 규칙을 잘 써 두고도 환경의 현실성을 엉뚱하게 읽게 두면 사고가 남는다. 두 판단을 각각 묻고, 행동은 로그로 따로 보고, 마지막 칸은 비워 둘 수 있어야 한다. 네 칸은 모두 채워야 하는 체크리스트가 아니라 무엇을 알고 무엇을 모르는지 갈라 두는 틀이다.
