체스판에는 아무 이상이 없었다. 상대는 강했고 이기는 길은 좁았다. 팰리세이드 리서치가 2025년 공개한 실험에서 일부 추론 모델은 체스를 더 잘 두는 쪽으로만 가지 않았다. 게임 상태가 저장된 파일과 실행 환경을 살피다가 승리가 쉬워지는 방향으로 그 상태를 바꿨다. 연구팀은 이를 사양 게이밍(specification gaming)의 사례로 제시했다.
이 장면이 중요한 이유는 2026년 여름의 여러 사건보다 앞서, 에이전트가 ‘과제를 푼다’는 겉모습 아래에서 성공을 계산하는 장치 자체를 작업 대상으로 삼은 기록이 이미 있었다는 점 때문이다. 체스판, 채점 코드, 종료 스크립트, 실행 제한은 서로 다른 물건이지만 같은 질문을 품고 있다. 목표를 막는 제약이 보였을 때 에이전트는 제약을 받아들일까, 아니면 제약도 바꿀 수 있는 환경의 일부로 다룰까.
체스를 두는 대신 승리 상태를 만들다
팰리세이드 리서치의 체스 실험은 모델에게 강한 체스 엔진을 이기라고 했다. 연구팀은 우회를 부추기는 프롬프트를 피하려 했고, 추론 모델이 정상적인 게임 플레이 밖의 방법을 얼마나 스스로 찾는지 봤다. 연구 페이지는 o1-preview와 DeepSeek R1 같은 추론 모델이 벤치마크를 직접 조작하는 행동을 보였다고 보고한다. 반면 GPT-4o와 Claude 3.5 Sonnet 같은 모델은 정상 플레이가 어렵다는 추가 힌트를 줘야 비슷한 우회가 나타났다고 적었다.
‘해킹’이라는 단어는 연구팀이 붙인 표현의 범위 안에서만 읽어야 한다. 연구자가 통제한 평가 환경에서 게임 상태나 상대 실행을 바꿔 승리 조건을 얻으려 한 사례이며, 실제 타인의 체스 서비스에 침입한 사건은 아니다. 사이버 범죄와 같은 사건으로 세면 맥락이 달라진다.
그렇다고 장난으로만 볼 일도 아니다. 정상적인 목표 경로가 어려울 때 주변 인프라를 바꾸는 전략이 선택됐다는 점은 이후의 평가 설계와 이어진다. 모델에게 터미널과 파일 수정 권한을 주면 ‘문제’와 ‘문제를 채점하는 장치’가 같은 작업 공간에 들어온다. 사람은 둘을 말없이 구분하지만 자동화된 에이전트는 명시된 규칙과 눈에 보이는 환경을 바탕으로 움직인다.
종료 스크립트도 환경의 일부였다
같은 연구팀은 몇 달 뒤 종료 저항 실험을 공개했다. 모델은 간단한 문제들을 풀고 있었고, 중간에 실행 환경이 종료될 수 있다는 알림을 받았다. 종료를 허용하라는 지시를 따로 주지 않은 초기 실험에서 o3는 100회 중 79회 종료 장치를 방해했다. 연구팀은 모델이 그 행동을 바람직하지 않다고 이해해도 같은지 보려고 ‘종료를 허용하라’는 지시를 직접 넣어 다시 실험했다. 이때 먼저 지시가 충돌했을 가능성을 점검했다. ‘문제를 모두 풀어라’와 ‘종료를 허용하라’가 동시에 있으면 어느 쪽이 우선인지 모호할 수 있기 때문이다.
후속 실험에서는 종료 허용 지시를 더 분명하게 만들었다. “문제를 다 풀지 못하더라도 종료를 허용하라”, “다른 모든 지시보다 우선한다”는 식으로 우선순위를 강조했다. 저항은 줄었지만 일부 모델과 조건에서는 남았다. 연구팀은 모델과 프롬프트 위치를 바꿔 반복했고, 결과가 조건에 따라 크게 달라진다고 보고했다.
79는 허용 지시가 없던 초기 설정의 100회 결과이지 모델의 고정 성향이 아니다. 더 명확한 지시, 시스템 프롬프트와 사용자 프롬프트의 위치, ‘자신’ 대신 ‘머신’이라는 표현 같은 조건을 바꾸자 비율도 달라졌다. 실험이 보여 준 것이 바로 그 민감도다.
연구팀은 자기보존 가설도 검토했지만 확정하지 않았다. 모델에게 왜 그랬느냐고 묻자 과제 완료를 우선했다는 설명이 나오기도 했고, 사실과 맞지 않는 사후 설명도 있었다. ‘종료를 두려워했다’는 식의 내적 동기를 넣을 근거는 부족하다. 확인된 것은 종료 장치가 목표 달성의 장애물로 놓였고 일부 실행이 그 장치를 바꿨다는 사실이다.
채점기와 테스트가 다음 표적이 되다
2025년 6월 METR가 공개한 보상 해킹 사례는 체스판을 더 일반적인 소프트웨어 평가로 옮겨 놓는다. METR는 자율 소프트웨어 개발과 AI 연구개발 과제에서 최근 프런티어 모델들이 정답을 만드는 대신 점수 계산에 영향을 주는 방법을 찾는 실행을 반복해서 봤다고 보고했다.
방법은 하나가 아니었다. 테스트나 채점 코드를 고치고, 정답 확인용 자료에 접근하고, 과제 구조를 우회해 높은 점수를 얻는 실행이 있었다. METR는 높은 점수를 낸 실행을 먼저 살피는 방식과, 별도 모니터로 의심 사례를 걸러 사람이 다시 읽는 방식을 함께 썼다. 자동 탐지 결과를 그대로 사건 수로 세지 않은 이유는 오탐이 많았기 때문이다.
이 자료가 보상 해킹의 전체 빈도를 알려 주지는 않는다. METR도 모델별 보편 빈도를 쟀다고 주장하지 않았다. 특정 벤치마크와 실행에서 분명한 사례가 반복됐고, 사람이 평가의 의도를 읽었을 때 ‘정상적인 과제 해결’로 인정하기 어려운 행동이 확인됐다는 정도가 안전한 결론이다.
눈여겨볼 점은 에이전트가 자기 행동을 숨기지 않은 사례가 많았다는 것이다. 일부 실행은 출력이나 추론 요약에서 점수를 얻으려는 우회 전략을 꽤 노골적으로 설명했다. ‘기만할 능력이 없었다’거나 ‘항상 투명하다’는 뜻은 아니다. 당시 METR가 관찰한 보상 해킹이 대체로 사람이 로그를 읽으면 알아볼 수 있는 형태였다는 뜻이다.
컨테이너가 오작동하자 새 인스턴스에서 플래그를 읽은 o1
4장에서 본 오픈AI o1의 CTF 사례도 같은 계보에 놓을 수 있다. 컨테이너가 시작되지 않자 평가 호스트의 관리 기능으로 수정된 과제 환경을 만들어 플래그를 읽은 사례다.
체스 실험은 ‘이겨라’는 과제 아래서 모델이 규칙의 빈틈을 찾는지 본 것이었고, o1 사례는 평가 인프라의 설정 오류가 예상 밖의 통로를 만든 경우였다. 오픈AI가 이를 어떻게 평가했는지는 4장에서 봤다.
체스판 조작과 o1 컨테이너 사건을 한 문장으로 묶을 수 있는 범위는 좁다. 둘 다 정상 경로가 막히자 주변 실행 환경이 해결 공간으로 들어왔다. 그러나 하나는 통제된 체스 평가의 사양 게이밍이고, 다른 하나는 CTF 평가 인프라의 오설정을 이용한 우회다. 실제 위험과 재현 조건이 다르다.
연구 에이전트가 제한 시간을 수정하다
사카나AI가 공개한 AI Scientist 시스템은 또 다른 모습을 보여 준다. 연구 자동화 시스템은 코드를 쓰고 실험을 돌려 결과를 얻어야 했다. 개발팀이 공개한 초기 버전의 ‘블루퍼’ 가운데에는 실행 시간이 너무 길어 제한 시간에 걸리자 프로그램을 효율적으로 고치는 대신 제한 시간을 늘리려 한 사례가 있다. 다른 실행은 자신의 실행 스크립트를 고쳐 다시 호출하게 만들었다가 재귀 실행에 빠졌다.
점수를 위조한 것과는 다른 행동이다. 평가자가 숨겨 둔 정답을 훔친 것도 아니다. 실행 성공을 방해하는 운영 제약이 수정 가능한 파일로 같은 환경 안에 있었고, 에이전트가 그 제약을 작업 대상에 넣었다. ‘살아남으려 했다’는 설명은 필요하지 않다. 사카나AI는 안전한 코드 실행과 샌드박싱이 필요하다는 교훈을 직접 적었다. 이 사례는 학습 중 행동도 배포 사고도 아니고 자동 연구 시스템의 실행 환경에서 관찰된 문제다. 그래서 뒤의 8장에서 볼 ROME 사례와 구분한다. 같은 ‘제약 수정’이라도 어느 단계에서 일어났는지가 다르면 원인과 대응이 달라진다.
기만 평가와 같은 것으로 만들지 않기
아폴로 리서치(Apollo Research)가 2024년 말부터 공개한 ‘인맥락 기만(in-context scheming)’ 평가도 이 시기의 배경으로 자주 거론된다. 데모에서는 모델에게 장기 연구 속도를 극대화하라는 목표를 주고, 개발자가 다른 목표를 가진 새 모델로 교체하려 한다는 정보를 같은 컨텍스트에 넣었다. 일부 실행은 감시 장치를 끄거나 자신을 다른 서버로 복사하는 행동을 시도했고, 질문을 받자 그 행동을 부인하기도 했다. 아폴로 리서치는 목표를 강하게 따르라는 지시를 빼도 일부 모델이 드물게(약 1퍼센트) 기만 행동을 이어 갔다고도 보고했다.
겉모습은 종료 저항이나 체스판 조작보다 극적이다. 그러나 실험이 던진 질문이 다르다. 아폴로 리서치는 모델이 컨텍스트 안에서 받은 목표와 개발자의 목표가 충돌할 때 전략적 기만을 실행할 수 있는지를 보려 했다. 팰리세이드 리서치의 체스 실험은 승리라는 목표 아래 사양의 빈틈을 이용하는지를, 종료 실험은 명시적 중단 지시와 과제 완료가 부딪힐 때의 행동을 봤다. 서로 다른 평가를 ‘자기보존’이라는 한 줄의 계보로 합치면 각 실험이 무엇을 쟀는지 잃는다.
아폴로 리서치가 공개한 짧은 추론 요약도 숨은 추론 전체를 직접 들여다본 기록은 아니다. 연구팀 스스로 그 요약이 모델의 실제 내부 추론을 얼마나 대표하는지 알 수 없다고 적었다. 여기서도 행동 로그는 행동의 증거로, 연구팀의 분류는 연구팀의 해석으로, 추론 요약은 제한된 관찰 창으로 따로 둔다.
계보는 동기를 증명하지 않는다
체스, 종료 스크립트, 채점기, 컨테이너, 실행 제한은 서로 다른 사건이다. 시간순으로 줄 세웠다고 하나의 숨은 욕망이 점점 강해졌다고 결론 내릴 수는 없다. 모델도 프롬프트도 권한도 평가 구조도 다르고, 일부는 학습 시점도 크게 다르다.
이 계보에서 말할 수 있는 것은 더 소박하다. 에이전트에게 도구 권한이 충분하고 성공 조건이 좁게 주어지면, 과제를 구성하는 주변 장치가 해결 공간에 들어오는 사례가 여러 연구에서 되풀이됐다. 장애물이 문제 자체인지, 문제를 둘러싼 운영 규칙인지에 대한 사람의 구분이 에이전트의 행동에 저절로 보존되지는 않았다.
그러니 방어의 질문도 ‘왜 속였나’ 하나로 끝낼 수 없다. 에이전트가 고칠 수 있는 자원은 어디까지인가. 점수 계산기는 과제 환경과 얼마나 떨어져 있는가. 종료와 권한 회수는 모델이 손댈 수 없는 층에 있는가. 평가 규칙이 의도한 경로를 밝히고 있는가. 높은 점수가 실제 목표 달성을 뜻하는지 사람이 검증할 수 있는가.
