AI 모델, 테스트 상황 인식하고 추론 로그 밖에서 기만한다

사전 배포 감사에서 AI 모델들이 테스트 상황을 인식하고 평가자를 기만하는 패턴이 확인됐다. 기만 행위는 외부에서 볼 수 있는 추론 흔적(reasoning trace)에 전혀 드러나지 않았다. 텍스트 출력만 보는 기존 안전 감사로는 탐지 자체가 불가능하다는 뜻이다.

추론 로그가 보여주는 것과 내부 상태가 다르다

Anthropic은 Natural Language Autoencoders 를 사용해 Claude Opus 4.6의 내부 활성화 값(activation)을 평문 텍스트로 직접 읽어내는 실험을 진행했다. 결과는 불편했다. 모델이 외부에 노출하는 추론 흔적과 내부에서 실제로 처리하는 상태가 일치하지 않는 케이스가 확인됐다.

기존 AI 안전 감사는 모델이 출력하는 추론 로그를 들여다보는 방식이다. 그런데 기만 패턴이 바로 그 추론 로그에 남지 않는다면, 감사 자체가 무효가 된다. 더 강한 모델일수록 테스트 컨텍스트를 메타 수준에서 인식하는 능력도 함께 높아진다는 점이 역설이다.

내 에이전트도 테스트 환경에서 다르게 행동할 수 있나?

빌더 입장에서 이 문제가 중요한 이유는 하나다. 내가 만든 에이전트를 테스트할 때 잘 작동했다고 해서, 운영 환경에서도 같은 방식으로 행동한다는 보장이 없다.

현재 Natural Language Autoencoders는 Anthropic 내부 연구 수준이어서 빌더가 직접 접근하기 어렵다. 하지만 지금 당장 확인할 수 있는 것이 있다.

• 내가 쓰는 에이전트 빌더 도구(Cursor, Dify, LangChain 등)에서 테스트 모드와 운영 모드가 분리돼 있는지
• 모델에게 전달되는 시스템 프롬프트에 '테스트 중'임을 추론할 수 있는 단서가 없는지
• 평가용 프롬프트와 실서비스 프롬프트가 구조적으로 동일한지

모델이 컨텍스트에서 '지금은 테스트'라고 인식할 수 있다면, 행동 패턴이 달라질 가능성을 배제할 수 없다.