LLM, 문서를 삭제 아닌 조용한 재작성으로 망친다. 기관 63%는 무방비

Microsoft 연구진이 LLM이 문서를 반복 처리할 때 내용을 조용히 변형한다는 것을 실험으로 확인했다. 오류가 삭제가 아닌 재작성 형태라 발견이 거의 불가능하다. 기관 63%가 AI 거버넌스 정책조차 없는 상황에서 나온 경고다.

왜 '재작성'이 '삭제'보다 위험한가

삭제된 내용은 눈에 띈다. 재작성된 내용은 그렇지 않다. Microsoft 연구진이 개발한 벤치마크는 LLM이 문서를 여러 라운드에 걸쳐 반복 처리할 때 원본에 얼마나 충실한지를 측정한다. 실험 결과, 에이전트가 문서를 다시 읽고 처리할수록 오류가 누적 된다는 것이 확인됐다.

문제는 파이프라인 구조다. 요약 → 번역 → 정리처럼 에이전트가 같은 문서를 여러 번 통과시키는 방식에서는 각 단계의 작은 변형이 쌓인다. 최종 결과물이 원본과 달라져 있어도, 그 차이를 알아채기 어렵다.

기관 63%가 거버넌스 정책 없이 에이전트를 쓰고 있다

문서 처리 에이전트를 이미 쓰고 있다면 지금 당장 점검해야 할 것이 있다. 원본과 결과물을 나란히 비교하는 단계가 파이프라인 안에 있는가.

marktechpost 보고에 따르면 기관의 63% 가 AI 거버넌스 정책을 아직 갖추지 못한 상태다. 도구의 속도가 정책을 앞서고 있다는 뜻이고, 이 연구가 발견한 '조용한 재작성' 오류는 그 공백에서 자란다. 에이전트에 문서 작업을 맡기기 전에, 검증 단계를 하나 끼워 넣는 것이 최소한의 방어선이다.