NVIDIA, 소형 모델의 Bash 오류를 문법 제약으로 줄인다

grep을 잘못 쓰면 파일이 사라지고, curl이 틀리면 데이터가 외부로 나간다. AI 에이전트가 Bash를 직접 실행하는 순간 생기는 리스크다. NVIDIA가 소형 언어 모델(SLM)에서 이 문제를 '문법 제약 디코딩'으로 줄이는 방법을 공개했다. 성능 개선 수치는 원문에 공개되지 않았으나, 접근 자체가 대형 모델 의존 없이 에이전트 도구 실행 신뢰성을 높이려는 구조적 시도다.

문법 제약 디코딩은 어떻게 작동하는가

Grammar-Constrained Decoding은 모델이 토큰을 생성하는 디코딩 단계에서 문법적으로 유효한 Bash 명령어만 출력하도록 강제 제한을 거는 방식이다. 모델이 잘못된 Bash 문법을 생성하려 할 때, 디코딩 단계에서 그 경로 자체를 차단한다.

이 접근이 중요한 이유는 구조적이다. 에이전트가 Bash를 실행할 수 있으면 능력이 폭발적으로 늘지만, 잘못된 명령어 하나가 시스템 전체에 영향을 준다. 이 리스크 때문에 지금까지 에이전트 도구 실행에는 GPT-4o 같은 대형 모델만 쓰였고, SLM은 보조 역할에 머물렀다. NVIDIA의 시도는 이 병목을 '모델 크기'가 아니라 '디코딩 제약'으로 풀려는 것이다.

빌더에게 지금 의미 있는 것과 아직 한계인 것

이 기법이 실용화되면 온디바이스·엣지 환경에서도 Bash를 더 안전하게 실행하는 에이전트를 낮은 비용으로 구축할 수 있게 된다. 대형 모델 API 비용 없이 로컬 SLM으로 자동화 파이프라인을 만들려는 빌더에게 현실적인 선택지가 생기는 것이다.

다만 이 기법에는 분명한 한계가 있다. 문법 오류를 줄이는 것이지, 문법적으로는 맞지만 의미적으로 위험한 명령어 (예: 올바른 문법의 rm -rf )는 막지 못한다. 이 지점에서 OpenAI Codex의 구조와 레이어가 갈린다. Codex는 샌드박스와 HITL로 실행 환경 자체를 격리하고, NVIDIA의 접근은 생성 단계에서 문법을 제어한다. 두 접근은 경쟁이 아니라 보완이다 — 생성 단계 제약과 실행 단계 격리를 함께 쓰는 것이 현재로서는 가장 안전한 구조다.

정확도 개선 폭 등 구체적인 성능 수치는 NVIDIA 원문에 공개되지 않았다.