올거나이즈, ACL 2026서 RAG 벤치마크 구조 결함 실증

한국 AI 스타트업 올거나이즈가 ACL 2026 메인 컨퍼런스에 채택된 'RARE' 논문에서 기존 RAG 벤치마크(MS MARCO, HotpotQA)가 금융·법률 현장 성능을 최대 5%p 과대평가한다는 구조적 결함을 실증했다. 1만2000건 제출 중 19%만 통과하는 탑티어 학회에서 한국 스타트업이 벤치마크 설계 자체를 문제로 끌어올렸다는 점이 핵심이다.

왜 범용 벤치마크가 기업 현장에서 틀리는가

MS MARCO·HotpotQA는 일상적 질의응답을 기준으로 설계됐다. 금융 계약서·법률 판례처럼 복잡한 전문 문서를 검색하는 패턴은 설계 범위 밖이다. 결과적으로 벤치마크에서 80%를 기록한 RAG 시스템이 실제 금융·법률 현장에서는 75% 안팎으로 내려앉는 상황이 반복된다.

올거나이즈는 이 격차를 수치로 입증하고 개선 방법론을 제시했다. 단순한 도입 사례가 아니라 벤치마크 평가 체계 자체를 문제 삼은 연구다. 국내 AI 기업이 글로벌 탑티어 학회에서 평가 방법론 논문으로 채택된 것은 드문 사례다.

RAG 도입을 검토 중인 기업이 지금 확인해야 할 구조

기업 전략팀이 RAG 솔루션 제안서를 받을 때 벤치마크 출처를 확인하는 것이 출발점이다. 제안서에 MS MARCO나 HotpotQA 기반 수치가 있다면 금융·법률 현장 성능과 최대 5%p 괴리를 전제해야 한다.

• 벤더에게 '우리 도메인 문서로 PoC 가능한가' 를 요청하라
• 파일럿 단계에서 범용 벤치마크 수치가 아닌 실제 내부 문서로 평가하라
• ACL 등 피어리뷰 학회에서 검증된 방법론을 적용하는지 확인하라