RAG 임베딩 튜닝, 검색 정확도 최대 40% 하락 가능

임베딩 모델을 정밀하게 fine-tune할수록 RAG 검색 정확도가 최대 40% 하락할 수 있다. Redis 연구팀 논문 결과다. 벤치마크 점수는 오르는데 실제 기업 문서에서는 관련 문서를 놓치는 역설 — 에이전트 파이프라인을 운영 중이라면 지금 확인이 필요하다.

왜 튜닝이 오히려 검색을 망치나?

Redis 연구팀의 논문 Training for Compositional Sensitivity Reduces Dense Retrieval Generalization 이 핵심을 짚는다. compositional sensitivity 란 의미가 거의 같지만 다른 문장을 구분하는 능력이다. 이 능력을 높이도록 fine-tune하면 특정 쿼리에 대한 정밀도는 올라가지만, 일반화(generalization) 능력이 잠식된다.

결과는 역설적이다. 벤치마크 점수는 오르는데, 실제 기업 문서 환경에서는 관련 문서를 놓치는 빈도가 늘어난다. dense retrieval 모델은 정밀도와 일반화 사이에 구조적 트레이드오프가 있다. 하나를 높이면 다른 하나가 깎인다.

단, 40% 수치는 Redis 연구의 특정 실험 조건에서 나온 것이다. 모든 파이프라인에 그대로 적용되는 수치가 아니다.

에이전트 파이프라인에서 이 문제가 위험한 이유

RAG가 망가지면 에이전트 응답 품질 전체가 비가시적으로 저하된다. 에러가 나는 게 아니라, 틀린 답을 조용히 내놓는다. 대부분의 에이전트 파이프라인에는 RAG 열화를 즉시 감지할 모니터링 레이어가 없다. 문제가 누적되는 동안 빌더는 파이프라인이 잘 작동하고 있다고 착각하기 쉽다.

도메인 문서에 맞춰 임베딩을 fine-tune하는 관행이 기업 팀 사이에서 일반화되고 있다는 게 Redis 연구팀의 경고다. 이 트레이드오프를 인지하지 못한 채 파이프라인에 투입하는 사례가 늘어나고 있다는 점이 문제의 핵심이다.