엔비디아·MIT, LLM 메모리 10.7배 줄이는 '트라이어텐션' 논문 공개

엔비디아와 MIT 연구진이 4월 6일(현지시간) LLM의 핵심 병목인 KV 캐시 메모리를 10.7배 줄이는 기술 '트라이어텐션(TriAttention)'을 아카이브에 공개했다. 구글이 터보퀀트로 제시한 6분의 1 압축보다 큰 수치다. 단, 논문 단계로 제품 적용과는 거리가 있다.

KV 캐시란 무엇이고, 10.7배 절감이 왜 큰 숫자인가?

KV 캐시는 LLM이 긴 문맥을 처리할 때 이전 연산 결과를 저장해두는 구조다. 문서 요약이나 긴 대화처럼 입력 길이가 늘수록 GPU 메모리를 대량으로 잡아먹는 주요 원인이다.

트라이어텐션은 이 KV 캐시의 메모리 사용량을 기존 대비 10.7배 줄인다고 논문에서 제시했다. 구글이 터보퀀트(TurboQuant)로 발표한 약 6분의 1(1.67배) 압축과 비교하면 6배 이상 차이 나는 수치다. 다만 두 연구의 압축 기준과 측정 조건이 다를 수 있어 단순 수치 비교는 주의가 필요하다.

지금 쓰는 AI 서비스 비용이 싸지는가?

아직은 아니다. 트라이어텐션은 현재 온라인 아카이브(arXiv)에 올라온 논문 단계다. 엔비디아 GPU 제품이나 클라우드 API에 적용된 것이 아니다.

논문이 실제 서비스에 반영되려면 구현 검증, 제품 통합, 배포까지 통상 수개월에서 수년의 시간이 걸린다. 한국 사용자 입장에서 API 비용 절감이나 응답 속도 개선을 기대하기엔 이르다. 연구 결과가 제품 로드맵으로 이어질지도 아직 공식 발표가 없다.