구글 TPU 8세대, 학습용 8t·추론용 8i로 아키텍처 이원화

구글이 4월 22일 Google Cloud Next에서 8세대 TPU를 공개했다. 이전 세대와 결정적으로 다른 점은 단일 칩이 아니라는 것이다. 학습용 'TPU 8t'와 실시간 추론용 'TPU 8i', 목적별로 아키텍처를 완전히 분리했다.

학습과 추론을 왜 쪼갰나

학습과 추론은 요구 조건이 근본적으로 다르다. 학습은 대규모 행렬 연산과 높은 메모리 대역폭이 필요하고, 추론은 낮은 지연(latency)과 에너지 효율이 핵심이다. 하나의 칩으로 두 조건을 동시에 최적화하는 데는 한계가 있다. 구글은 이번 세대에서 그 한계를 포기 대신 분리로 돌파했다.

수직 통합 전략도 읽힌다. 칩부터 소프트웨어까지 자체 스택을 갖추면, 엔비디아 GPU 의존도를 낮추고 클라우드 원가 구조를 차별화할 수 있다.

구글 클라우드 쓰는 개발자에게 달라지는 것

당장 확인할 것은 두 가지다. TPU 8t/8i의 Google Cloud 콘솔 내 가용 여부, 그리고 현재 사용 중인 GPU 인스턴스 대비 가격표. 구글은 아직 구체적인 성능 수치와 가격을 공개하지 않았다. 엔비디아 GPU를 앞선다는 비교 데이터도 없다. 발표와 실제 도입 가능 시점 사이의 간격을 확인하는 것이 먼저다.

한국에서의 출시 시점과 가용 리전은 현재 미공개다. Google Cloud Next 발표 이후 공식 문서에서 확인이 필요하다.