단일 벤치마크를 넘어 Google TPU 추론 경제성 평가하기

Ironwood의 외부 측정치는 Google TPU를 검토 목록에 넣을 이유가 되지만 보편적 승자를 뜻하지는 않습니다. InferenceX는 선택된 모델과 운전점에서 달러당 성능이 유리하다고 보고하면서도, 높은 동시성에서 첫 토큰까지의 시간에는 다른 선택이 필요함을 보여 줍니다. 따라서 전면 이전이 아니라 되돌릴 수 있는 비교 실험이 적절합니다.

가속기보다 서비스를 먼저 정의한다

입력·출력 토큰 길이, 동시성, 첫 토큰과 생성 중 지연 목표, 정밀도, 리전, 오류 예산을 기록합니다. 긴 프롬프트와 긴 답변의 시험은 유용하지만, 계속 늘어나는 문맥을 읽는 코딩 에이전트, 대기 시간을 견디기 어려운 음성 서비스, 총 처리량이 중요한 배치 작업을 대표하지는 않습니다. 모델 형태가 안정적이고 대량으로 처리되는 업무는 TPU 파일럿에 적합합니다. 모델을 자주 바꾸거나 특수 커널, 엄격한 대화형 지연이 필요한 서비스는 더 강한 근거가 필요합니다.

비용 곡선은 검증할 가설이다

달러당 우위라는 제목만으로 결론 내리지 마십시오. 동시성 단계마다 처리량, 첫 토큰 시간, 토큰 간 지연, 꼬리 지연을 측정하고 모델, 정밀도, 품질 목표, 라우팅을 맞춥니다. 더 큰 배치는 토큰 비용을 낮추지만 사용자 경험을 허용 범위 밖으로 밀어낼 수 있습니다. 총비용은 이용률, 전력, 네트워크, 약정, 용량, 리전 가격에도 좌우됩니다. Google 내부 경제성을 고객 가격으로 가정하지 말고 보수적·낙관적 시나리오를 모두 남겨야 합니다.

운영 전략도 동일하게 비교한다

공정한 시험에서는 서빙 전략도 맞춰야 합니다. GPU는 프롬프트 처리와 생성을 분리하고 TPU는 통합 서빙을 사용한다면, 결과는 칩 자체뿐 아니라 소프트웨어 성숙도를 보여 줍니다. 캐시 정책, 실패 재시도, 자동 확장, 버전 복구를 기록하고 긴 대기 시간을 살펴보십시오. 후보 모델마다 지원 정밀도와 리전 용량을 확인하며, 양자화나 대기열 정책이 품질을 바꾸지 않는지도 응용팀과 검토합니다. 동일한 요청 집합과 소프트웨어 버전, 실패 사례를 보존하면 다음 모델이나 컴파일러 업데이트 뒤에도 차이의 원인을 추적할 수 있습니다.

소프트웨어 성숙도를 통과 기준으로 둔다

CUDA의 도구, 커널, 진단, 운영 경험은 실제 가치가 있습니다. TorchTPU와 SGLang은 PyTorch 팀의 진입을 돕지만, 추측 디코딩, 분리형 서빙, 캐시 오프로딩, 다중 턴 에이전트에는 공백이 있을 수 있습니다. 목표 모델이 별도 커널 프로젝트 없이 실행되는지, 팀이 느린 요청을 추적하고 버전을 되돌리며 성능 저하를 재현할 수 있는지 시험해야 합니다. 지속적인 전문가 개입이 필요한 토큰 절감은 반복 가능한 절감이 아닙니다.

하나의 모델, 하나의 작업군, 고정 트래픽 비율, 명확한 롤백으로 시작해 완료 요청당 비용, 품질, SLO, 운영 시간, 복구를 측정하십시오. 리전, 용량, 보안, 관측성, 퇴출 경로도 결과의 일부입니다. 발표된 TPU 8i는 미래 시나리오이며 현재 Ironwood 평가 점수를 올리는 근거가 아닙니다.