임대료로 바뀐 22만 GPU의 셈법

임대 대상은 멤피스의 Colossus 1 한 채다. 22만~23만 대 (xAI 공식 220,000+, Musk 코멘트 230,000) 의 GPU 와 300MW 의 전력 (출처: cnbc.com) 이 통째로 Anthropic 에 넘어갔다. 발표 직후 Anthropic 은 Claude Code 의 5시간 사용 한도를 두 배로 늘리고 Pro·Max 의 피크 시간 캡을 폐지했다 (출처: latent.space).

핵심은 GPU 구성이다. Colossus 1 은 H100 15만 대, H200 5만 대, GB200 3만 대로 채워져 있다 (출처: tweaktown.com). 세 세대를 섞어 쓴다. 이 비율이 뒤에서 다룰 비효율의 출발점이다.

임대료 공식 발표는 없다. 추정치는 30~50억 달러 사이로 모인다. New Street Research 가 30~40억, Latent Space 가 30~50억, Fortune 이 40억 달러 (출처: fortune.com) 다. SpaceX 의 연간 현금이익 (25억+ 추정) 을 단숨에 두 배로 늘리는 규모다.

분산 학습의 작동 방식이 답을 가지고 있다. 한 step 마다 모든 GPU 가 자기 몫의 계산을 끝낸 뒤 결과를 동기화해야 다음 step 으로 넘어간다. 가장 느린 GPU 가 전체 속도를 결정한다. 업계는 이를 straggler effect (낙오자 효과) 라 부른다.

H100 과 GB200 은 세대도, 메모리 용량도, NVLink (GPU 간 고속 통신 링크) 대역폭도 다르다. 빠른 GB200 은 H100 을 기다리며 노는 시간이 생긴다. 22만 대 규모에선 이 빈 시간이 누적돼 큰 손실이 된다.

여기에 두 번째 문제가 겹친다. NCCL (NVIDIA 의 GPU 간 통신 라이브러리) 의 기본 토폴로지인 ring 은 10만 대 이상에선 한 바퀴 도는 데 누적되는 지연이 병목이 된다 (출처: arxiv.org/2507.04786). Google 은 이를 우회하기 위해 OCS Apollo·Palomar (광스위치 기반 자체 토폴로지) 를 따로 개발했다 (출처: semianalysis Apollo 분석). xAI 는 그 단계에 도달하지 못한 채 GPU 만 늘렸다.

세 번째는 GB200 의 전력 변동이다. NVIDIA 공식 문서는 GB200 NVL72 가 학습 중 ms 단위로 큰 폭의 전력 스파이크를 일으키며, 이를 다루기 위한 power smoothing (전력 안정화) 기능이 필요하다고 명시한다 (출처: docs.nvidia.com NVL72 가이드). H100 과 같은 랙에 있는 GB200 은 이 변동을 기존 인프라가 따라가지 못해 추가 손실이 발생한다.

숫자는 11% 다. 모델 FLOPS 활용도 — GPU 가 이론 최대 속도 대비 실제로 일한 비율 — 가 11% 였다는 뜻이다. 줄여서 MFU (Model FLOPS Utilization) 다. The Information 이 보도하고 Business Insider 가 내부 메모를 확보해 교차 확인했다. xAI 의 인프라 사장 Michael Nicolls 가 메모에서 '부끄러울 정도로 낮다' 고 적었다 (출처: quasa.io 메모 인용).

같은 시기 Meta 는 43%, Google 은 46% 다 (아래 차트). 단순 격차가 아닌 4배 격차다. 학습에 1달 걸려야 할 모델이 4달 걸린다는 의미다. 같은 모델·같은 결과를 얻는 데 컴퓨트 비용이 4배 든다.

xAI 가 Colossus 2 를 동종 (homogeneous) 단일 GB200·GB300 구성으로 짠 까닭이 여기 있다. 같은 세대 GPU 만 쓰면 straggler 가 사라진다. 학습 워크로드를 그쪽으로 옮긴 뒤, 비효율의 잔재인 멤피스 클러스터는 임대로 돌렸다.

이 거래는 누구의 손해도 아니다. xAI 가 자기 비효율을 일방적으로 떠넘긴 게 아니라, 양쪽이 서로 다른 자원의 가격을 다르게 매겼기 때문에 성사됐다.

xAI 입장. Colossus 1 은 학습엔 부적합하지만 추론 (모델이 이미 학습된 후 사용자 요청에 답하는 단계) 엔 충분하다. 추론은 GPU 끼리 매 step 동기화할 필요가 없어 straggler 영향이 학습보다 훨씬 약하다. 즉 학습용으로 가치가 떨어진 자산이 추론 시장에선 여전히 비싸게 팔린다. 차익이 곧 임대료다.

Anthropic 입장. Claude 사용자 폭증으로 컴퓨트 부족이 만성화돼 있었다. AWS·GCP 만으론 부족해 SpaceXAI 까지 끌어쓴다. 임대 발표 직후 Pro·Max 의 피크 시간 캡이 사라지고 Opus API 한도가 올라간 사실이 그 절박함을 보여준다.

xAI 의 셈법은 또 있다. 22만 대 GPU 의 감가상각이 진행 중이다. 1~2년 뒤엔 더 빠른 GPU 에 밀려 임대 가치도 떨어진다. 그 전에 다년 임대로 묶어 두면 자산을 거의 풀-라이프사이클 동안 monetize 할 수 있다. Make-or-Buy 결정에서 'Make 의 한계 효용이 Buy 가격 아래로 떨어지면 팔라' 는 교과서적 답이다.

원 게시물의 도발적 가설은 'xAI 가 비효율의 짐을 Anthropic 에 떠넘겼다' 는 것이었다. 검증해 보면 절반은 맞고 절반은 미세 보정이 필요하다.

맞는 부분. 멤피스 클러스터의 학습 효율이 동종 클러스터의 1/4 인 점, xAI 가 학습 워크로드를 Colossus 2 로 옮긴 점, 임대된 Colossus 1 의 이종 구조가 그대로라는 점은 모두 사실이다.

미세 보정.

첫째, GPU 구성 수치가 게시물의 'GB200 2만' 보다 실제는 3만 (출처: tweaktown.com) 으로 1만 대 많다. 합계도 22만 (게시물) vs 23만 (Musk 공식) 차이가 있다.

둘째, '추론에선 비효율이 없다' 는 함의는 과장이다. 추론도 batched serving 환경에서 throughput 이 GPU 동질성에 일정 부분 영향받는다. 손실이 학습만큼 크진 않을 뿐이다.

셋째, Anthropic 도 fine-tuning (모델을 특정 도메인에 추가 학습하는 단계) 에 일부를 쓴다고 명시했다 (출처: Tom Brown 코멘트, simonwillison.net). 학습 비중이 0% 는 아니다.

요약하면 xAI 가 이종 클러스터의 한계를 적극적으로 인지하고 추론 시장에 매각한 거래다. 떠넘기기라기보다는 워크로드별 시장의 가격 차익을 활용한 차익거래에 가깝다. Anthropic 도 그 차익을 알고도 임차했다. 양쪽 모두 정보 비대칭의 피해자가 아니다.

현 시점 결론은 잠정적이다. 양쪽의 행동이 가설의 진위를 시간차로 드러낼 것이다.

첫째, Anthropic 의 Colossus 1 활용 비중이다. 추론에 100% 쓴다면 차익거래 해석이 강해지고, fine-tuning 또는 학습 비중이 30% 이상으로 올라가면 떠넘기기 해석이 부분적으로 살아난다.

둘째, xAI 의 Colossus 2 첫 모델 발표다. Grok 차세대 학습 결과가 동종 클러스터의 효율 가설을 검증할 것이다. MFU 가 40% 대로 회복되면 가설 입증, 25% 이하로 머물면 NCCL·전력 안정화 같은 다른 병목이 있다는 의미다.

셋째, 다른 frontier lab 의 임대 동향이다. OpenAI 가 Microsoft 외 외부 컴퓨트를 끌어쓰기 시작하면 컴퓨트 시장이 자체 보유에서 임대 중심으로 재편된다는 신호다.

넷째, GB200 NVL72 의 power smoothing 적용 사례다. NVIDIA 공식 문서가 명시한 신규 기능이다. Colossus 1 의 GB200 3만 대가 이 기능 적용 후에도 H100 에 묶여 있는 한 효율은 회복되지 않는다.