12억 토큰, 답이 흔들리는 분기점

월 6억~12억 토큰. 자체 구축이 API를 이기기 시작하는 분기점이다. 이 숫자가 어디서 나오는가. Sitepoint의 2026 TCO (총소유비용) 분석에 따르면, 헤비티어 자체 호스팅의 36개월 누적 비용은 $391,707이다. 1년차 초기 투자가 $308,000, 2~3년차는 전기료와 엔지니어 인건비를 합쳐 연 $41,680이 더 든다. 36개월 평균을 처리한 토큰량으로 나누면 실효 단가가 100만 토큰당 약 $7.15. 여기에 vLLM의 PagedAttention과 continuous batching이 처리량을 20~40% 끌어올리면서 격차가 좁혀졌다.

같은 표를 API 쪽에서 다시 짠다. Claude Opus 4.6의 $5/$25 단가에 입력·출력 비율 4:1을 가정하면 100만 토큰당 평균 $9 안팎. Gemini 3.1 Pro는 $4 안팎이다. 단순 단가만 늘어놓으면 격차가 2배 안으로 들어왔다 (아래 차트).

분기가 바뀌는 지점은 사용량이다. 월 12억 토큰을 365일 동일하게 쓴다면 API 청구액이 자체 구축 TCO를 추월한다. 코드 보조처럼 토큰당 가치가 큰 워크로드에선 그 분기점이 월 6억까지 내려간다. 단 이 산수엔 세 개의 회색 지대가 남는다.

첫째, 엔지니어 인건비를 어디까지 자체 구축에 귀속시키나.

둘째, 모델 진부화 비용 — 1년 후 출시될 차세대 오픈웨이트로 전환 시 학습·튜닝 노력이 다시 든다.

셋째, GPU 가격 하락 속도. H200 다음 세대가 30% 싸게 풀리면 분기점이 또 한 번 흔들린다.

왜 같은 산수에서 어떤 조직은 자체 구축으로 가고 어떤 조직은 API에 머무는가. 사용량 하나만으로는 답이 안 나온다. 결정은 세 축의 결합이다.

첫 축은 월간 토큰량이다. 월 1억 미만이면 API가 거의 항상 이긴다. 1~6억 사이에선 프롬프트 캐싱과 50% Batch 할인을 활용한 API 최적화가 자체 구축을 누른다. 6~12억 구간이 회색 지대다. 12억 이상이면 자체 구축이 산수상 우세하지만 안정적인 가동률이 전제다.

둘째 축은 데이터 민감도다. 산수와 무관하게 자체 구축을 강제하는 영역이 있다. 금융권 망분리 환경, 개인정보 처리 시스템, 국가안보 데이터, 의료 영상 분석 등이다. 이 영역은 'API가 더 싸다' 는 명제 자체가 성립하지 않는다. 데이터 외부 반출이 법적·계약적으로 막힌 시점에서 결정은 끝난 것이다.

셋째 축은 지연시간 요건이다. 자체 H100 vLLM 환경에서 응답 첫 토큰까지 18ms, 클라우드 API 평균 350ms (출처: dev.to pooyagolchian, 2026). 18ms와 350ms는 같은 사용 경험이 아니다. 실시간 음성 어시스턴트, 자율주행 보조, 트레이딩 시스템처럼 지연이 가치로 직결되는 영역에선 단가 비교가 부차적이다.

세 축이 모두 자체 구축 쪽을 가리키면 결정은 명확하다. 모두 API 쪽이면 그것도 명확하다. 실제 의사결정의 어려움은 두 축은 자체, 한 축은 API를 가리킬 때 — 즉 가중치를 직접 정해야 할 때다. 워크로드 7종을 토큰량과 민감도 평면에 늘어놓으면 어떤 유형이 어디에 떨어지는지 보인다 (아래 매트릭스).

한국 기업 관점에서 결정의 산수는 한 번 더 비틀린다. 금융 망분리 규정이 대표적이다. 금융위 전자금융감독규정상 내부망과 외부망이 분리된 환경에선 외부 클라우드 API 호출 자체가 원칙적으로 막힌다. 보안 게이트웨이로 우회하는 방법이 있긴 하지만 비용과 운영 부담이 적지 않고, 일부 업무는 우회 자체가 허용되지 않는다. 이 영역의 의사결정은 이미 끝난 셈이다 — 자체 구축이 강제다.

개인정보보호법도 비슷한 압력을 만든다. 가명처리·최소수집 원칙을 준수하더라도 대규모 개인정보를 외부 LLM에 흘려보내는 행위는 위탁 처리 동의·국외이전 고지 같은 별도 의무를 만들어낸다. 이 행정 비용이 누적되면 자체 구축의 인건비를 무겁게 보던 손익 계산이 다시 균형을 잡는다.

반면 외부 정보 분석·마케팅 콘텐츠·일반 고객 응대처럼 민감 데이터가 거의 끼지 않는 워크로드는 한국 기업도 API 쪽이 명백히 유리하다. 따라서 한국에서의 현실적인 답은 이중 트랙이다. 규제 영역은 자체 (필요하면 sLLM), 범용 영역은 API. 한 시스템에 하나의 답을 강요하면 비용도 컴플라이언스도 둘 다 잃는다.

지금 자체 구축에 투자한 조직은 1년 후 무엇을 후회할 가능성이 있는가. 세 갈래가 그려진다.

첫째, 가격 추가 인하 시나리오. 프런티어 API가 한 번 더 50% 인하를 단행하면 자체 구축의 산수상 분기점은 월 24억 토큰까지 올라간다. 헤비티어 TCO 회수 기간은 6~12개월에서 18~24개월로 늘어나고, 그 사이 모델 진부화가 진행된다. 이 시나리오에선 자체 구축 결정이 후회 거리가 된다.

둘째, 오픈웨이트 가속 시나리오. Llama 5·DeepSeek V5가 reasoning과 멀티모달까지 프런티어를 확실히 추월하면 API에 묶인 조직이 거꾸로 후회한다. 자체 구축 인프라를 미리 갖춘 조직은 새 모델로 갈아끼우기만 하면 된다. 이 시나리오의 결정적 신호는 reasoning 벤치마크 (예: GPQA Diamond·HLE) 에서 오픈웨이트가 프런티어를 처음 명확히 앞서는 시점이다.

셋째, 인력 이탈 시나리오. 자체 구축의 숨은 비용은 GPU나 전기가 아니라 ML 엔지니어다. 한 명이 떠나면 vLLM 운영·모니터링·튜닝 지식이 통째로 빠진다. 인건비를 절감한다고 자체 구축한 조직이 1년 후 외부 컨설턴트에 더 큰 비용을 지불하게 되는 패턴이 반복된다. 이 시나리오는 가격이나 모델과 무관하게 발생한다.

세 시나리오가 동시에 오는 경우는 드물지만, 결정 시점에 적어도 한 가지가 현실이 될 확률을 0으로 두면 안 된다. 시나리오별로 36개월 비용이 어떻게 다르게 부풀어 오르는지 아래 비교에서 볼 수 있다.

이 보고서가 끝까지 봉합하지 않는 두 모순이 있다. 하나는 비용 우위의 방향이다. 자체 호스팅 진영의 핵심 주장은 '오픈웨이트 단가가 100만 토큰당 $0.17~0.42, API보다 10배 이상 싸다' 이다. API 진영의 반박은 '실효 단가에 엔지니어 인건비·진부화·기회비용을 다 넣어야 진짜 비교다' 이다. 양쪽 다 맞다. 단지 어느 비용을 손익계산서에 어떻게 잡느냐가 다를 뿐이다. 본 보고서는 가동률 100%가 비현실적이라 보고 인건비 포함 TCO를 기준으로 잡았다. 가동률 가정이 달라지면 손은 다시 자체 호스팅 쪽으로 갈 수 있다.

다른 모순은 시간축이다. '오픈웨이트가 곧 프런티어를 추월한다' 는 진단과 '프런티어가 가격 인하로 격차를 다시 벌렸다' 는 진단이 충돌한다. 2026년 4월 시점에선 일반 대화·요약·코딩 영역에서 격차가 거의 사라졌으나 reasoning 과 long-context 멀티모달에선 프런티어 우세가 이어진다. 어느 쪽이 이길지는 다음 12개월이 결정한다.

결정 시점이 지금이라면, 답은 '한쪽 베팅' 이 아니라 '재평가 트리거를 미리 박아두기' 다. 어떤 신호가 보이면 결정을 다시 연다는 약속이다. 그 신호 목록이 다음의 감시 신호다.