에이전트 AI, 클라우드 밖으로 돌아온다

에이전트 AI가 사내·엣지로 가는 이유는 세 갈래다. 보안, 지연시간, 그리고 토큰 비용.

첫째, 데이터 주권. 에이전트는 회사의 코드 저장소·고객 DB·의료 기록 같은 민감한 사내 데이터에 상시 접근한다. 매 호출을 외부 API로 보내면 데이터가 사외로 흐른다. 사내 추론이면 데이터는 방화벽 안에 머문다.

둘째, 지연. 에이전트는 한 답을 내기 위해 도구를 다섯·열 번씩 호출한다. 매번 퍼블릭 클라우드 왕복을 하면 사용자가 답을 받기까지 십수 초가 흐른다. 사내·엣지면 왕복 한 번이 수십 밀리초.

셋째, 토큰. 황은 에이전트 추론의 컴퓨트 요구량이 단순 챗 대비 100배에서 1000배라고 말했다. CoT (Chain-of-Thought, 모델이 문제를 단계별로 풀어가는 사고 사슬) 와 롱컨텍스트 (long-context, 긴 문서·대화 이력을 한 번에 처리) 가 결합되면 토큰 — LLM의 텍스트 처리 최소 단위 — 소비가 폭증한다. 퍼블릭 클라우드 API의 토큰당 단가는 일정 수준 이하로 떨어지지 않는다. Dell의 자체 추정으로는 2년 누적 기준 Deskside가 퍼블릭 API 대비 최대 87% 저렴하다. 손익분기는 3개월. 단 초기 설비 투자비 (CAPEX, Capital Expenditure) 부담은 별개의 이야기다.

이 세 축이 합쳐지면 결과는 분명하다. 학습 (training, 모델을 만드는 단계) 은 여전히 데이터센터 집중이 합리적이지만, 추론과 에이전트는 사내로 회귀한다.

황·델의 메시지가 시장에 강력하게 박힌 이유는 따로 있다. 추론이 어디서 돌든, 그것을 떠받치는 메모리가 절대적으로 부족하다는 사실이다.

2026년 1분기 DRAM 가격은 전 분기 대비 90% 올랐다. NAND는 38%. Counterpoint는 2분기 DRAM 추가 50% 상승을 전망한다 (출처: counterpointresearch.com). 단순 수요 폭발 때문이 아니다. HBM (High Bandwidth Memory, AI 가속기 옆에 직결되는 적층형 고대역폭 메모리) 으로 생산 capa가 옮겨가는 구조 전환이 핵심이다.

HBM 1비트를 만들려면 DDR5 (5세대 서버·데스크탑용 DRAM 규격) 대비 약 3배의 웨이퍼가 든다. 메모리 회사 전체 DRAM 웨이퍼 중 HBM 점유율은 2025년 19%에서 2026년 23%로 늘었다 (출처: TrendForce). 일반 DRAM 공급은 그만큼 빠진다는 말이다.

물량 측면도 빡빡하다. Micron은 2026년 HBM 물량이 연말까지 매진이라고 공시했다. 삼성전자와 SK하이닉스의 2026년 HBM 물량 역시 사실상 예약 완료, 일부는 2027년분까지 계약이 닫혔다. 5월 8일 AMD MI400 시리즈에 삼성 HBM4가 채택되면서 마지막 남은 capa도 빠르게 소진되고 있다.

SK하이닉스 1분기 매출 52.58조 원 (+198%), 영업이익 37.61조 원 (+405%) 은 이 슈퍼사이클의 첫 분기 단면이다 (출처: cnbc.com, 2026-04-23). 황이 무대에서 '수요가 포물선처럼 폭발'이라고 말했을 때, 그 포물선의 한쪽 끝은 메모리 회사의 손익계산서에 이미 그려져 있었다.

발표의 라인업은 끝과 끝을 잇는다. 한쪽 끝은 책상 옆 데스크사이드, 다른 쪽 끝은 데이터센터 랙이다.

Dell Pro Max GB10은 30B부터 200B 파라미터 모델을 책상 옆에서 돌리는 워크스테이션이다. Pro Precision 9에 RTX PRO Blackwell 카드 다섯 장을 꽂으면 약 500B 모델까지 올라간다. GB300 클러스터는 약 1T (조) 파라미터까지 처리한다. 책상 옆에서 1조 파라미터가 돈다는 의미다.

데이터센터 쪽은 PowerEdge XE9812다. Vera Rubin NVL72를 탑재한 랙스케일 시스템이다. NVIDIA 측정으로 Blackwell 대비 토큰당 비용이 1/10. Vera CPU의 메모리 대역폭은 1.2 TB/s. NVIDIA는 이 수치가 에이전트 샌드박스 실행 — 도구를 호출할 때마다 격리된 환경을 열고 닫는 절차 — 의 50% 가속을 가능케 한다고 밝혔다. 뒤집어 보면 에이전트의 오버헤드 (overhead, 본 작업 외에 부수적으로 드는 자원) 가 그동안 CPU 메모리 대역폭에 묶여 있었다는 자인이기도 하다.

스택 전체를 한 회사가 묶은 의미는 작지 않다. 엔터프라이즈 고객은 통상 칩·서버·소프트웨어를 따로 산다. 통합 책임이 분산되면 문제 발생 시 손가락질이 갈 곳이 많다. Dell + NVIDIA 묶음은 그 책임을 단일화한다. 다만 두 회사에 묶이는 락인 (lock-in, 특정 벤더에 깊게 의존하는 상태) 의 강도도 그만큼 높아진다.

앞으로 2~3년의 분기점을 다섯 가지로 추린다. 각 시나리오의 확률은 분석가의 판단이며, 영향 — 산업 전반의 매출·자본 흐름 변화 폭 — 역시 정량 데이터가 아닌 추정이다.

첫째 시나리오. 메모리 슈퍼사이클이 2027년 너머까지 지속된다. HBM·DDR5의 fab (반도체 공장) 증설 사이클은 통상 24~30개월. 2026년에 발표된 증설이 양산 라인에 들어오는 시점은 2027년 중반 이후다. 그 사이 에이전트 워크로드가 예상대로 확산되면 부족은 해소되지 않는다. 확률 약 70%, 영향 큼.

둘째 시나리오. 사내·엣지 추론이 영구 표준으로 자리잡는다. 보안과 토큰 비용 두 축은 일시적 요인이 아니다. 한 번 사내 인프라를 깐 기업은 다시 클라우드로 옮길 동기가 약하다. 확률 약 55%, 영향 큼.

셋째 시나리오. 퍼블릭 클라우드 사업자가 반격한다. AWS·Azure·GCP가 자체 NPU (Neural Processing Unit, 신경망 가속 칩) 와 추론 전용 인스턴스를 공격적으로 깎으면 손익분기 3개월 가설이 흔들린다. 클라우드 사업자에게 추론 마진은 포기할 수 없는 영역이다. 확률 약 60%, 영향 중간.

넷째 시나리오. HBM capa가 예상보다 빨리 회복되어 2027년 초 가격 거품이 빠진다. 삼성·SK·Micron이 동시에 증산을 가속하면 공급 곡선이 가파르게 우상향한다. 그 경우 메모리주에 풀린 valuation이 단기 조정을 받는다. 확률 약 25%, 영향 큼.

다섯째 시나리오. AI PC 일반화로 엣지 추론이 워크스테이션을 우회한다. Gartner는 2026년 AI PC 출하 1.43억 대, 시장의 55%를 점친다. NPU 40 TOPS (Tera Operations Per Second, 초당 1조 회 연산) 이상이면 7~13B 양자화 (quantization, 모델 정밀도를 낮춰 메모리·연산 요구를 줄이는 기법) 모델이 단말에서 돈다. 가벼운 에이전트는 데스크사이드도 아닌 노트북 위에서 끝난다. 확률 약 65%, 영향 중간.

이 진단의 가장 큰 균열은 두 곳에 있다.

첫째 균열은 온프레미스 (on-premises, 사내 자체 인프라) 회귀가 진짜 영구한가다. 황·델의 주장처럼 보안·지연·토큰이 사내 회귀의 구조적 동력이라면, 그 동력은 향후 5년 이상 유효하다. 그러나 반대 입장도 만만치 않다. 퍼블릭 클라우드 사업자가 자체 NPU (예: AWS Trainium·Inferentia, Azure Maia, Google TPU) 와 전용 인프라로 추론 단가를 빠르게 끌어내리면, 사내 CAPEX 대비 OPEX (Operating Expenditure, 운영비) 의 경제성이 다시 역전될 수 있다. 사내 인프라는 한 번 깔면 5~7년 운영비를 떠안는다. 그동안 클라우드 가격은 12~18개월 주기로 떨어지는 경향이 있다. 사내 회귀가 과도기적일 가능성도 진지하게 보아야 한다.

둘째 균열은 메모리 슈퍼사이클의 지속성이다. SK하이닉스 1분기 영업이익 +405%는 그 자체로 정점 신호이기도 하다. 시장은 좋은 뉴스에 먼저 반응하고, 그 뒤로는 둔화율을 가격에 반영한다. 메모리주의 추가 상승 여력이 펀더멘털보다 빠르게 소진되면, 2026년 하반기에 한 차례 조정이 들어올 가능성이 있다. 반대로 에이전트 워크로드의 토큰 소비가 Dell이 인용한 3,400% 가까이 폭증한다면 그 조정은 일시적 숨고르기에 그친다.

황과 델이 같은 무대에 함께 오른 사실 자체는, 이들이 보는 미래상이 일치한다는 신호다. 그러나 일치하는 두 시각이 항상 시장 균형을 가리키는 것은 아니다. 두 사람 모두 자사 제품 (NVIDIA 칩 + Dell 서버) 의 수요를 강조할 인센티브가 있다는 사실은 메시지의 해석 폭에 들어가야 한다.

앞으로 6~12개월의 신호는 다음과 같다.

먼저 2026년 2~4분기 메모리 가격 추세다. Counterpoint의 2분기 +50% 전망이 실제로 들어맞으면 슈퍼사이클은 1년 더 연장. 못 미치면 capa 회복이 예상보다 빠르다는 신호다.

다음은 Dell·HPE·Supermicro의 2026년 하반기 엔터프라이즈 서버 출하 데이터. 사내·엣지 회귀가 진짜라면 데이터센터 서버 출하는 위쪽으로 꺾여야 한다. 평탄하면 황·델의 메시지가 마케팅 색채에 가깝다는 단서가 된다.

마지막은 AWS·Azure·GCP의 추론 가격표다. 자체 NPU 인스턴스 가격을 분기마다 두 자릿수씩 깎는다면 클라우드 반격 시나리오가 현실로 들어온다.

황은 '수요가 포물선처럼 폭발'이라고 했다. 포물선의 정점이 언제 어디에 찍히는지는 위 신호들이 6~12개월 안에 알려준다.