Snowflake의 AWS 맞춤형 실리콘에 대한 60억 달러 배팅: AI 워크로드에 가지는 의미
방대한 데이터 그래비티(Data gravity)와 인공지능(AI)의 만남은 늘 인프라 관점에서 까다로운 과제를 안겨주었습니다. 이익률을 갉아먹지 않으면서 페타바이트 규모의 엔터프라이즈 데이터 위에서 연산 집약적인 AI 워크로드를 어떻게 실행할 수 있을까요? 바로 어제, 업계를 선도하는 한 기업이 이 문제를 어떻게 해결하려는지 명확한 해답을 내놓았습니다. 클라우드 인프라의 결정적 전환점이 될 이번 소식에 따르면, Snowflake는 Amazon Web Services(AWS)와 무려 60억 달러 규모의 초대형 계약을 체결했으며, 특히 AWS의 맞춤형 AI CPU 칩에 집중할 것으로 알려졌습니다.
테크크런치(TechCrunch)가 처음 보도한 이 소식은 단순한 엔터프라이즈 클라우드 갱신 계약이 아닙니다. 이는 맞춤형 실리콘의 미래를 겨냥한 고도로 전략적인 베팅이자, AI 하드웨어 경제학의 거대한 변화를 알리는 신호탄입니다. 대규모 시스템을 구축하는 개발자와 데이터 엔지니어라면 이 움직임을 통해 업계가 향하는 방향에 대한 중요한 통찰을 얻을 수 있습니다.
#정확히 무슨 일이 일어난 걸까요?
Snowflake는 다년간에 걸쳐 AWS에 60억 달러를 투자하기로 약속했습니다. 이 계약의 핵심은 단연 AWS의 독자적인 AI CPU 아키텍처에 대한 접근권 확보입니다. 보도자료에 정확한 SKU가 공개되지는 않았지만, AWS의 하드웨어 로드맵을 고려할 때 이는 Trainium 및 Inferentia 실리콘과의 긴밀한 통합은 물론, 고급 벡터 처리 장치(VPU)를 탑재한 차세대 Graviton 프로세서를 염두에 둔 것이 분명합니다.
역사적으로 Snowflake는 특정 클라우드에 종속되지 않는 독립적인 플랫폼으로 자리매김하며 AWS, Google Cloud, Azure 모두에서 동일한 기능을 제공하기 위해 노력해 왔습니다. 물론 앞으로도 멀티 클라우드 전략은 유지하겠지만, AWS 맞춤형 칩에 60억 달러를 지정 투자했다는 것은 Snowflake Cortex로 대표되는 AI 이니셔티브의 기반 컴퓨팅 아키텍처가 AWS 하드웨어 생태계에 맞춰 고도로 최적화될 것임을 암시합니다.
#왜 이것이 중요할까요: GPU 병목 현상으로부터의 탈출
지난 3년 동안 테크 업계는 그야말로 GPU에 매료되어 있었습니다. NVIDIA의 독주가 AI 혁신의 속도를 좌우했다고 해도 과언이 아닙니다. 하지만 GPU는 악명 높을 정도로 비싸고 확보하기 어렵우며, 데이터 웨어하우스(Data Warehouse) 환경에 특화된 AI 워크로드 처리에는 효율성이 떨어지는 경우가 많습니다.
표 형태의(tabular) 데이터를 다루는 엔터프라이즈 AI는 대규모 데이터 전처리, 벡터 임베딩 생성, 그리고 고도로 튜닝된 소규모 파운데이션 모델(Foundation Model)을 활용한 추론 작업을 주로 수반합니다. 이러한 처리를 위해 페타바이트급 데이터를 웨어하우스 외부의 별도 GPU 클러스터로 내보내는 것은 엄청난 지연 시간(Latency), 보안 위험, 그리고 막대한 네트워크 전송 비용(Egress cost)을 초래하여 사실상 수용 불가능한 방식입니다.
고성능, AI 최적화 CPU로 방향을 선회함으로써 Snowflake는 **데이터 지역성(Data Locality)**에 집중하고 있습니다. AWS의 맞춤형 실리콘 덕분에 Snowflake는 기존 데이터 처리 노드에 AI 컴퓨팅을 직접 내장할 수 있게 되었습니다. ARM 기반의 뛰어난 효율성과 특화된 머신러닝 명령어(bfloat16 지원 및 Scalable Vector Extensions 등)를 갖춘 Graviton 아키텍처는 이러한 특정 작업에 있어 범용 x86 컴퓨팅이나 유휴 상태의 GPU보다 훨씬 더 우수한 전력 대비 성능을 제공합니다.
#엔지니어에게 미치는 기술적 영향
모던 데이터 스택(Modern Data Stack) 위에서 시스템을 구축하는 엔지니어들에게 이는 어떤 의미를 가질까요? 기술적인 파급 효과를 자세히 살펴보겠습니다.
#1. CPU 기반 추론(Inference)의 부상
우리는 곧 CPU에 최적화된 모델의 르네상스를 목격하게 될 것입니다. llama.cpp나 Intel의 OpenVINO 같은 프레임워크는 150억 개 이하의 파라미터를 가진 모델의 경우, CPU만으로도 놀랍도록 효율적인 추론이 가능하다는 것을 이미 입증했습니다. AWS가 이러한 워크로드를 위해 특별히 설계된 CPU를 제공함에 따라, Snowflake는 SQL을 통해 직접 호출할 수 있는 초고도로 최적화된 저지연 추론 엔드포인트를 제공하게 될 것입니다.
-- Hypothetical future Snowflake SQL taking advantage of local CPU inference
SELECT
customer_id,
cortex.analyze_sentiment(customer_review_text, 'llama3-8b-cpu-optimized') as sentiment
FROM
raw_customer_feedback
WHERE
processed_date > CURRENT_DATE() - 7;
#2. 더 저렴해지는 벡터 데이터베이스 역량
검색 증강 생성(RAG)을 위해 텍스트를 벡터화하는 것은 컴퓨팅 자원을 많이 소모하는 작업입니다. 특화된 CPU 명령어를 활용하면 대규모 벡터 인덱스를 유지하고 업데이트하는 비용을 줄일 수 있습니다. 임베딩 생성 작업을 AWS 맞춤형 실리콘으로 오프로딩(offloading)함으로써, Snowflake는 벡터 연산에 필요한 컴퓨팅 크레딧 비용을 대폭 절감할 수 있을 것입니다. 이는 웨어하우스 내부에서 네이티브로 동작하는 전사적 RAG 아키텍처의 도입을 훨씬 더 현실성 있게 만들어 줄 것입니다.
#3. 가격 대비 성능(Price-Performance)의 재조정
인프라 엔지니어에게 가장 중요한 지표는 비용 대비 처리량(throughput per dollar)입니다. AWS의 맞춤형 칩은 동급 x86 인스턴스와 비교해 일반적으로 최대 40% 더 나은 가격 대비 성능을 제공합니다. Snowflake의 거대한 스케일이 적용될 때, 이 60억 달러의 투자는 데이터 집약적인 AI 파이프라인을 운영하는 최종 사용자들에게 더 공격적이고 유리한 요금제 형태로 돌아올 가능성이 큽니다.
#앞으로의 전망
이번 계약은 업계에 강력한 선례를 남겼습니다. 이는 Databricks나 Google의 BigQuery와 같은 경쟁사들에게 자체적인 하드웨어 전략을 공고히 해야 한다는 엄청난 압박으로 작용할 것입니다. 자체 개발한 맞춤형 TPU와 Axion ARM 프로세서를 무기로 삼고 있는 Google은 이러한 흐름에 네이티브하게 대응할 수 있는 유리한 고지를 점하고 있습니다. Microsoft Azure 역시 비슷한 수준의 최적화된 경로를 제공하기 위해 자사의 Maia AI 가속기와 Cobalt CPU 활용을 더욱 강화할 것으로 보입니다.
나아가 이는 Amazon의 장기 전략이 대대적으로 입증된 결과이기도 합니다. 수년 전, AWS가 맞춤형 칩을 개발하기 위해 Annapurna Labs를 인수했을 때 일부는 의아해했습니다. 하지만 오늘날 그 인수는 수십억 달러 규모의 계약을 확보하고 모던 데이터 스택의 아키텍처를 정의하는 핵심 동력이 되었습니다.
#결론
Snowflake와 AWS의 60억 달러 계약은 단순한 대규모 금융 거래를 넘어섭니다. 향후 10년간의 데이터 엔지니어링 생태계를 형성할 기술적 아키텍처 결정이라고 볼 수 있습니다. 맞춤형 AI CPU에 큰 베팅을 함으로써 Snowflake는 엔터프라이즈 AI의 진정한 병목 현상, 즉 연산을 위해 데이터를 이동시켜야 하는 비용과 복잡성 문제를 적극적으로 겨냥하고 있습니다.
개발자 입장에서 이는 우리가 데이터를 분석, 변환, 활용하는 도구들이 이전보다 훨씬 더 똑똑해지고 빨라지며, 기저의 실리콘 레벨까지 한층 더 깊이 통합될 것임을 시사합니다. AI 혁명의 시작은 GPU가 열었을지 모릅니다. 하지만 그것을 실제 프로덕션 환경에 대규모로 적용하여 묵묵히 일하는 진정한 일꾼(workhorse)의 역할은 맞춤형 CPU가 차지하게 될 것입니다.