얀 르쿤의 AMI Labs, 10억 3천만 달러 투자 유치로 월드 모델 개척에 나서다

Hero

#서론

인공지능 생태계는 현재 거대한 아키텍처의 변화를 겪고 있습니다. 지난 몇 년 동안 GPT-4나 Claude와 같은 자기회귀(autoregressive) 대형 언어 모델(LLM)이 대화형 AI 분야를 완전히 장악해 왔습니다. 하지만 근본적인 혁신이 다가오고 있습니다. AI 선구자이자 튜링상 수상자인 얀 르쿤(Yann LeCun)이 이끄는 AMI Labs가 무려 10억 3천만 달러 규모의 투자 유치를 발표했습니다. 이들의 목표는 무엇일까요? 바로 현재 생성형 AI의 한계를 뛰어넘는 "월드 모델(world models)"을 구축하는 것입니다.

저희 Ichiban Tools는 항상 개발자 기술의 미래를 주시하고 있습니다. 오늘날의 엔지니어링 문제를 해결하기 위한 실용적인 유틸리티를 만드는 것도 중요하지만, 내일의 아키텍처 변화를 이해하는 것 역시 매우 중요합니다. AMI Labs가 무엇을 만들고 있는지, 월드 모델의 기반 기술은 무엇인지, 그리고 이 엄청난 투자가 어떻게 기계 지능의 정의를 새롭게 쓸 수 있을지 깊이 파헤쳐 보겠습니다.

#무슨 일이 일어났는가: 목표 지향적 AI에 베팅한 10억 달러

TechCrunch에 따르면, AMI Labs는 초기 단계 투자로 10억 3천만 달러를 확보했습니다. 이 막대한 자금 유입은 자기회귀 LLM의 성능이 정체기에 접어들었다는 인식 속에서, 업계가 "다음 혁신(next big thing)"을 얼마나 갈망하고 있는지를 잘 보여줍니다.

수년 동안 르쿤은 순수하게 자기회귀적인 접근 방식에 대해 비판적인 목소리를 내왔습니다. 그는 단순히 다음 토큰을 예측하는 것만으로는 인간 수준의 추론이나 진정한 인공일반지능(AGI)에 도달하기에 근본적으로 부족하다고 주장했습니다. 대신 그의 연구, 그리고 이제 AMI Labs의 상업적 초점은 현실의 물리 법칙과 논리를 학습하는 목표 지향적 AI(Objective-Driven AI)와 아키텍처에 맞춰져 있습니다.

이번 대규모 시드/시리즈 A 투자는 이러한 새로운 아키텍처를 대규모로 훈련시키는 데 필요한 거대한 컴퓨팅 클러스터를 구축하는 원동력이 될 것입니다. 이를 통해 흥미로운 연구 논문 수준에 머물렀던 기술을 기업 환경에 배포할 수 있는 파운데이션 모델(foundational models)로 발전시킬 것입니다.

#왜 중요한가: 자기회귀의 함정에서 벗어나기

AMI Labs의 중요성을 이해하려면, 현재 LLM 아키텍처가 가진 한계를 비판적으로 살펴봐야 합니다:

구조적 환각(Hallucinations by Design): LLM은 훈련 데이터의 빈도를 기반으로 통계적으로 텍스트를 생성하기 때문에, 현실에 기반을 둔 근본적인 모델을 가지고 있지 않습니다. 모델은 "사실"을 아는 것이 아니라 단어들의 "상관관계"를 알 뿐입니다.
계획 능력의 부재(The Planning Deficit): 자기회귀 모델은 왼쪽에서 오른쪽으로 선형적으로 답변을 생성합니다. 따라서 역추적(backtracking), 계층적 추론, 또는 여러 미래 상태를 시뮬레이션해야 하는 복잡하고 다단계적인 계획을 세우는 데 심각한 어려움을 겪습니다.
샘플 비효율성(Sample Inefficiency): 인간은 놀라울 정도로 적은 데이터만으로도 물리적 세계가 어떻게 작동하는지 학습합니다(예: 걸음마를 배우는 아이는 지지대가 없는 물건이 떨어진다는 것을 금방 배웁니다). 반면 LLM은 기본적인 상식을 모방하기 위해 수조 개의 토큰을 필요로 하며, 이는 매우 비효율적인 학습 방식입니다.

월드 모델은 이러한 근본적인 결함을 해결하는 것을 목표로 합니다. 월드 모델은 환경에 대한 내부적인 수학적 표현(representation)으로, AI 시스템이 행동을 취하기 전에 그 결과를 예측할 수 있게 해줍니다. 고도로 발달한 자동 완성 기능이라기보다는, AI 아키텍처 내부에서 실행되는 물리 시뮬레이션 엔진이라고 생각하는 편이 더 정확합니다.

#기술적 의미: 토큰에서 추상적 표현으로

AMI Labs의 핵심 기술은 JEPA(Joint Embedding Predictive Architecture) 및 에너지 기반 모델(Energy-Based Models, EBMs)과 같은 아키텍처에 크게 의존할 가능성이 높습니다. 이 패러다임이 오늘날 개발자들이 사용하는 Transformer 기반 LLM과 어떻게 다른지 기술적으로 분석해 보겠습니다.

#자기회귀 패러다임 (현재 상태)

현재의 모델들은 토큰 시퀀스를 받아들여 인코딩한 다음, 다음 토큰의 확률 분포를 예측합니다. x_t+1 = Model(x_0, x_1, ..., x_t)

이 패러다임에서는 오류가 시간이 지남에 따라 기하급수적으로 누적됩니다. 10단계 추론 과정 중 3단계에서 약간의 오차가 발생하면 모델은 역추적할 수 없으며, 나머지 출력 결과는 치명적인 결함을 갖게 됩니다.

#JEPA 패러다임 (미래)

누락된 픽셀이나 텍스트 토큰을 직접 예측하는 대신(이는 모델이 무관하고 빈번한 노이즈에 컴퓨팅 자원을 낭비하게 만듭니다), JEPA는 누락된 데이터의 *추상적인 표현(abstract representation)*을 예측합니다.

컨텍스트 인코딩: 알려진 데이터(예: 비디오의 첫 부분이나 복잡한 상태)를 인코더를 통해 실행하여 추상적인 수학적 표현을 얻습니다.
미래 표현 예측: 제안된 특정 행동이 주어졌을 때 미래 상태의 표현이 어떻게 될지 예측 네트워크를 사용하여 계산합니다.
추상 공간에서의 비교: 손실 함수(loss function)는 원본 데이터 공간이 아닌 임베딩 공간에서 계산됩니다.

이를 통해 모델은 예측 불가능하고 무관한 세부 사항(예: 물결치는 연못의 정확한 질감)을 무시하고 거시적인 논리(돌이 물에 떨어져 파장을 일으켰다는 사실)에만 순수하게 집중할 수 있습니다.

#에너지 기반 모델 (EBMs)

르쿤의 비전은 EBM을 크게 강조합니다. EBM에서 시스템은 컨텍스트와 제안된 답변 또는 계획 사이의 호환성을 측정하는 수학적 "에너지" 함수를 최소화하는 상태를 찾으려고 시도합니다. 이는 확률적으로 토큰을 샘플링하는 것과는 근본적으로 다르며, 진정한 추론, 자기 교정(self-correction), 그리고 목표에 기반한 계획 수립을 가능하게 하는 복잡한 최적화 과정입니다.

#개발자들을 위한 다음 단계는?

LLM에서 월드 모델로의 전환이 하루아침에 이루어지지는 않겠지만, AMI Labs의 10억 3천만 달러라는 막대한 자금은 그 일정을 크게 앞당길 것입니다. 엔지니어와 빌더들이 준비해야 할 사항은 다음과 같습니다:

API 패러다임의 변화: 단순한 prompt-in, text-out 엔드포인트 대신, 초기 상태와 특정 목표를 전달하는 API를 보게 될 것입니다. 모델은 내부 시뮬레이션을 실행하고 검증된 계획이나 보장된 일련의 작업 순서를 반환할 것입니다.
기본값이 되는 멀티모달리티: 월드 모델은 물리와 논리를 이해하기 위해 다양한 데이터(비디오, 공간 데이터, 동역학 등)에 본질적으로 의존합니다. 텍스트만으로는 진정한 월드 모델을 훈련시키기에 불충분합니다. 미래의 API는 멀티모달 입력을 표준으로 기대할 것입니다.
진정한 자율 에이전트: 현재의 "AI 에이전트"는 종종 LLM 호출을 중심으로 구축된 불안정한 while 루프에 불과합니다. 결과를 시뮬레이션하고 역추적하며 계획을 세울 수 있는 선천적인 능력을 갖춘 월드 모델은, 장기적으로 실행되는 소프트웨어 엔지니어링이나 데이터 작업을 수행할 수 있는 신뢰성 높은 자율 에이전트의 진정한 엔진이 될 것입니다.

#결론

얀 르쿤의 AMI Labs는 10억 달러라는 깃발을 꽂으며, 단순히 Transformer 파라미터를 늘리는 시대가 필수적인 아키텍처의 전환기로 넘어가고 있음을 알리고 있습니다. 개발자 커뮤니티 입장에서 이는 우리가 오늘날 구축하는 도구, 추상화, 그리고 애플리케이션들이 향후 몇 년 동안 빠르게 진화해야 함을 의미합니다.

저희 Ichiban Tools는 이러한 발전 상황을 면밀히 모니터링할 것입니다. 월드 모델이 API와 오픈 가중치(open-weights)를 통해 접근 가능해짐에 따라, 우리는 그들의 결정론적인 계획 능력을 차세대 개발자 유틸리티에 통합할 준비를 갖출 것입니다. 기능적인 AGI를 향한 경주는 방금 거대한 구조적 전환을 맞이했으며, 엔지니어링의 가능성은 그 어느 때보다 흥미진진해졌습니다.