편집자 주:

코딩 에이전트가 수익 모델을 갖추면서, AI가 어떻게 실질적인 비즈니스 가치를 만들어 낼 수 있는지가 분명해졌다. 하지만 AGI(범용 인공지능)로 가는 길은 코딩에만 있지 않다. 센스타임 공동창업자이자 수석과학자인 린다화(林达华)는 이번 인터뷰에서 "향후 1~2년 안에 멀티모달 AI도 코딩 에이전트처럼 폭발적인 전환점을 맞아, 능력이 한 단계 도약하는 '창발'의 순간을 넘어설 것"이라고 내다봤다.

컴퓨터 비전에서 출발한 센스타임은 네이티브 멀티모달과 공간 지능에 꾸준히 투자해 왔으며, U 시리즈와 SenseNova 6.8, 업무용 AI 에이전트 ‘Raccoon’ 등으로 모델부터 서비스까지 아우르고 있다. 시각과 언어, 추론과 행동이 진정으로 하나가 될 때 비로소 AI는 현실 세계로 들어설 수 있다.

글｜리자오펑(李炤鋒)

편집｜장위신(張雨忻)

“컴퓨터가 없던 시대에도 아인슈타인과 뉴턴은 존재했다. 그들이 코드를 작성하지 않았다고 해서 지능이 부족하다고 생각하지는 않는다.”

최근 센스타임 공동창업자 겸 수석과학자 린다화(林达华)는 36Kr과의 인터뷰에서 이 같은 비유를 통해 Coding과 지능의 한계 사이의 관계를 설명했다. 동시에 센스타임이 왜 여전히 네이티브 멀티모달을 장기적인 기술 방향으로 삼고 있는지도 밝혔다.

현재 Coding Agent는 비교적 빠르게 상용화의 선순환 구조를 구축했다. 공개된 정보에 따르면 7월 말 기준 Anthropic의 연환산 매출은 650억 달러를 넘어, 2025년 말 대비 약 7배로 증가했다. 멀티모달이 언제 Coding Agent처럼 명확한 기술적 성과와 비즈니스 성과를 보여줄 수 있을지는 이번 인터뷰에서 반복적으로 다뤄진 핵심 주제다. 다만 장기적으로 린다화는 “AI와 AGI의 가능성은 Coding에만 국한되지 않는다”고 강조했다.

멀티모달이 AGI를 향하는 과정에서 어떤 역할을 하는지에 대해 DeepSeek 창업자 량원펑(梁文锋)은 과거 “멀티모달은 결국 하게 되겠지만, 이를 지능 자체라기보다는 하나의 ‘컴포넌트’로 본다”는 취지의 견해를 밝힌 바 있다.

비슷한 시기 엔비디아 창업자 겸 CEO 젠슨 황은 로봇과 자율주행을 위한 월드 파운데이션 모델 Cosmos 3를 공개했다. 이 모델은 시각적 추론, 환경 시뮬레이션, 행동 예측을 하나의 아키텍처에 통합했다. 젠슨 황은 Cosmos 3에 대해 “이해하고 추론할 수 있으며, 생성은 물론 시뮬레이션 루프에 들어갈 수 있고, 나아가 그 자체가 정책이 될 수도 있다”고 설명했다.

린다화는 이러한 서로 다른 접근을 두고 어느 한쪽이 옳거나 틀린 문제는 아니라고 본다. 기업마다 직면한 과제와 보유 자원, 장기적인 비전이 다르기 때문에 선택 역시 달라질 수 있다는 것이다.

센스타임은 컴퓨터 비전 기술을 기반으로 성장해 왔다. 이후 대형 모델 시대에 들어서면서 기존 기술 역량을 네이티브 멀티모달과 공간지능으로 확장했고, 멀티모달은 모델부터 제품까지 센스타임의 기술 전략을 관통하는 핵심 축으로 자리 잡았다.

센스타임의 모델 라인업에서 SenseNova 6.8 시리즈는 멀티모달 에이전트 모델로, 장기 과업의 계획과 실행, 멀티 Agent 협업을 담당한다. U 시리즈는 이해와 생성을 통합한 네이티브 모델로, 시각 이해·생성·편집에 집중하면서 영상과 3D 영역으로도 확장하고 있다.

애플리케이션 측면에서는 Seko가 스토리 구성, 스토리보드, 영상 생성을 연결하는 AI 숏폼 영상 제작 에이전트 역할을 하며, Raccoon은 업무와 데이터 분석 등을 지원하는 AI 오피스 에이전트로 활용되고 있다.

올해 4월 센스타임은 이해와 생성을 통합한 네이티브 모델 SenseNova U1을 공개하고 오픈소스로 제공했다. 일반적인 비전 언어 모델과 달리 U1은 별도의 비전 인코더와 VAE(Variational Autoencoder)를 제거하고, 하나의 자기회귀형 아키텍처 안에서 언어, 시각적 의미 정보, 픽셀 생성을 통합 처리한다.

약 4개월 뒤에는 U1.5 Lite를 공개해 기존의 이해·생성 기능을 연속적인 이미지 편집까지 확장했으며, 고해상도 이미지 생성과 복잡한 지시문 제어 능력도 강화했다.

센스타임이 최근 발표한 2026년 상반기 실적에 따르면, 상반기 매출은 29억1,000만 위안(약 4억3,400만 달러)으로 전년 동기 대비 23.4% 증가했다. 이 가운데 생성형 AI 사업 매출은 23억3,000만 위안(3억4,700만 달러)으로 전체 매출의 약 80%를 차지했다.

AI 사업의 성장에 힘입어 센스타임은 처음으로 국제회계기준(IFRS) 기준 흑자를 달성했으며, 이를 통해 멀티모달 분야에 대한 장기적인 기술 투자를 이어갈 수 있는 기반도 한층 강화했다.

다음은 인터뷰 전문이다:

핵심은 코딩이 아닌 장기적 사고이다

36Kr: 량원펑은 멀티모달을 검색과 유사한 ‘컴포넌트’로 보고, 지능의 상한을 높이는 핵심 축이라고 보지는 않았습니다. 반면 린다화 수석과학자는 멀티모달이 충분히 융합되면 독립적인 언어 모델은 더 이상 필요하지 않을 것이라고 판단했습니다. 두 관점의 차이는 어디에 있습니까?

린다화: 저는 사실 DeepSeek를 상당히 높게 평가합니다. 어떤 기업이든 자신만의 주력 방향이 있어야 합니다.DeepSeek는 언어와 Coding 능력을 업계 최상위 수준으로 끌어올리는 동시에, 모델 아키텍처의 효율성도 극대화하려고 합니다. 그들의 입장에서는 매우 합리적인 선택입니다. 이미지 처리가 필요할 때는 멀티모달 컴포넌트를 연결하면 되고, 최소한 제품 기능 측면에서는 완결성을 확보할 수 있습니다.

센스타임이 마주하는 과제는 조금 다릅니다. 오피스, 의료, 리테일, 로봇, 월드 모델 등은 모두 시각적 신호를 빼놓고 이야기할 수 없습니다. 우리는 일찍부터 시각과 언어의 공동 모델링이 인공지능이 실제 산업과 물리적 세계로 진입하기 위한 기반이라고 판단해 왔습니다.

센스타임도 Coding을 하고 있습니다. 프로그래밍 능력을 모델의 중요한 기초 역량으로 보고 있지만, 복잡한 소프트웨어 엔지니어링을 유일한 핵심 방향으로 삼지는 않습니다.

더 본질적으로 보면 핵심은 지능의 상한을 어떻게 이해하느냐에 있습니다. Coding 능력이 뛰어나다는 것은 지능 수준이 높아진 결과일 수 있지만, 지능의 본질이 Coding이라는 업무 형태에 있는 것은 아닙니다. 지능의 핵심은 복잡한 정보를 통합하고, 장기적으로 사고·추론·실행·수정하는 능력에 있습니다.

36Kr: 장기 과업을 수행하는 지능이 현실 세계로 진입하려면 네이티브 멀티모달이 필수 조건입니까?

린다화: 모델이 코드만 작성한다면 멀티모달이 반드시 필요한 것은 아닙니다. 하지만 과업이 Coding을 넘어 더 넓은 산업과 현실 세계로 확장되면 많은 장면에서 멀티모달이 필수적입니다.

Coding은 현재 장기적 사고 능력을 보여주기에 가장 성숙한 데이터 환경을 갖춘 영역입니다. GitHub에는 방대한 과정 데이터가 있고, 코드는 실제로 실행할 수 있으며 테스트 케이스를 통해 명확한 피드백도 받을 수 있습니다. 여기에 성숙한 소프트웨어 엔지니어링 시장까지 갖춰져 있기 때문에 훈련과 비즈니스의 선순환 구조를 가장 먼저 구축할 수 있었습니다.

하지만 인공지능이 Coding에만 머물지는 않을 것입니다. 프론트엔드 개발만 보더라도 모델이 코드를 작성한 뒤에는 실제 페이지를 렌더링해 보기 좋은지, 눈에 띄는 오류가 없는지를 확인해야 합니다. 이 과정에서도 시각 능력이 필요합니다.

36Kr: MLLM(멀티모달 대형 언어 모델)이나 네이티브 멀티모달을 연구하는 연구자들과 이야기해 보면, 시각 데이터를 추가할 경우 사전학습과 후속 학습의 난도가 크게 높아지고, 데이터 배합을 잘못하면 언어·수학·추론 능력이 오히려 저하될 수 있다고 합니다. 네이티브 멀티모달 모델의 학습 난도와 비용을 어떻게 보고 있습니까?

린다화: 단순히 언어 모델에 비전 인코더 하나를 추가하는 정도라면, 추론 단계에서 추가되는 연산량은 수백 B에서 1T 파라미터 규모의 언어 백본과 비교하면 사실 크지 않습니다. 진짜 어려운 부분은 학습입니다.

첫 번째는 데이터 배합입니다. 모델에 시각 능력을 추가하려면 관련 데이터를 넣어야 하지만, 동시에 기존의 언어·수학·추론 능력이 저하되지 않도록 해야 합니다. 이것이 제가 말하는 Alignment Tax, 즉 ‘정렬 비용’입니다. 단순히 데이터 비율을 1:9에서 2:8로 바꾸는 문제가 아닙니다. 수많은 비교 실험이 필요하고, 모델이 업그레이드될 때마다 배합 비율도 다시 조정해야 할 수 있습니다.

두 번째는 강화학습입니다. 새로운 모달리티가 추가되면 학습 목표와 기술적 접근이 더 복잡해지고, 시각 관련 과업에 적절한 피드백 신호를 어떻게 설계할 것인지도 여전히 열린 문제입니다. 비용이 가장 많이 드는 부분은 마지막 대규모 학습 자체가 아니라, 그 전에 방법론을 탐색하는 데 들어가는 시간인 경우가 많습니다. 모델 기업 입장에서는 돈을 감당할 수 있느냐보다, 실험을 한 번 더 하는 사이 경쟁사보다 한 달 늦어질 수 있다는 점이 더 큰 문제일 수 있습니다.

이 때문에 저희가 먼저 8B 파라미터 규모의 경량 모델로 반복 실험을 진행하는 것입니다. 이해와 생성을 통합하는 접근은 아직 완전히 수렴하지 않았기 때문에, 먼저 아키텍처와 데이터 배합, 학습 방식을 안정화한 뒤 규모를 키우는 편이 오히려 더 효율적입니다.

U1 Pro가 생성한 이미지

이미지 생성은 가장 먼저 구현된 역량이지만, 최종 목표는 아니다

36Kr: U1과 U1.5는 현재 주로 이미지 생성에 초점이 맞춰져 있습니다. 사용자 입장에서 보면, 전통적인 비전 인코더에 의존하지 않는 이 통합 아키텍처는 기존의 전용 모델이 제공하지 못했던 어떤 경험을 가능하게 합니까?

린다화: 사용자 입장에서 가장 직접적인 변화는, 모델이 먼저 내용을 이해한 뒤 어떻게 생성할지를 결정한다는 점입니다. 복잡한 정보가 여러 단락으로 주어졌을 때, 모델은 어떤 내용이 중요한지 판단하고, 그에 맞춰 구조와 레이아웃, 시각적 표현 방식을 구성해야 합니다. 인포그래픽은 이해·추론·생성을 하나로 연결해야 하는 대표적인 작업이기 때문에, 저희는 이 장면을 먼저 공략했습니다.

U 시리즈의 더 장기적인 목표는 공간지능과 물리적 지능입니다. 저희도 한때 공간지능과 이미지 생성을 함께 추진하는 방안을 검토한 적이 있습니다. 하지만 모델에 새로운 능력이 하나씩 추가될수록 학습 복잡도는 크게 높아집니다. 그래서 당시에는 더 복잡한 공간지능은 잠시 뒤로 미루고, U1이 먼저 이해와 생성의 통합이라는 길을 확실히 열어가도록 했습니다. 이를 통해 언어와 시각 요소를 하나의 표현 공간 안에서 어떻게 융합할 것인지에 대한 기술적 인식을 쌓아가고자 했습니다.

장기 기술 개발이라고 해서 3년 내내 아무 성과도 내놓지 않은 채 내부에서만 연구할 수는 없습니다. 센스타임은 상장사이기 때문에, 사용자들이 체감할 수 있고 업계에도 의미 있는 결과를 지속적으로 보여줘야 합니다. 이미지 생성은 이 길에서 가장 먼저 구현된 역량이지만, 결코 최종 목표는 아닙니다.

36Kr: U1.5는 특히 텍스트 생성, 미적 완성도, 연속 편집 능력을 중점적으로 강화했습니다. 이런 변화는 기존의 반복적인 ‘뽑기식 생성’ 과정을 어떻게 바꾸고 있습니까?

린다화: U1을 출시한 뒤 실제 사용 과정에서, 텍스트 생성과 일부 세부 표현에는 여전히 개선 여지가 있다는 점을 확인했습니다. 저희는 4월부터 6월까지 인포그래픽 버전을 연속적으로 고도화하면서, 텍스트를 점차 정확하게 다듬어 갔습니다.

그런데 나중에는 글자가 모두 정확해도 결과물이 마치 학생이 만든 PPT처럼 보여, 디자인 감각이 부족한 경우가 있다는 점도 발견했습니다. 그래서 실제 디자이너를 참여시켜 ‘미감’이라는 요소를 보완했습니다. 미적 감각과 논리 능력은 서로 다른 것이고, Coding 능력과 미감 역시 별개의 문제입니다. 모델이 아무리 강력해도, 저절로 미적 감각까지 갖추게 되는 것은 아닙니다.

텍스트가 정확하고 화면도 보기 좋다고 해도, 그것은 결국 한 번 생성했을 때의 품질 문제를 해결한 것에 불과합니다. 실제 디자인 작업은 한 번 생성하고 끝나는 일이 아닙니다. 완성된 레이아웃과 수정 요구사항은 1,000~2,000자에 이를 수도 있습니다. 모델은 이런 제약 조건을 이해해야 할 뿐 아니라, 지정된 부분만 수정하고 다른 영역은 최대한 그대로 유지할 수 있어야 합니다.

기존의 일회성 생성은 일종의 ‘뽑기’에 가까웠습니다. 예를 들어 다섯 장의 이미지를 연속 생성해도, 다섯 장이 각각 서로 다른 부분에서 오류를 보이고 정작 바로 쓸 수 있는 결과는 하나도 없는 경우가 많았습니다. 하지만 연속 편집은 이미 제대로 된 부분은 유지한 채, 문제가 있는 부분만 골라 수정할 수 있게 해줍니다.

연속 편집은 매우 기초적이면서도 중요한 역량입니다. 이를 중심축으로 삼으면 요구사항 이해, 콘텐츠 생성, 반복 수정이 하나의 폐쇄형 작업 흐름으로 연결됩니다. 이것이 바로 저희가 말하는 Agentic Generation(에이전트형 생성)입니다. 모델이 하나의 동일한 결과물을 중심으로 계속 수정과 개선을 반복해, 실제로 납품 가능한 수준까지 완성해 가는 방식입니다.

36Kr: 텐센트의 야오순위는 “사용자는 가장 강력한 모델에 기꺼이 비용을 지불하며, 기업도 가성비를 판단할 때 결국은 성능을 먼저 본다. 때로는 더 비싼 모델이 한 번에 일을 제대로 해내기 때문에 오히려 더 경제적일 수 있다”고 말한 바 있습니다. U1.5 Lite는 가성비를 강조하고, U1 Pro는 능력의 상한을 추구하고 있는데, 센스타임은 이 두 가지 수요를 어떻게 보고 있습니까?

린다화: 모델은 우선 사용자가 실제로 쓸 수 있는 수준에 도달해야 합니다. 그래야 비로소 가격을 논할 의미가 생깁니다. U1.5 Lite는 8B 파라미터 기반의 오픈소스 모델로, 효율성과 비용 대비 성능에 더 초점을 맞추고 있어 대량의 일상적 작업에 적합합니다.

반면 U1 Pro는 역량의 상한을 목표로 합니다. 비용은 훨씬 높을 수밖에 없지만, 지향점은 전문적인 결과물을 실제로 납품 가능한 수준으로 제공하는 데 있습니다.

이것은 가벼운 카메라와 전문가용 DSLR의 차이에 비유할 수 있습니다. 어떤 사용자는 최상의 결과를 위해 더 높은 비용을 기꺼이 지불하고, 또 다른 사용자는 효율성을 더 중요하게 생각합니다. Lite 버전은 세부적인 오류가 발생할 확률이 상대적으로 높을 수 있지만, 수정이 쉽기 때문에 처음부터 다시 ‘뽑기’를 반복할 필요는 없습니다. 결국 두 제품은 서로 다른 수요를 겨냥하고 있다고 볼 수 있습니다.

센스타임SenseNova U1.5 Lite 모델의 다양한 시각적 과제에서의 성능

36Kr: 기업은 하나의 범용 대형 모델로 모든 업무를 처리할 수도 있고, 에이전트가 여러 전문 모델을 조율하도록 할 수도 있습니다. 실제 업무 흐름에서는 어느 방식이 더 경제적이라고 보십니까?

린다화: 모델은 먼저 충분한 기본 역량을 갖춰야 하고, 그 위에서 각자의 전문성을 가져야 합니다. 여기에는 하나의 ‘불가능한 삼각형’이 있습니다. 바로 역량의 폭, 전문성의 깊이, 그리고 비용입니다. 폭넓은 능력과 높은 전문성을 모두 갖춘 슈퍼 모델을 만드는 것은 가능하지만, 그만큼 모델이 커지고 비용도 높아질 수밖에 없습니다.

기업 역시 모든 직무마다 ‘만능 인재’를 한 명씩 두지는 않습니다. 현실적으로는 기본적인 지능을 갖춘 여러 전문 모델이 팀을 이루어 각자의 역할을 수행하는 방식이 더 적합합니다.

센스타임의 경우 SenseNova 6.8(멀티모달 에이전트 모델)은 일종의 관리자 역할에 가깝습니다. 장기 과업을 계획하고 여러 전문 에이전트 간의 협업을 조율합니다. 이 에이전트 역시 이미지를 이해하고 다음 행동을 결정할 수 있는 ‘눈’이 필요합니다.

반면 U 시리즈는 시각 분야의 전문가에 가깝습니다. 정밀한 시각 인식, 제어 가능한 생성, 공간지능 등의 역량을 높은 수준까지 끌어올리는 데 초점을 맞추고 있습니다. 두 모델은 각자의 역할을 나눠 맡으며 함께 하나의 과업을 완성합니다.

36Kr: 센스타임의 AI 콘텐츠 제작 플랫폼 Seko는 영상 제작 전 과정을 지원하면서 Seedance 같은 전문 모델도 연동할 수 있습니다. 단일 영상 생성 모델과 비교했을 때, Seko가 더 중점적으로 해결하려는 문제는 무엇입니까?

린다화: Seko가 제공하려는 것은 완전한 영상 제작 워크플로입니다. 모든 단계를 반드시 센스타임 자체 모델로 처리할 필요는 없습니다. 최종 영상 렌더링에는 Seedance와 같은 전문 모델을 활용할 수 있습니다.

중요한 것은 스토리를 어떻게 전개할지, 스토리보드를 어떻게 구성할지, 결과물을 확인한 뒤 어떤 부분을 수정할지와 같은 창작과 반복 개선의 전체 과정입니다. 이러한 창작의 폐쇄형 워크플로야말로 창작자의 지능 수준이 가장 잘 드러나는 부분이며, 센스타임이 중점적으로 확보하고자 하는 영역입니다.

영상의 화질은 상당 부분 고품질 데이터와 자원 투입 규모에 의해 결정됩니다. 센스타임이 더 중요하게 보는 것은 모델이 창작 의도를 이해하고, 어떤 부분을 수정해야 하는지 판단한 뒤, 이해·생성·수정을 하나의 흐름으로 연결하는 능력입니다.

이 점이 바로 Seko와 단일 전문 영상 생성 모델의 역할이 다른 이유입니다.

공간지능은 아직 ‘GPT 모먼트’를 맞이하지 않았다

36Kr: 이미지 생성, 영상 생성, 3D, 공간지능 모두 지속적인 투자가 필요한 분야입니다. 자원이 제한된 상황에서 센스타임은 어떤 기준으로 우선순위를 정합니까?

린다화: 우리가 실제로 집중하는 것은 두 가지 관계입니다. 하나는 언어 지능이 시각적 상상과 생성에 영향을 줄 수 있는가, 또 하나는 시각적 생성과 상상이 다시 추론에 영향을 줄 수 있는가입니다.

그래서 투자 측면에서도 이 두 가지 질문에 대한 이해를 높일 수 있는 영역을 우선적으로 봅니다.

이미지 생성, 영상, 3D는 겉보기에는 서로 다른 방향처럼 보이지만, 결국 바탕에서는 이 두 관계를 다루고 있습니다. 그렇기 때문에 모든 지표를 극한까지 끌어올리려 하지는 않습니다. 예를 들어 영상의 경우 영화급 화질 자체를 가장 중요한 경쟁력으로 삼지는 않습니다. 인물 생성도 계속 고도화하겠지만, 기본적인 생성 품질을 확보하는 데 중점을 둘 뿐 가장 핵심적인 방향은 아닙니다.

생성 영역에서는 인포그래픽을 주요 활용 장면으로 선택했습니다. 제한된 화면 안에서 정보를 어떻게 효과적으로 구성하고 전달할지를 판단하려면 실제 지능이 필요하기 때문입니다. 오피스 분야에서도 데이터 분석과 예측에 특히 주목하고 있습니다. 이 역시 높은 수준의 지능을 요구하며, 모델의 지능 상한을 끌어올리는 데 중요한 역할을 할 수 있습니다.

모두가 Coding 경쟁에 집중하고 있을 때 오히려 우리는 우리만의 속도로 갈 수 있습니다. 반대로 모두가 공간지능으로 몰린다면 우리에게는 압박이 조금 더 커질 수도 있습니다.

36Kr: 1년 전만 해도 업계에서는 월드 모델을 ‘GPT-3 단계’에 비유하기도 했습니다. 실제 범용화까지는 얼마나 더 걸릴 것으로 보십니까?

린다화: 특정한 장면에서는 이미 활용할 수 있는 기술이 많습니다. 다만 아직 충분한 범용성을 갖추지는 못했습니다. 하나의 장면이 주어지면 현재의 VLA(비전-언어-액션 모델)나 WAM(월드 액션 모델)은 상당히 전문적으로 수행할 수 있지만, 다른 장면으로 바뀌면 기본적인 판단 능력조차 유지하지 못할 수 있습니다.

진정한 ‘GPT 모먼트’가 오려면 폭과 깊이를 동시에 갖춰야 합니다. 폭은 다양한 장면으로 옮겨가도 이해할 수 있는 능력이고, 깊이는 장기적인 사고와 행동을 지속적으로 수행할 수 있는 능력입니다. 공간 능력 역시 복잡한 논리와 결합돼야 합니다. 그렇지 않으면 작업 도중 갑자기 사고가 끊기게 되고, 결국 상용화도 어렵습니다.

일정 수준의 범용성을 갖춘 시스템이 등장하기까지는 개인적으로 1~2년 정도가 더 필요하다고 봅니다. 모델의 능력은 어느 날 갑자기 바뀌는 것이 아니라 조금씩 단계적으로 향상될 것입니다.

36Kr: 월드 모델과 공간지능은 흔히 데이터 부족의 제약을 받는다고 합니다. 실제로 부족한 것은 데이터 자체일까요, 아니면 데이터를 활용하는 방법일까요?

린다화: 먼저 두 개념을 구분할 필요가 있습니다. 월드 모델은 세계와 그 안의 물리 법칙을 학습하는 것이고, 공간지능은 사람이 공간을 어떻게 이해하고 그 안에서 사고하고 행동하는지를 다룹니다.

적어도 공간지능 관점에서는 세상에 영상이 부족하다고 생각하지 않습니다. 공개 영상과 1인칭 영상은 이미 매우 많고, 저희 생태계 기업들도 1인칭 데이터 수집을 진행하고 있습니다. 진짜 문제는 이 데이터가 아직 충분히 활용되지 못하고 있다는 점입니다.

데이터 역시 단계적으로 활용해야 합니다. 언어 모델을 학습할 때처럼, 사전학습 단계에서는 폭넓은 데이터를 흡수하고, 중간 학습에서는 특정 분야의 과업과 추론 과정을 추가하며, 후속 학습에서는 구체적인 과업에 맞춰 다시 조정해야 합니다.

현재는 대부분 영상을 생성 모델 학습에 활용합니다. 화면이 어떻게 생겼는지, 다음 프레임이 어떻게 변하는지를 학습시키는 데 초점을 맞추고 있는 것입니다. 하지만 영상을 지능 향상에 활용하는 데는 아직 충분히 나아가지 못했습니다.

예를 들어 영화에서 한 인물이 어떤 장면을 본 뒤 갑자기 공포에 질린 표정을 짓는다고 해보겠습니다. 모델은 단순히 그 표정을 보는 데 그쳐서는 안 됩니다. 왜 그 인물이 놀랐는지, 그 감정이 현재 벌어지는 사건과 어떤 관계가 있는지까지 이해해야 합니다. 이것이 진정한 이해입니다.

따라서 두 가지가 필요합니다. 하나는 공간지능에 적합한 영상을 계속 수집하는 것이고, 다른 하나는 영상에 대해 올바른 질문을 던지고 사건 간의 관계를 구축하는 것입니다. 현재 아직 대규모로 제대로 이루어지지 않은 것은 후자입니다.

36Kr: U1.5는 이미 이미지에서 연속 편집이 가능합니다. 이 접근은 앞으로 영상과 3D로 어떻게 확장될까요?

린다화: 공간지능의 목표만 놓고 보면, 3D의 우선순위가 영상보다 더 높을 수도 있습니다. 공간지능의 본질은 결국 3차원 세계를 이해하고, 그 안에서 행동하고 상호작용하는 것이기 때문입니다.

연속 편집과 피드백 루프의 기본 원리는 서로 통하지만, 영상과 3D로 넘어가면 데이터 형태가 훨씬 더 복잡해지고 새로운 문제도 생깁니다.

다만 기술적 주축은 이미 비교적 명확합니다. 앞으로는 구체적인 문제들을 하나씩 해결해 나가게 될 것입니다. U2에는 더 많은 공간지능 요소가 포함될 예정이며, 3차원 공간에 대한 모델링과 이해 능력도 한층 강화될 것입니다. 단순히 정지 이미지를 영상으로 늘리는 수준에 머물지는 않을 것입니다.

멀티모달은 허상이 아니다, 핵심은 올바른 질문을 던지는 것이다

36Kr: Coding은 이미 명확한 매출과 기업가치 상승으로 이어지고 있지만, 멀티모달은 상대적으로 투자 회수 기간이 더 길어 보입니다. 센스타임은 장기 전략을 유지하면서도 어떻게 단계적인 성과를 보여주고 있습니까?

린다화: 센스타임이 Coding을 하지 않는 것은 아닙니다. 다만 복잡한 소프트웨어 엔지니어링을 핵심 방향으로 삼고 있지 않을 뿐입니다. 우리는 장기적인 비전을 분명하게 설정하고, 그에 맞춰 핵심 우선순위에 자원을 집중하고 있습니다.

결국 시장은 이 기술 방향이 실제 고객과 매출로 이어질 수 있는지를 봅니다. 센스타임은 Raccoon(AI 오피스 에이전트) 같은 제품의 사용자 증가, 재구매, 유료 전환을 통해 멀티모달이 상업적으로도 성립한다는 점을 입증해야 합니다. 단순히 더 큰 모델 하나를 출시하는 것만으로는 충분하지 않습니다.

내부적으로는 1T 파라미터 모델을 추진할지에 대해서도 논의한 바 있습니다. 결론은 기술 발전의 법칙에 따라 단계적으로 나아가되, 적절한 시점에는 1T 혹은 그보다 더 큰 모델도 추진한다는 것입니다. 다만 단순히 규모를 키워 동질화 경쟁을 하는 방식이 아니라, 혁신적인 아키텍처와 기술을 기반으로 확장해야 한다는 원칙을 갖고 있습니다.

우리는 단기간에 규모를 키우기 위해 정작 중요한 문제에 대한 탐색을 늦추고 싶지 않습니다. 현재 대형 모델 경쟁은 매우 치열합니다. 모델 기업이 기술적 인식에서 얼마나 앞서 있는지, 그리고 얼마나 빠르게 반복 개선할 수 있는지는 매우 중요하며, 경우에 따라 성패를 좌우할 수도 있습니다. 우리에게 파라미터 규모는 하나의 기술적 선택일 뿐입니다. 더 중요한 것은 우리가 선택한 방향에서 충분히 빠르게 전진하고, 기술적 인식 자체가 앞서 나가는 것입니다.

구체적으로 모델의 파라미터 규모는 기술 경로의 성숙도에 따라 결정됩니다. 아직 충분히 검증되지 않은 기술을 탐색하는 단계에서 너무 일찍 대규모 파라미터를 적용하면 오히려 반복 속도를 늦출 수 있습니다. 반대로 기술 경로가 성숙해지면 **Scale Up(모델 규모 확대)**을 통해 능력의 상한을 탐색해야 합니다.

현재 센스타임의 멀티모달 에이전트 모델은 이미 Scale Up 단계에 진입했습니다. 반면 이해와 생성을 통합하는 방향은 아키텍처와 학습 방식 측면에서 아직 추가로 탐색해야 할 과제가 남아 있습니다.

△센스타임 Raccoon

36Kr: 방금 Coding도 일정 수준의 역량을 넘어선 뒤 사람들이 갑자기 “이제는 정말 쓸 만하다”고 느끼기 시작했다고 말씀하셨습니다. 그렇다면 디자인과 공간지능에서는 각각 어떤 지점이 그 전환점이 될까요?

린다화: Coding이 어느 날 갑자기 과거보다 몇 배, 몇십 배 강해진 것은 아닙니다. 능력이 일정 수준까지 축적되면서 사람들이 비로소 “정말 쓸 수 있겠다”고 느끼기 시작한 것입니다.

디자인 분야의 전환점은 이미 멀지 않았습니다. 모델의 제어 가능성과 시각적 품질이 계속 높아지고 있고, 다음 단계는 실제 업무 흐름 안으로 들어가는 것입니다. 예를 들어 Figma 같은 도구에서 바로 이어서 사용할 수 있는 콘텐츠를 직접 생성하는 식입니다. ‘보기 좋은 것’에서 ‘실제로 쓰기 좋은 것’으로 넘어가는 과정에서 남은 많은 문제는 더 좋은 데이터와 제품 기능으로 해결할 수 있습니다. 제 생각에는 이제 월 단위로 변화가 나타날 수 있는 단계입니다.

공간지능과 시각 추론의 전환점은 그보다 더 늦게 오겠지만, 그 영향은 훨씬 더 클 것입니다. 공간지능을 갖춘 ‘두뇌’가 없다면 로봇은 정해진 환경에서 정해진 동작만 수행할 수 있을 뿐, 복잡한 물리 공간에서 장기 과업을 독립적으로 수행하기는 어렵습니다.

36Kr: 현재 이미지와 영상 생성의 호출 가격은 계속 낮아지고 있지만, 전문 고객은 최종 결과물의 품질을 더 중요하게 봅니다. 멀티모달 시장도 결국 가격 경쟁으로 갈 것이라고 보십니까?

린다화: 모두가 비슷한 수준의 역량을 갖고 있다면 사용자는 당연히 더 저렴한 모델을 선택할 것입니다. 하지만 Token 가격만 놓고 경쟁하면 수익성이 크게 낮아지고, 결국 모델은 정말 전기·수도·가스 같은 범용 인프라가 될 수 있습니다.

저도 인공지능이 결국 전기·수도·가스 같은 인프라가 될 것이라는 점에는 동의합니다. 하지만 그런 산업이 이 시대에서 가장 큰 수익을 내는 분야는 아닙니다. 진짜 가치는 결국 사용자의 어떤 문제를 해결해 주느냐에 있습니다.

변호사가 판결문 글자 수로 돈을 받는 것도 아니고, 의사가 진료기록 글자 수로 비용을 받는 것도 아닙니다. 소송에서 이기고, 병을 치료해야 사용자가 결과에 비용을 지불합니다. 지능은 무게로 파는 상품이 아닙니다. Token은 단지 하나의 측정 단위일 뿐이고, 결국 중요한 것은 해결한 문제에 얼마나 큰 가치가 있느냐입니다.

앞으로는 과업 단위나 최종 결과물 기준으로 비용을 받을 수도 있고, AI와 고객이 함께 업무를 수행한 뒤 성과를 나누는 방식도 가능할 것입니다. 사용자는 모델이 100만 Token을 썼는지 1억 Token을 썼는지에는 관심이 없습니다. 중요한 것은 일이 제대로 끝났느냐입니다.

36Kr: Coding이 먼저 뚜렷한 상업적 성과를 내면서, 일부 멀티모달 연구자들이 스스로를 ‘CV(컴퓨터 비전) 난민’이라고 부르기도 합니다. 이런 불안감을 어떻게 보십니까?

린다화: 충분히 이해합니다. Coding이 주목받으면 관련 인재의 가치도 높아지고, 자연스럽게 다른 분야에 있는 사람들도 영향을 받을 수밖에 없습니다. 하지만 각 기술 분야가 상용화에 성공하는 시점은 원래 서로 다릅니다.

2022년 이전만 해도 자연어처리 역시 지금과 같은 상업적 가치를 갖지 못했습니다. 당시 지능형 고객서비스를 하려면 대규모 맞춤형 작업이 필요했고, 오히려 얼굴인식처럼 이미 대규모 상용화가 가능했던 컴퓨터 비전으로 돌아가고 싶다고 생각한 사람도 있었습니다. 지금은 단지 Coding이 먼저 사업성이 매우 명확한 위치에 도달했을 뿐입니다.

주식 투자와도 조금 비슷합니다. 지금 Coding이 가장 빠르게 오르는 종목이라고 해서 모든 사람이 모든 자산, 나아가 자신의 인생까지 거기에 걸어야 하는 것은 아닙니다. 인공지능이 바꾸는 것은 Coding만이 아닐 것입니다. 각자는 자신의 축적과 판단에 따라 진정으로 믿는 방향을 선택해야 합니다.

물론 멀티모달을 선택한다고 해서 과거 방식을 그대로 반복해서는 안 됩니다. 솔직히 말하면 전통적인 VLM(비전 언어 모델)의 기본 패러다임은 이미 한계에 도달했습니다. 지금도 멀티모달을 이야기하면서 단순히 VQA(시각 질의응답)를 하고 “이미지에 무엇이 있는가”만 답하는 수준에 머문다면, 기술적 가치나 상업적 가치는 크지 않을 것입니다.

36Kr: 더 많은 기업이 네이티브 멀티모달에 투자하도록 권하고 싶으십니까?

린다화: 제가 더 강조하고 싶은 것은 멀티모달의 장기적인 가능성에 대한 신뢰를 유지해야 한다는 점입니다. 많은 산업에서 시각 능력은 선택이 아니라 필수입니다. 멀티모달은 허상이 아닙니다. 다만 올바른 문제를 물어야 하고, 단순한 시각 질의응답 수준에 머물러서는 안 됩니다.

각 기업이나 종사자가 Coding을 선택할지, 멀티모달을 선택할지는 본질적으로 어느 쪽이 더 낫다고 말할 수 있는 문제가 아닙니다. 중요한 것은 자신의 경험과 판단을 바탕으로 실제로 믿는 방향을 선택하는 것이지, 단순히 유행을 따라가는 것이 아닙니다.

36Kr: 앞으로 1~2년 안에 멀티모달도 Code Agent의 폭발적 성장과 비슷한 핵심 전환점을 맞게 될까요?

린다화: 지금 단계에서 Coding의 의미는 Coding 자체를 넘어섰습니다. 사람들에게 인공지능이 정말 일을 할 수 있고, 실제 비즈니스 가치를 만들어낼 수 있다는 사실을 보여줬기 때문입니다. 단순히 시를 쓰거나 그림을 그리는 수준을 넘어섰다는 점에서 업계 전체에 큰 자신감을 줬습니다.

저는 앞으로 1~2년 안에 멀티모달도 이와 비슷한 전환점을 넘어설 것이라고 봅니다. 최종적인 제품 형태는 지금과 다를 수도 있고, 단순한 이미지 생성이나 영상 생성 도구만으로 나타나지는 않을 수 있습니다. 하지만 그 핵심에는 여전히 시각, 언어, 추론, 행동의 결합이 있을 것입니다.

데이터와 애플리케이션이 계속 성숙해지면서 멀티모달도 새로운 능력이 본격적으로 나타나는 시점을 맞게 될 것입니다. 물론 저희는 센스타임이 그 단계에 가장 먼저 도달하기를 기대하고 있습니다.

사진 출처｜IC photo