센스타임, ‘SenseNova U1.5 Lite’ 정식 버전 공개

8월21일 센스타임이 경량 네이티브 통합 멀티모달 모델 ‘SenseNova U1.5 Lite’ 정식 버전을 오픈소스로 공개했다.

정식 버전은 프리뷰 버전(U1.5 Lite Preview)에서 선보인 네이티브 통합 멀티모달 기능을 실제 콘텐츠 제작 과정에서 더욱 정확하고 안정적으로 활용할 수 있도록 성능을 개선한 것이 특징이다.

센스타임은 실제 이미지 제작 작업을 중심으로 학습 데이터와 과제 설계, 후속 학습 과정을 전면 보완했다. 이를 통해 이미지 품질과 복잡한 프롬프트 처리 능력, 텍스트 및 레이아웃 구현, 네이티브 4K 이미지 생성, 이미지 편집, 세밀한 시각 요소 어 기능을 강화했다. 또한 결과물에 대한 제어력과 해상도를 높이는 동시에 비용 효율을 개선해 AI 이미지 생성 기술이 실제 업무에 활용할 수 있는 완성도 높은 결과물을 안정적으로 제공하도록 했다.

AI 콘텐츠 제작의 한계를 넘어선 종합 이미지 생성·편집 기능

“25분 동안 상세한 프롬프트를 작성했지만 모델이 1,000자밖에 처리하지 못해 세부 내용을 다시 줄여야 한다” 

“이미지 속 컵 하나만 바꾸려 했는데 배경과 인물의 얼굴까지 달라졌다.”

AI 이미지 생성 도구를 사용하는 콘텐츠 제작자들이 자주 겪는 문제다. 그동안 AI 업계는 이미지의 심미성과 사실적인 표현을 개선하는 데 집중해 왔다. 그러나 실제 콘텐츠 제작 과정에서 더욱 중요한 것은 사용자의 구체적인 요구사항을 빠짐없이 이해하고 정확하게 구현할 수 있는지다.

SenseNova U1.5 Lite는 다음과 같은 기능을 통해 이러한 문제를 개선했다.

1. 3,000~4,000자의 복잡한 프롬프트 처리: 상당수 오픈소스 모델이 1,000자가 넘는 명령어를 처리할 때 오류가 발생하거나 세부 조건을 누락하는 문제를 개선했다. SenseNova U1.5 Lite는 3,000~4,000자 길이의 컨텍스트를 기본 지원하며, 피사체와 수량, 공간 관계, 텍스트, 레이아웃, 스타일 등 다양한 조건을 동시에 처리한다. 이를 통해 복잡한 이미지 작업의 수행 안정성을 높였다.

2. 향상된 이미지 생성 품질: 전체적인 구도와 색상, 질감, 빛과 그림자, 사실적 표현 및 세부 묘사 능력을 개선했다. 일부 요소는 정확하지만 전체적인 완성도가 떨어지는 문제를 줄였다.

3. 안정적인 이미지 편집: 피사체의 고유한 특징과 공간 구조, 레이아웃, 편집하지 않은 영역을 최대한 유지한다. 특정 부분 수정과 요소 교체, 이미지 속 텍스트 보정, 여러 참조 이미지를 활용한 편집 기능도 강화했다.

4. 텍스트 및 복잡한 레이아웃 구현: 한국어를 제외한 중국어와 영어 텍스트를 비롯해 포스터, 인포그래픽, 브랜드 이미지, 다중 텍스트 배치 기능을 개선했다. 단순히 이미지를 생성하는 것을 넘어 정보와 시각 요소를 체계적으로 구성한 결과물을 제작할 수 있다.

5. 정밀한 이미지 제어: 바운딩 박스(Bounding Box)와 비주얼 마커(Visual Marker), 단일·다중 참조 이미지 등의 방식을 지원해 사용자가 지정한 영역과 대상을 더욱 정확하게 편집할 수 있다.

6. 네이티브 4K 고해상도 출력: 고해상도 이미지를 생성할 때 전체 구도를 유지하면서도 미세한 질감과 작은 글자, 빛의 굴절 등 세부 요소를 정교하게 표현한다.

실제 제작 환경에서 검증한 이미지 구현 능력

센스타임은 실제 콘텐츠 제작 역량을 평가할 수 있는 주요 작업을 선정해 SenseNova U1.5 Lite의 결과물 구현 능력을 검증했다.

활용 사례 1: 복잡한 시각적 표현

1. 포스터 및 표지 이미지 제작

SenseNova U1.5 Lite는 높은 수준의 시각적 완성도와 선명한 대비를 구현한다. 복잡한 레이아웃에서도 텍스트 배치와 여백을 정밀하게 조절할 수 있다. 텍스트와 사물이 서로 겹치는 장면에서도 자연스러운 빛과 그림자의 흐름을 유지한다. 이를 통해 네이티브 멀티모달 모델이 3차원 공간에서 요소 간의 위치와 중첩 관계를 정확하게 이해하고 있음을 보여준다.

2. 고밀도 인포그래픽 제작

중국어와 영어, 수치 데이터 등 다양한 세부 정보를 정확하게 구현한다. 여러 단계로 구성된 정보를 공간 구조에 맞게 배치하고 각종 레이블과 내용을 체계적으로 연결해 복잡한 데이터를 시각화한 인포그래픽도 한 번에 완성도 높게 제작할 수 있다.

3. 고해상도 디테일과 예술적 표현

건축물의 구조와 인물의 피부 질감, 예술 작품의 붓 터치 등 섬세한 표현이 필요한 장면에서도 사진이나 전문 예술 작품에 견줄 만한 정교한 질감을 구현한다.

활용 사례 2: 네이티브 이미지 편집

1. 레이아웃과 스타일을 정밀하게 제어하는 이미지 편집

- 스케치·선화를 따뜻한 복고풍 만화로 변환: 길고 복잡한 프롬프트를 정확하게 반영하면서 원본 스케치의 화면 구성과 인물 윤곽을 유지한다. 색상과 질감도 자연스럽고 섬세하게 표현한다.

프롬프트:

이 손그림 스케치를 따뜻한 복고풍 색감의 만화 스타일 일러스트로 변환해 주세요. 배경에는 미색 종이 질감을 적용하고 전체적으로 따뜻한 빛과 그림자를 사용해 촛불 아래 작업에 집중하는 분위기를 강조해 주세요.

원본 스케치의 레이아웃을 유지하고 중앙에 주요 장면을 배치한 뒤 주변을 번호가 표시된 5개의 분할 화면으로 구성해 주세요.

왼쪽 상단에는 붓글씨체로 큰 제목 ‘영혼을 두드리는 기계식 스위치’를 넣고 그 아래 녹색 레이블에 ‘스위치 하나하나는 세상과 대화하는 나만의 방식이다’라고 적어 주세요.

중앙에는 고글을 쓴 소년이 촛불 아래에서 드라이버로 키보드를 조립하는 모습을 표현해 주세요. 책상 위에는 ‘BUILD SOUL’이라고 적힌 머그잔과 여러 개의 키보드 스위치를 배치해 주세요.

소년 위 말풍선에는 ‘한밤중의 작업대. 이곳에는 나와 촛불, 그리고 이 작은 친구들뿐이다’라고 적고 옆에 있는 검은 고양이의 말풍선에는 ‘또 키보드 조립하는 거야? 야옹~’이라고 넣어 주세요.

오른쪽 상단의 ①번 화면에는 녹색 금속 키보드 하우징을 보여주고 제목은 ‘① 믿을 만한 하우징 고르기!’로 작성해 주세요. 아래에는 ‘맞춤형 금속 하우징이 주는 묵직하고 안정적인 느낌!’이라는 설명을 넣어 주세요.

오른쪽 중앙의 ②번 화면에는 네 가지 색상의 기계식 키보드 스위치를 배치해 주세요. 제목은 ‘② 마음에 드는 스위치 고르기!’ 설명은 ‘적축은 가볍게, 갈축은 균형 있게, 청축은 경쾌하게…마음을 사로잡는 스위치는 반드시 있다!’로 작성해 주세요.

오른쪽 하단의 ③번 화면에는 키캡 리무버로 키캡을 뽑는 장면을 확대해 보여주세요. 제목은 ‘③ 키캡 리무버가 최고!’로 작성하고 ‘딸깍!’이라는 효과음을 추가해 주세요. 아래에는 ‘키캡을 빼고, 스위치를 바꾸고, 다시 새로운 키캡을 끼운다. 자유로운 조합이야말로 기계식 키보드의 매력!’이라는 설명을 넣어 주세요.

왼쪽 중앙의 ④번 화면에는 빛을 반사하는 투명 키캡을 여러 개 배치해 주세요. 제목은 ‘④ 빛나는 투명 키캡!’ 설명은 ‘빛이 키캡을 통과하는 순간, 세상 전체가 한층 부드러워진다’로 작성해 주세요.

왼쪽 하단의 ⑤번 화면에는 따뜻한 백라이트가 켜진 완성된 키보드를 보여주세요. 제목은 ‘⑤ 드디어 완성!’ 설명은 ‘키를 누를 때마다 영혼의 울림이 전해진다!’로 작성해 주세요.

하단 중앙에는 소년이 신나게 키보드를 두드리는 역동적인 장면을 확대해 배치해 주세요. 녹색 폭발 모양의 말풍선에 ‘이게 바로 나만의 소리야!♡’라고 적고 아래에는 ‘다다다다닥!!’이라는 타이핑 효과음을 넣어 주세요.

오른쪽 아래에는 촛불을 바라보는 작은 고양이를 그리고, 말풍선에 ‘기계식 키보드의 진정한 매력은 만드는 즐거움과 그 안에 담긴 열정이다. 야옹~’이라고 적어 주세요.

라인 드로잉

편집 후

- 레이아웃을 유지한 주제 전환: 원본 포스터의 구성과 레이아웃을 정확하게 이해해 주제가 바뀐 뒤에도 전체적인 시각 구조를 안정적으로 유지한다.

프롬프트: 참고 이미지의 복고풍 인쇄물 스타일을 유지해 천문대 일반 공개 행사를 주제로 한 포스터를 제작해 주세요.

참조 이미지

편집 후

2. 여러 참조 이미지를 결합한 이미지 생성

- 핵심 요소 결합 및 장면 재구성: ‘카페 안에서 오토바이를 타고 있는 치즈 고양이’처럼 여러 참조 이미지에서 피사체와 스타일, 빛과 그림자 등 핵심 특징을 추출한다. 이를 새로운 공간에 자연스럽게 결합하고 조명과 각 요소의 비율도 조화롭게 구현한다.

참조 이미지

참조 이미지

참조 이미지

편집 후

- 음식 포스터 재구성: 여러 음식 이미지를 하나의 완성된 포스터로 결합한다. 배경과 식기의 질감, 주변 조명을 일관된 분위기로 구현하고 포스터 문구와 레이아웃도 자연스럽게 배치한다.

참조 이미지

참조 이미지

참조 이미지

참조 이미지

참조 이미지

편집 후

- 인포그래픽 요소 교체: 원본 포스터의 전체 구성 요소는 유지하면서 이미지 속 밴드 멤버를 교체한다. 하단 영역의 레이아웃을 재구성하고 곡 목록과 새로운 선형 디자인 요소를 추가한다.

Prompt: Edit Image 1 using Images 2 and 3 as content references rather than pasted rectangular images. Replace the framed band silhouettes with all five Radiohead members from Image 2, transformed into the poster’s distressed monochrome halftone style. Reflow the four lower feature blocks into a compact left column and add an ESSENTIAL LISTENING list on the right using Image 3 only for wording and hierarchy. Render the new list directly on the same continuous black distressed background with matching off-white type; do not retain any white or cream card background. Preserve all original text and all other poster elements.

참조 이미지

참조 이미지

참조 이미지

편집 후

3. 인포그래픽 편집

- 피사체를 유지한 스타일 변경

프롬프트: 포스터 전체를 청색과 은색 중심의 첨단 산업 디자인으로 변경해 주세요. 모든 문구와 로봇 이미지, 정보 배치는 그대로 유지해 주세요.

- 일부 속성 변경

프롬프트: 식물 주변에 있는 Cd, Pb, Zn, Cu, As 등 5개의 원형 레이블을 벽돌색으로 변경하고, 글자 색상은 미색으로 유지해 주세요

4. 이미지 속 텍스트 편집

- 칠판 메뉴의 일부 문구 교체

프롬프트: 칠판 메뉴의 ‘Summer Drinks’ 제목 아래 첫 번째 줄에서 흰색 삼각형 기호 오른쪽에 있는 노란색 손글씨 ‘快乐柠檬水(행복한 레모네이드)’를 빨간색 손글씨 ‘草莓啵啵奶茶(딸기 버블 밀크티)’로 변경해 주세요. 기존 분필의 질감과 필기 스타일을 그대로 유지하고 가격 5.00을 포함한 칠판의 나머지 문구와 레몬·커피잔·아이스바 일러스트, 나무 프레임 구조 및 배경의 식물은 모두 변경하지 마세요.

- 여러 문구의 정밀한 일괄 수정

프롬프트: 화면 중앙의 대형 벽돌색 제목 ‘PEARL’을 ‘HORIZON’으로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

왼쪽 상단의 영문 장소명 ‘ORIENTAL PEARL TOWER’를 ‘SHANGHAI LANDMARK’로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

왼쪽 상단의 영문 부제 ‘SHANGHAI, CHINA’를 ‘CITY OF HARMONY’로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

오른쪽 상단의 중문 장소명 ‘东方明珠’를 ‘城市之光’으로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

왼쪽의 도시 소개 문구 첫 문장 ‘A SYMBOL OF SHANGHAI.’를 ‘A BEACON OF VISION.’으로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

오른쪽의 도시 소개 문구 첫 문장 ‘DESIGNED FOR HARMONY.’를 ‘BUILT FOR TOMORROW.’로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

건축물 하단의 대형 중문 문구 ‘时代的瞭望 · 城市的明珠’를 ‘城市的节奏 · 未来的地标’로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

하단의 영문 문구 ‘A LANDMARK OF VISION. A BEACON OF SHANGHAI.’를 ‘A LANDMARK OF TOMORROW. A BEACON OF THE CITY.’로 변경해 주세요. 해당 영역이 충분히 크고 선명하며 경계가 단순한 경우 문자를 추가하거나 삭제·변형하지 말고 정확하게 입력해 주세요. 글자가 너무 작거나 가려져 있고 원근 왜곡이 심하거나 복잡한 질감 위에 있는 경우에는 배경을 다시 그리지 말고 기존 문구를 유지해 주세요.

5. 지정 영역 및 세부 편집

프롬프트: 빨간색 테두리 안의 ‘WHY IT MATTERS’ 영역에 있는 문구를 모두 중국어로 번역해 주세요. 기존 아이콘과 정보 구조, 레이아웃은 그대로 유지해 주세요. 빨간색 테두리는 편집 영역을 지정하기 위한 표시이므로 최종 이미지에서는 삭제해 주세요.

Prompt: Follow the marks and overall hints on the image to creatively transform this scene, making it moody, sophisticated midnight lounge vibe; remove the annotations when done.

80억 개 매개변수 기반 경량 모델…안정성과 비용 효율 강화

80억 개의 매개변수를 적용한 경량 모델 SenseNova U1.5 Lite는 프롬프트 반영 능력과 이미지 편집 시 원본 유지 성능에서 비슷한 규모의 모델보다 우수한 성능을 보였다. 텍스트 표현과 복잡한 레이아웃 구현에서도 초대형 상용 모델에 견줄 만한 수준의 결과물을 제공한다.

이미지 렌더링과 시각적 완성도 개선, 편집 등 서로 다른 작업을 처리하기 위해 AI 업계에서는 일반적으로 명시적 라우터(Router) 또는 다중 전문가 협업 구조를 사용한다. 작업 유형에 따라 각각의 전문 모델에 기능을 배분하는 방식이다. 그러나 이 구조는 시스템 운영 비용을 늘리고 추론 지연을 발생시킨다는 한계가 있다.

SenseNova U1.5 Lite는 NEO-Unify 통합 아키텍처를 기반으로 이러한 문제를 개선했다.

1. 학습과 서비스 배포 분리(MOPD 증류): 학습 단계에서는 텍스트 표현과 이미지 품질, 편집 기능을 담당하는 전문가 모델을 각각 독립적으로 학습한다. 서비스 배포 단계에서는 다중 전문가 온라인 정책 증류(MOPD) 기술을 활용해 각 전문가 모델의 역량을 성능 저하 없이 하나의 80억 매개변수 모델에 통합한다.

2. 이미지 이해와 생성 능력의 상호 강화: 시각적 의미 이해와 공간 모델링을 통해 확보한 정보를 이미지 생성 과정에 직접 반영한다. 이를 통해 여러 단계로 구성된 복잡한 프롬프트를 자연스럽게 처리하면서 멀티모달 이해 능력 평가에서도 우수한 성능을 유지한다.

3. 높은 비용 효율: 80억 개의 매개변수를 적용해 단일 GPU에서도 원활하게 구동할 수 있다. 작업마다 라우터를 통해 여러 모델을 전환할 필요 없이 한 번의 처리 과정만으로 의미 이해와 이미지 생성을 동시에 수행해 서비스 비용과 추론 지연을 크게 줄였다.

OneIG(EN, ZH), LongText(EN, ZH), BizGenEval(Easy, Hard), CVTG, IGenBench 및 Qwen-Image-Bench에서의 생성 지연 시간과 평균 성능 비교.

정식 버전에는 과제 수행 중심의 강화학습(RL) 후속 학습도 강화됐다. 주요 개선 영역은 다음 세 가지다.

1. 프롬프트 반영(Instruction Compliance): 길고 복잡한 프롬프트를 분석하고 여러 세부 조건과 제약 사항을 정확하게 반영한다.

2. 시각적 완성도(Visual Preference): 구도와 질감, 빛과 그림자 표현을 전반적으로 개선해 이미지의 품질과 시각적 완성도를 높였다.

3. 편집 시 원본 유지(Editing Preservation): 픽셀 단위의 세밀한 부분 편집을 지원하면서 수정 대상이 아닌 영역의 내용과 구조는 그대로 유지한다.

이러한 복잡한 프롬프트 처리 능력과 정밀한 편집 기능을 바탕으로 SenseNova U1.5 Lite는 여러 차례에 걸쳐 이미지를 수정하더라도 최초 작업 의도와 일관성을 유지할 수 있다. 이를 통해 한 번의 이미지 생성에 그치지 않고 경량 모델을 활용해 장시간 이어지는 콘텐츠 제작과 반복적인 수정 작업까지 수행할 수 있다.

오픈소스 이미지 생성 기술, 시연을 넘어 실제 활용 단계로

멀티모달 기술은 AI가 디지털 환경을 넘어 물리적 환경에서 작동하고 실질적인 생산성 도구로 발전하기 위해 필요한 핵심 기술이다.

센스타임은 전 세계 개발자와 콘텐츠 제작자에게 가볍고 통합된 구조와 높은 비용 효율, 정밀한 제어 기능을 갖춘 생산성 도구를 제공하기 위해 SenseNova U1.5 Lite를 오픈소스로 공개했다. SenseNova U1.5 Lite는 GitHub와 Hugging Face, ModelScope에서 내려받아 직접 배포하고 사용할 수 있으며 SenseNova Studio에서는 온라인으로 기능을 체험할 수 있다.

GitHub: https://github.com/OpenSenseNova/SenseNova-U1

Hugging Face: https://huggingface.co/collections/sensenova/sensenova-u15

ModelScope : https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT

SenseNova Studio 온라인 체험: https://unify.light-ai.top/