Kandinsky 4.1 Video: в России представили новую нейросеть для генерации видео

Новая модель обещает качественный скачок в визуализации по текстовому описанию и уже доступна первым пользователям

GigaChat.

Автор: Александр Пеньков. Фото: редакция.

Компания Сбер в ближайшее время выпустит обновлённую версию своей генеративной нейросети — Kandinsky 4.1 Video. Об этом сообщил старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка Андрей Белевцев во время выступления на конференции GigaConf.

Он рассказал, что модель обеспечивает качественно новый уровень генеративного видео. По его словам, Kandinsky 4.1 Video стала лучше сразу по нескольким параметрам — от точности следования текстовому запросу до качества визуального ряда, проработки движения и моделирования физики мира.

«Такие разработки открывают беспрецедентные возможности как для дизайнеров, маркетологов, так и для представителей любых других креативных индустрий, работающих над созданием высококачественного видеоконтента», — подчеркнул Андрей Белевцев.

Сейчас Kandinsky 4.1 Video тестируют участники GigaConf и приглашённые дизайнеры и художники. В скором времени доступ к ней получат все желающие.

Модель позволяет генерировать видеоролики продолжительностью до 10 секунд с разрешением SD (720×576) или HD (1280×720). Видеоряд можно создать по текстовому описанию или на основе стартового изображения. Поддерживается произвольное соотношение сторон, что позволяет адаптировать результат под разные задачи и платформы.

Kandinsky 4.1 Video построена на архитектуре диффузионного трансформера. Одним из ключевых этапов её разработки стало дообучение на тщательно отобранных данных, подготовленных более чем 100 профильными экспертами — дизайнерами, фотографами и художниками. Это позволило повысить выразительность, композицию и кинематографичность результата.

При разработке новой версии большое внимание уделялось оптимизации. Благодаря применению методов дистилляции и ускорения, время генерации сократилось более чем в три раза. При этом в ряде сценариев качество видео не только сохранилось, но и улучшилось.

Первая российская модель генерации видео Kandinsky Video была представлена 22 ноября 2023 года на конференции AI Journey.