Модель Kandinsky WM 1.0 доступна в открытом виде, что позволяет разработчикам использовать её без ограничений и вносить улучшения.

Основа модели и её возможности

Семейство моделей Kandinsky WM 1.0 построено на основе облегчённой видеогенерирующей модели, дополнительно обученной на нескольких миллионах видеозаписей с роботов, беспилотных автомобилей и промышленных объектов. По заявлению создателей, базовая видеомодель содержит около двух миллиардов параметров.

Типы генерируемых видео

• Захват и перемещение предметов
• Перестроение автомобиля
• Проезд перекрёстка
• Отдельные этапы производственного процесса

Все ролики имеют продолжительность около пяти секунд и предназначены для отработки редких и сложных ситуаций, трудно воспроизводимых в реальной жизни — таких как аварии, экстремальные погодные условия и отказы технического оборудования.

Повышение физической достоверности

Для обеспечения естественности движений и сохранения геометрии сцены разработчики использовали метод обучения с подкреплением. Специализированные модели оценивали форму объектов, пространственную структуру сцены и плавность траекторий, а результаты этой оценки применялись как обратная связь при последующем дообучении основной системы.

Направление развития: Физический ИИ

Разработка входит в категорию физического ИИ (Physical AI), где системы способны воспринимать окружающую среду, адаптироваться к её изменениям и управлять реальными устройствами. Одной из ключевых проблем в этой области остаётся дефицит открытых видеоданных — их сбор требует сложного оборудования, датчиков, операторов и строго контролируемых условий.

Перспективы будущего

В перспективе планируется развитие технологий в сторону моделей цифрового мира, способных симулировать динамику сцены во времени. Такие модели могут применяться для обучения и тестирования роботов в безопасных условиях. Точные сроки выхода следующего поколения моделей пока не сообщаются.

По материалам: Rg.ru