0 added
0 removed
Original
2026-01-01
Modified
2026-02-21
1
<p>Онлайн-журнал для тех, кто влюблён в код и информационные технологии. Пишем для айтишников и об айтишниках.</p>
1
<p>Онлайн-журнал для тех, кто влюблён в код и информационные технологии. Пишем для айтишников и об айтишниках.</p>
2
<p>Google<a>представил</a> нейросеть Lumiere, предназначенную для генерации коротких видео. Система может создавать ролики по текстовому описанию или исходному изображению либо изменять в готовом видео только выбранные детали. Код нейросети пока остаётся закрытым.</p>
2
<p>Google<a>представил</a> нейросеть Lumiere, предназначенную для генерации коротких видео. Система может создавать ролики по текстовому описанию или исходному изображению либо изменять в готовом видео только выбранные детали. Код нейросети пока остаётся закрытым.</p>
3
Примеры генерации<em>Скриншот:<a>Google</a>/ Skillbox Media</em><p>В основе Lumiere лежит модель "пространственно-временной диффузии" (STUNet, Space-Time-U-Net). Её главная особенность в том, что видео генерируется за один проход. Другие решения сначала создают ключевые кадры, а потом заполняют пространство между ними. Из-за этого часто возникают ошибки и несогласование кадров.</p>
3
Примеры генерации<em>Скриншот:<a>Google</a>/ Skillbox Media</em><p>В основе Lumiere лежит модель "пространственно-временной диффузии" (STUNet, Space-Time-U-Net). Её главная особенность в том, что видео генерируется за один проход. Другие решения сначала создают ключевые кадры, а потом заполняют пространство между ними. Из-за этого часто возникают ошибки и несогласование кадров.</p>
4
<p>Для обучения модели использовали набор данных из 30 млн видеороликов в разрешении 128×128 пикселей, частотой 16 кадров в секунду и продолжительностью в пять секунд. К каждому из них подготовили детально текстовое описание происходящего. Обученная модель создаёт ролики с разрешением 1024×1024 пикселей.</p>
4
<p>Для обучения модели использовали набор данных из 30 млн видеороликов в разрешении 128×128 пикселей, частотой 16 кадров в секунду и продолжительностью в пять секунд. К каждому из них подготовили детально текстовое описание происходящего. Обученная модель создаёт ролики с разрешением 1024×1024 пикселей.</p>
5
Архитектура Lumiere<em>Скриншот:<a>Google</a>/ Skillbox Media</em><p>Кроме возможности преобразовывать текст в видео Lumiere оснастили следующими функциями:</p>
5
Архитектура Lumiere<em>Скриншот:<a>Google</a>/ Skillbox Media</em><p>Кроме возможности преобразовывать текст в видео Lumiere оснастили следующими функциями:</p>
6
<ul><li><strong>Генерация видео по изображению.</strong>Нейросеть использует картинку с текстовым описанием желаемого результата для создания анимации.</li>
6
<ul><li><strong>Генерация видео по изображению.</strong>Нейросеть использует картинку с текстовым описанием желаемого результата для создания анимации.</li>
7
<li><strong>Общий стиль.</strong>Lumiere может запомнить художественный стиль промпта и на его основе создавать другие видео.</li>
7
<li><strong>Общий стиль.</strong>Lumiere может запомнить художественный стиль промпта и на его основе создавать другие видео.</li>
8
<li><strong>Изменения стиля на ходу.</strong>В качестве промпта передаётся исходное видео с описанием общего стиля, а на выходе можно попросить сделать объекты в кадре игрушечными или в виде бумажных фигур.</li>
8
<li><strong>Изменения стиля на ходу.</strong>В качестве промпта передаётся исходное видео с описанием общего стиля, а на выходе можно попросить сделать объекты в кадре игрушечными или в виде бумажных фигур.</li>
9
<li><strong>Анимация только части изображения.</strong>На пейзажной фотографии можно анимировать движение облаков.</li>
9
<li><strong>Анимация только части изображения.</strong>На пейзажной фотографии можно анимировать движение облаков.</li>
10
<li><strong>Дополнение кадров.</strong>Нейросеть дорисовывает объекты в кадрах, основываясь на текстовом описании. Это, например, позволяет добавить шарф человеку, если его не было изначально.</li>
10
<li><strong>Дополнение кадров.</strong>Нейросеть дорисовывает объекты в кадрах, основываясь на текстовом описании. Это, например, позволяет добавить шарф человеку, если его не было изначально.</li>
11
</ul><p>Код Lumiere закрыт, и инженеры Google пока не рассказали о планах сделать модель общедоступной. Пока компания опубликовала только<a>исследование</a>, в котором рассматривается новый метод генерации видео.</p>
11
</ul><p>Код Lumiere закрыт, и инженеры Google пока не рассказали о планах сделать модель общедоступной. Пока компания опубликовала только<a>исследование</a>, в котором рассматривается новый метод генерации видео.</p>
12
<a><b>Бесплатный курс по Python ➞</b>Мини-курс для новичков и для опытных кодеров. 4 крутых проекта в портфолио, живое общение со спикером. Кликните и узнайте, чему можно научиться на курсе. Смотреть программу</a>
12
<a><b>Бесплатный курс по Python ➞</b>Мини-курс для новичков и для опытных кодеров. 4 крутых проекта в портфолио, живое общение со спикером. Кликните и узнайте, чему можно научиться на курсе. Смотреть программу</a>