«Суть генеративного творчества — создавать процессы, а не законченные произведения»
2026-02-21 13:45 Diff
https://skillbox.ru/media/design/epshtejn-interview/

Вадим Эпштейн — московский медиахудожник и VJ, основатель и креативный директор студии in[visible], популяризатор цифрового творчества и преподаватель в Британской высшей школе дизайна, магистратуре Digital Art (DA) ДВФУ, онлайн-школе Bang Bang Education. Вадим выступает на коммерческих мероприятиях и курирует фестивали и выставки.

Вадим рассказал, какой переворот в медиаискусстве произвела разработка нейросетей-«всезнаек». И на примере своих и других произведений показал, на что способно генеративное искусство.

Из материала вы узнаете:

— В чём особенности медиаискусства как метода?

— Цифровой мир даёт большую свободу, потому что достаточно отвязан от физического. У него, конечно, есть свои ограничения, но обычно они технические, и их можно обходить или использовать как выразительное средство.

Цифра дискретная, копируемая и воспроизводимая. Файлы в форматах JPG и MP3 можно называть диджитал-артом, но это ещё не столь интересно, потому что если такие «ноты» загрузить в плеер (цифровой исполнитель), то они будут воспроизводиться раз за разом одинаково.

Всё самое интересное начинается в генеративном искусстве, где мы прописываем и запускаем алгоритмы.

Суть генеративного творчества в том, чтобы создавать развивающиеся процессы, а не законченные произведения.

Если приводить аналогии, то генеративный художник готовит почву, выращивает деревья — это ещё называют новой органикой. Мы подготавливаем процесс, он и является целью творчества. А отдельные видео, музыка и прочее — окаменелые результаты, которые интересны как слепки, фотографии самого процесса.

Я называю генеративное программирование «квантовым дизайном» — по аналогии с квантовой механикой, которая занимается поведением невидимых нам атомных частиц, а затем складывает всё в объяснимые теории.

Художник прописывает низкоуровневые функции: например, если у нас «такие условия» и «такие координаты», то пиксели двигаются в определённую сторону. При этом цифровые художники работают не напрямую с финальным результатом, а с деталями, тонкостями процесса, которые потом складываются в цельный пазл. Степень человеческого контроля при этом довольно высока, но сильно опосредованна.

Кстати, генеративное творчество может быть не только цифровым. Бывают и другие генеративы: биологические и даже геологические. Например, меандры рек, конструирующие русло в дельте.

— Традиционный художник или скульптор полностью создаёт произведение, он — единственный автор. В генеративном творчестве эта связь другая?

— Проще всего это показать на современном примере машинного обучения.

В 2021 году произошла революция в машинном зрении, которая сильно изменила парадигму работы во всей области ИИ. Раньше под каждую задачу требовалось обучать специализированную модель. Теперь же появились нейросети с гигантским корпусом знаний, которые могут выстраивать более глубокие косвенные связи и с ходу решать широчайший круг задач. Для таких систем в Стэнфорде изобрели термин Foundation Models — «фундаментные модели». И даже создали целый отдел для их осмысления — The Center for Research on Foundation Models (CRFM).

Когда художники используют такие нейросети-«всезнайки», вопрос об авторстве встаёт особенно остро. Вот, например, в этой работе я использовал свой генератор, разработанный на основе модели CLIP от OpenAI, который принимает на вход текст и дальше свободно фантазирует и превращает это в видео:

Saga 3D from Vadim Epstein on Vimeo.

В генератор я ввёл короткую, но насыщенную и довольно абстрактную фразу в духе: «Придумай монументальную сагу-сериал про жизнь, смерть и любовь, где будут люди, боги, роботы, природа». А затем приложил 30–40 имён известных художников, чей стиль нейросеть уже неплохо знает.

Получилось эпичное батальное видеополотно, которое можно сколько угодно рендерить. Поскольку модель опиралась на стиль художников — великих мастеров, то картинки появлялись весьма интересные и временами завораживающие.

При этом, естественно, возникает интересная проблема:

  1. Есть работа, синтезированная моим алгоритмом на основе вводного текста с моей формулировкой. В классическом подходе это бы однозначно закрыло вопрос с авторством.
  2. Но работа сделана на основе базовой нейросетевой модели, над которой трудилась серьёзная компания.
  3. При этом значительная доля произведения — имитация стиля художников, благодаря которым картинки получаются крутые и интересные.

Непропорциональность между затраченными входными усилиями и полученным результатом здесь особенно бросается в глаза.

Мы когда-то жили с представлением, что автор — личность, которая полностью ответственна за появление продукта или произведения искусства. Раньше авторам нужно было пройти длинный путь от сырой глины или чистого холста до финального творения. Когда появились «фундаментные модели», которые сами создают сложные и неординарные вещи, действие художника-иллюстратора свелось к одному-двум текстовым запросам. Сейчас достаточно уронить песчинку в чайник — и он закипит.

Я почти уверен, что административно-юридические вопросы, связанные с авторским правом, будут переосмысляться.

— Есть точка, когда такое произведение закончено, или его можно создавать бесконечно?

— Сложно говорить о критической точке завершения чего-то — сначала нужно сформулировать, что мы считаем завершением. Сделать работу, используя конкретную технику, — конечная цель. А сделать работу, которая бы устроила автора, — процесс, который может не прекратиться никогда.

Если мы работаем с созданием процесса, то это как ремонт. Его можно только остановить, но нельзя закончить. У него может в принципе не быть финальной цели, он длится до тех пор, пока мы готовы тратить на это время и ресурсы.

Вот, например, эту работу я считаю вполне завершённой. Здесь я дошёл до условной точки, состояния, которого хотел достигнуть:

Jabberwokk 3D from Vadim Epstein on Vimeo.

Я использовал тот же генератор на базе CLIP от OpenAI, загрузил в систему текст стихотворения «Бармаглот» Льюиса Кэрролла, скачал запись, на которой Бенедикт Камбербэтч читает его, указал длительность финального ролика, чтобы он лёг на оригинальный саундтрек. И система сгенерировала видеоряд, на который я наложил запись с Камбербэтчем.

— Если несколько раз давать программе идентичную задачу, изменится ли результат?

— Зависит от программы и реализации. SberAI запустил генератор картинок из текста ruDALL-E. Если в него раз за разом вводить один и тот же запрос, на выходе будут принципиально разные картинки. Это может быть подобие неразборчивого текста, фотографический кадр, как из фильма, или что-то мультяшное.

Изображения, которые сгенерировал ruDALL-E на фразу «Мой дядя самых честных правил». Изображение: ruDALL-EИзображения, которые сгенерировал ruDALL-E на фразу «Мой дядя самых честных правил». Изображение: ruDALL-EИзображения, которые сгенерировал ruDALL-E на фразу «Мой дядя самых честных правил». Изображение: ruDALL-E

Это связано с архитектурой кода. У ruDALL-E современная архитектура трансформеров, которая не рисует картинку сразу, а начинает писать построчно, как письмо. И в таком процессе гораздо больше возможностей отклониться в ту или иную сторону, и потому результат получается разный.

Мой генератор использует методы, которые синтезируют картинку в целом, и поэтому результат у него плюс-минус одинаковый. Композиция может быть другая, но стилистика примерно одна и та же.

— В каких коммерческих сферах применимо медиаискусство?

— Ядро прикладного медиаарта — любые визуальные материалы (шоу, презентации, стенды, рекламные ролики и другое) и интерактивные инсталляции. Аудио обычно присутствует косвенно. Но бывают и инсталляции, построенные на аудиопогружении.

Стенд Московской мэрии «Урбанистика» на выставке «Россия, устремленная в будущее»Фрагмент проекционно-лазерного шоу на «Ночь Новых Медиа»

Также это сайты, приложения, сервисы. До пандемии уже был сдвиг в онлайн, сейчас он только усилился. Мне такая степень виртуализации не особо близка, но это наша реальность.

Ну и, конечно, медиаискусство в форме компьютерной графики широко применимо в киноиндустрии.

— Вы могли бы привести примеры связи между целью проекта и технической реализацией?

— В прошлом году мы делали проект для рекламной акции производителя «устройств для сна» «Аскона». Они сняли пространство галереи Artplay, где обычно проходят инсталляции, поставили несколько кроватей и запустили на все стены видеографику, которая иллюстрировала сновидения.

Сначала мою команду in[visible] просили обыграть тему космоса. Но мы предложили другие решения и отстаивали несколько сцен, потому что сны — не хроника National Geographic. Здесь нужен уровень абстрактной фантазии. И мы постарались воздействовать через сочетание эстетики с разными образами: от космоса и условных туманностей через фантастическую органику к подводному миру и взрыву сверхновой как метафоре пробуждения. Технически вся графика был выполнена с помощью модульной среды программирования vvvv и авторских шейдеров (графических подпрограмм на языке HLSL/GLSL).

Авторская графика для рекламного шоу компании Аскона

В реализации проекта Орхана Мамедова Circular Repetition для Венецианской биеннале — 2019 у нас была задача сделать непрерывный синтез новых графических паттернов на основе традиционных азербайджанских мотивов. Для синтеза в реальном времени мы выбрали и доработали топовую на тот момент генеративную нейросеть Progressive GAN. Интеграцию со светодиодной установкой, синхронизацию со звуком (тоже генеративным) и общее управление всей инсталляцией разработали на основе модульной среды программирования vvvv.

Реализация арт-проекта Орхана Мамедова для азербайджанского павильона на Венецианской Биеннале 2019

— Какой бэкграунд должен быть у медиахудожника? У вас, например, был научный — вы писали статьи по теоретической физике.

— Мой пример не уникален, но стоит немного особняком. Гуманитарное образование в то время не было столь качественным, как научно-техническое. Поэтому вопрос «Куда идти учиться?» тогда не стоял и не зависел от того, чем хотелось заниматься.

В институте и в дальнейшей работе в IT я получил серьёзную техническую базу. И когда захотелось творить самому, взялся за приёмы и методы, которыми сам владел, — формулы, коды и алгоритмы. То есть сначала появился мощный пласт средств, а потом я стал смотреть, какие вопросы могу с их помощью решить.

Отсутствие гуманитарного образования при этом довольно сильно сказывается. Множество юных деятелей могут гораздо хуже разбираться в технических инструментах, но я им завидую, потому что они понимают историю и развитие эстетики. А мой подход в этом деле абсолютно случаен: над чем подумал, в том и разобрался.

Насколько я могу судить, сейчас чаще встречается более правильный путь — сверху вниз, от цели к средствам. Люди, которые приходят в медиаарт, сначала формулируют векторы и принципы своей активности как художники, а потом свободно выбирают и осваивают методы, которыми хотят это выражать: цифра, керамика, биогенетика и прочее. В любой области наличие системного образования снимает необходимость многих лишних действий.

— Что медиахудожнику нужно уметь, знать и понимать сейчас? Что будет актуально в ближайшее время?

— Самая передовая тема — deep media art, так называемые глубокие медиа, которые ушли от цифры, потому что она не даёт погружения в реальную проблематику мира. Deep media art работает со свойствами и сутью материи: с эфирными колебаниями, со структурой физической материи и так далее.

Ярчайшие представители этого направления — пара Эвелины Домнич и Дмитрия Гельфанда. Один из самых известных их проектов посвящён сонолюминесценции — свечению жидкой среды при высокочастотном ультразвуковом стимулировании, когда воду просвечивают ультразвуком определённой мощности. От вибраций и колебаний возникают микропузыри, которые схлопываются и излучают энергию. Это очень известный научный эффект, но все учёные считали, что его невозможно увидеть невооружённым глазом, пока Эвелина и Дмитрий не создали свою инсталляцию.

А если говорить о коммерческих проектах, то на какое-то время мы точно останемся в цифре. Сейчас там доминируют VR, крипта и нейросети. Это не значит, что нужно становиться суперпрофи-разработчиком, изучать Python или язык Solidity, на котором пишут блокчейн. Но необходимо иметь твёрдую почву в технологических областях, чтобы ориентироваться в выборе средств и понимать, как, когда и для чего их использовать. Бесцельная техническая навороченность раздражает, и разные инструменты важно воспринимать именно как способ достичь результата.

— За кем из медиахудожников вы бы посоветовали следить?

— Выделю несколько сильных художников в генеративном искусстве.

Марио Клингеманн. Нейрохудожник №1. Он всегда на острие, пробует всё топовое и прогрессивное. Когда год назад выстрелил криптоарт, он тут же стал с ним работать и экспериментировать, и сейчас он ещё и один из ведущих NFT-художников.

София Креспо. Если Марио постоянно испытывает на прочность новые технологии, то у Софии противоположный подход — она идёт от идеи, смысла и эстетики.

Роберт Зайдель. Пожалуй, мой любимый художник абстрактного генератива, чьи работы — феерия форм, движения и цвета. Он мастер передавать сильные эмоции без привлечения фигуративных приёмов.

Пол Пруденс. Мастер цифрового минимализма, с запредельным чувством пластики этой среды.

— Где можно учиться на медиахудожника в России?

— «Медиа- и технологическое искусство» — совместный проект «Среды обучения» и Московской школы фотографии и мультимедиа им. А. Родченко.

«Цифровое искусство» — от Школы цифровой экономики Дальневосточного федерального университета (ДВФУ).

ArtTECH — магистратура от институтов ИТКН и ЭкоТех НИТУ «МИСиС».