Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-21

1 <a>#статьи</a>

2 <ul><li>23 дек 2022</li>

3 <li>0</li>

4 </ul>Полный цикл работы аниматоров Eidos Montreal.

5 Скриншот: Marvel's Guardians of the Galaxy / Eidos Montreal

6 Считает игры произведениями искусства и старается донести эту идею до широких масс. В свободное время стримит, рисует и часами зависает в фоторежимах.

7 На GDC 2022 ведущий технический аниматор Eidos Montreal Саймон Хабиб выступил с докладом о полном цикле создания лицевой анимации персонажей Marvel’s Guardians of the Galaxy, начиная от процесса сканирования актёров и заканчивая интеграцией контента в игру. Редакция "Геймдев" Skillbox Media делится основными тезисами из лекции. Во время просмотра видеовставок в этой статье не забудьте включить звук.

8 Из этого материала вы узнаете:

9 <ul><li>на чём основывалось<a>видение</a>аниматоров Eidos Montreal;</li>

10 <li>подробности процессов<a>фотограмметрии</a>и <a>мокап-съёмок</a>;</li>

11 <li>каким образом отсканированные<a>данные</a>переносят в анимацию;</li>

12 <li>как команда нашла баланс между количеством и качеством, разработав критерии<a>бронзового</a>,<a>серебряного</a>и <a>золотого</a>уровней анимаций.</li>

13 </ul>Полная версия доклада Саймона ХабибаПервые 10 лет своей карьеры Саймон Хабиб<a>работал</a>специалистом по риггингу. В спектр его задач входило создание ригов для лицевой анимации, двуногих персонажей, животных и транспорта, скиннинг, симуляция физики и разработка пайплайнов для риггеров.

14 В 2015 году Саймон занялся наработками в области лицевой анимации. Он всегда интересовался играми с упором на нарратив и хотел создавать анимации, которые бы передавали живые эмоции персонажей и вызывали отклик у игроков. Marvel’s Guardians of the Galaxy стала идеальным для этого проектом.

15 Скриншот: Marvel’s Guardians of the Galaxy / Eidos MontrealИгра получила<a>хорошие оценки</a>от критиков и пользователей. Например, сайт Rock, Paper, Shotgun<a>отметил</a>, что лицевая анимация персонажей ничуть не уступает оригинальным фильмам Marvel, а автор VG247 и вовсе<a>посчитал</a>её одной из лучших, что ему когда-либо приходилось видеть в играх такого плана.

16 Отрывок диалога Звёздного Лорда и Рейкера; на видео показано три этапа создания лицевой анимацииВидео:<a>доклад</a>Саймона Хабиба на GDC 2022 / YouTubeПриступая к работе над Marvel’s Guardians of the Galaxy, аниматоры понимали, что это сюжетная игра с акцентом на кинематографичность и пять главных персонажей, сражающихся плечом к плечу, будут в центре внимания. Несмотря на то, что для сходства с прототипами из комиксов герои были стилизованы, они должны были выглядеть убедительно в кадре, включая антропоморфных Ракету и Грута. Этого удалось добиться благодаря хорошо переданным живым эмоциям, сыгранным актёрами.

17 Команда проанализировала наработки мокапа в индустрии и выделила четыре технические инновации, которые и легли в основу анимаций будущих персонажей.

18 <ul><li>Фотограмметрия.Как правило, во время разработки художники по персонажам создают новые образы на основе референсов. Фотограмметрия даёт возможность получить готовую отсканированную внешность реального человека, которая вполне подойдёт в качестве основы для будущего героя.</li>

19 <li>Анимация на основе отснятых видеоматериалов.Во многих играх для создания лицевой анимации используют звуковые дорожки. Через звук можно реализовать точную синхронизацию движений губ, но возникает вопрос, как подтянуть к такой анимации остальные мышцы лица. Обычно в этом процессе задействована процедурная генерация, которая не всегда даёт удовлетворительные результаты. В случае, когда анимацию делают на основе видео, мимика персонажа получается более живой и утончённой.</li>

20 <li>Наличие собственной студии мокапа и привлечение местных актёров.Аренда студии всегда замедляет производство, так как нужно рассчитать время на бронирование сеансов и обработку отснятых данных.</li>

21 <li>Преимущества полного захвата актёрской игры.Как правило, многие разработчики игр записывают мокап и озвучку по отдельности, а затем объединяют все данные во время сборки кат-сцен. Но такой подход не всегда гарантирует целостность кадра. При производстве Marvel’s Guardians of the Galaxy запись голосов, лиц и движений актёров происходила одновременно, обеспечивая максимальную синхронность и естественность.</li>

22 </ul>Скриншот: игра Marvel’s Guardians of the Galaxy / Eidos MontrealПеред разработчиками нередко встаёт выбор между количеством и качеством. Работая над лицевой анимацией персонажей Marvel’s Guardians of the Galaxy, команда доказала, что можно найти компромиссное решение, если поделить контент на несколько уровней качества.

23 <ul><li>Бронзовыйуровень предполагает создание полностью автоматизированного рига, который практически не требует ручной доработки. Этот вид анимаций создан на основе машинного обучения с дальнейшим подбором эмоций под каждую реплику. Такие анимации использовали во время внутриигровых диалогов.</li>

24 <li>Серебряныйуровень наиболее близок к исходной актёрской игре, но, чтобы его добиться, нужна техническая и художественная доработка специалистов. Используется в большинстве кат-сцен.</li>

25 <li>Золотойуровень получается за счёт доработки серебряных анимаций непосредственно в движке. Используется в ключевых моментах игры и для промоматериалов.</li>

26 </ul>Ознакомившись с основными принципами аниматоров Eidos Montreal, рассмотрим подробнее каждый этап их рабочего процесса.

27 Фотограмметрия - это процесс получения сотен сканов объекта с разных ракурсов и создания 3D-модели на их основе. Так как в Marvel’s Guardians of the Galaxy стилизованная графика, внешность актёров не требовалось переносить на модели персонажей полностью. Перед командой встал выбор: либо сразу подобрать подходящего актёра и на его основе разработать концепт-арт героя, либо, наоборот, начать с дизайна, а затем подобрать модель под нарисованный типаж. Аниматоры остановились на втором варианте.

28 Процесс подготовки модели к сканированиюКадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeСканирование актёров проходило в специальной кабине, оборудованной компанией<a>Pixel Light Effects</a>. В этом помещении одновременно работало 40 зеркальных камер, а 5 софтбоксов обеспечивали хорошее рассеянное освещение без резких теней. В общей сложности команда провела 13 сеансов сканирования - по одному на каждого персонажа.

29 Перед сеансами на лицо модели чёрной подводкой для глаз наносили около 100 маркеров, благодаря которым художники по персонажам более детально отслеживали все изменения лицевых мышц во время съёмок. Модели изобразили 25 эмоций, на основе которых было создано 138 блендшейпов для дальнейшего риггинга.

30 С технической точки зрения процесс фотограмметрии происходил следующим образом:

31 <ul><li>Полученные с камер снимки в расширении.cr2проходили коррекцию цвета и тона в <a>Lightroom Classic</a>.</li>

32 <li>Затем отредактированные изображения переносили в <a>RealityCapture</a> - программу, которая генерирует облако точек для объектов на снимке и создаёт меши высокого уровня детализации на их основе. В дальнейшем специалисты автоматизировали этот процесс.</li>

33 <li>После этого команда конвертировала полученные меши во <a>Wrap3</a>, переносила на базовый меш персонажа, а затем дорабатывала стилизацию и расставляла акценты в ZBrush.</li>

34 </ul>Ниже показана предварительная анимация на основе блендшейпов в Maya. Цель первого тестирования заключалась в том, чтобы максимально приблизить оцифрованную модель к внешности реального человека перед этапом стилизации.

35 Видео:<a>доклад</a>Саймона Хабиба на GDC / YouTubeВ правом верхнем углу представлено несколько эмоций, показанных актёром, а чуть ниже - подборка эмоций, созданных на основе блендшейпов.

36 Для Marvel’s Guardians of the Galaxy разработчики использовали три типа захвата движений. Рассмотрим их подробнее.

37 На снимке ниже показана комната, в которой проводились все сеансы мокапа для кат-сцен.

38 На мониторах в режиме реального времени транслировались записи лиц актёров в формате вертикальных видеоКадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeПо сравнению с павильонами, в которых обычно проходят съёмки мокапа других AAA-студий, помещение Eidos Montreal было относительно небольшим, но оно идеально подошло для записи диалогов, простых движений и даже некоторых трюков. В сеансах мокапа могли участвовать до семи человек одновременно. Почти все они носили на голове специальные крепления с камерой, которая находилась перед лицом актёра и фиксировала его мимику на видео. В наличии у студии было всего шесть таких устройств.

39 Кадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeЗахват движений был записан на систему<a>OptiTrack</a>, а лицевая анимация - с помощью<a>Faceware</a>. На фотографии выше видно, что у всех актёров с гарнитурой на голове также есть небольшой микрофон на креплении. Таким образом команда могла записывать звуковые дорожки, а затем объединять их в один аудиофайл.

40 Во время съёмок важно синхронизировать данные захвата движений и лицевой анимации всех актёров, а также аудиодорожек и трёх референс-камер, расставленных по периметру помещения, - для этого в работе использовались общие тайм-коды. Кроме того, требовалось обеспечить одновременную запись на всех устройствах и сгруппировать файлы в определённой последовательности. Для этих задач команда разработала собственный плагин Lumiere.

41 Обычно за сеансом мокапа наблюдало около пяти человек: продюсер, директор по кат-сценам, специалист по мокапу, звукорежиссёр и, наконец, сам Саймон. Кроме того, на съёмочной площадке находились ассистенты, которые помогали актёрам надевать мокап-костюмы.

42 Несмотря на то, что съёмки проходили в комфортных условиях, последний год производства выдался достаточно напряжённым. Из-за пандемии коллективу пришлось соблюдать ряд ограничений и строгие правила социальной дистанции, включая ношение масок и защитных экранов и регулярное использование санитайзеров для рук. В студии установили камеру, которая записывала всё, что происходило на площадке; записи по необходимости транслировались в Zoom, что позволяло некоторым сотрудникам удалённо управлять съёмочным процессом прямо из дома и давать обратную связь через Slack.

43 На коллаже ниже представлена модель камеры Mark III от Faceware с креплением на шлем. Несмотря на то, что на момент производства Marvel’s Guardians of the Galaxy уже вышла четвёртая итерация устройства, аниматоры Eidos Montreal использовали в работе третью версию.

44 Устройство шлема Mark IIIКадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeПрикреплённая к шлему RGB камера обеспечивала картинку с разрешением 720p и частотой 60 кадров в секунду. Светодиодная подсветка с регулируемой яркостью, расположенная под камерой, смягчала жёсткий свет от фоновых осветительных приборов и сводила тени к минимуму. Для лучшей калибровки на лице актёра отмечали 27 точек, которые помогали отслеживать мимику в специальном ПО, - как в случае с фотограмметрией.

45 При необходимости специалисты периодически включали режим наложения сетки на мониторах и проверяли, что гарнитура не сместилась, а лицо актёра находится ровно в центре кадра. В перерывах между съёмками команда настраивала фокус объективов, чтобы поддерживать чёткость изображения для лучшего трекинга.

46 В процессе съёмки было важно, чтобы актёры чувствовали себя комфортно, и Mark III хорошо справлялась с этой задачей. Её вес был значительно меньше, чем у аналогичных девайсов, а из-за низкого расположения передней камеры и источников света она не перекрывала обзор актёру, позволяя лучше отыграть роль.

47 Подборка отснятого материала для одной из кат-сценКадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeНа кадре выше справа расположены шесть вертикальных видео, записанных с помощью передней камеры, а в центре - подборка кадров с трёх референс-камер. Внизу указано название съёмки и тайм-код, который помогает синхронизировать все медиафайлы, в том числе отдельно записанные звуковые дорожки.

48 Синхронное воспроизведение отснятого контентаВидео:<a>доклад</a>Саймона Хабиба на GDC 2022 / YouTubeДанные фрагменты видео объединены через автоматизированный скрипт с использованием FFmpeg-команд. Режиссёр кат-сцен просматривает контент и склеивает лучшие дубли для первого чернового монтажа.

49 Другой тип захвата актёрской игры команда условно обозначила как "разговорные сеансы". На протяжении всей игры Стражи Галактики обмениваются репликами не только в кат-сценах, но и во время геймплея. Обычно при записи такого контента актёр находится в изолированной кабине и зачитывает строки одну за другой; при этом ему необязательно взаимодействовать с коллегами по съёмочной площадке. Но для Marvel’s Guardians of the Galaxy актёры записывали реплики вместе, находясь в одном пространстве. Такой подход помог сохранить химию между героями, а сами диалоги получились более искренними и динамичными.

50 Всего было записано 23 тысячи диалоговых строк. В процессе на актёрах всегда были надеты те самые шлемы с передней камерой. Отснятые видео с лицами использовались для создания лицевой анимации героев во время перемещения по локациям, боевых сцен и внутриигровых диалогов. Для того чтобы сопоставить аудио с соответствующим фрагментом из записанного видео, специалистам достаточно было проверить метаданные тайм-кода, встроенного в аудиодорожку.

51 Несмотря на то, что видеосъёмка фиксировала всю мимику, аниматоры в основном использовали только нижнюю часть лицевых мышц для синхронизации губ. Полные данные, снятые с лиц актёров, загружали в систему машинного обучения, которая отслеживала различные эмоции.

52 Кадры, снятые во время разговорного сеанса, где актёры стоят на месте и зачитывают реплики с планшетаКадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeВнутриигровые диалоги часто записывают с помощью стационарного или подвесного микрофона, и актёр всегда должен говорить в него, ограничивая себя в движении. Озвучка Marvel’s Guardians of the Galaxy и здесь была реализована иначе: микрофоны были прикреплены к шлемам, поэтому актёры могли свободно перемещаться во время сеансов записи и их движения никак не влияли на качество звука.

53 Отрывок записи разговорного сеансаВидео:<a>доклад</a>Саймона Хабиба на GDC 2022 / YouTubeНесмотря на то, что подобные сессии могут длиться долго, на съёмках царила позитивная атмосфера. Саймон отмечает, что во время работы актёры часто смеялись и подшучивали друг над другом. Было заметно, что актёрам нравились их роли и они в них вжились.

54 Третий и последний тип захвата движений, который использовала команда, - захват эмоций. Во время этих сессий аниматоры просили актёров изобразить диапазон различных эмоций с разной степенью интенсивности. Полученный контент распределяли на четыре группы состояния персонажа: довольный, злой, нервный и грустный.

55 Во время разговора люди выражают эмоции в том числе с помощью невербальных жестов, причём так делают не только говорящие, но и слушающие, а жесты иногда зависят и от положения тела. Помня об этом, актёров распределили по парам, и они записывали свои беседы не только стоя, но и сидя. Благодаря этому у аниматоров появилась большая подборка различных жестов, отснятых в разных позах.

56 Как упоминалось ранее, выражения лиц, записанные во время разговорных сеансов, могли использоваться для отслеживания эмоции через машинное обучение: это помогало определить интенсивность эмоционального состояния персонажа. Программа подбирала соответствующую анимацию из библиотеки и переносила её на верхнюю часть лица и жесты. Подробнее об этом процессе можно узнать из <a>доклада</a>коллеги Саймона, Ромена Трачела.

57 Пример внутриигрового диалогаВидео:<a>выступление</a>Саймона Хабиба на вебинаре Faceware / YouTubeНа видео заметно, что движения губ, в том числе у антропоморфного персонажа, синхронизированы с репликами, а взгляд, шея и туловище автоматически поворачиваются в сторону говорящего. Этот процесс генерируется автоматически, и Саймон относит его к бронзовому уровню качества.

58 Все данные с трёх типов сеансов преобразовывали в анимацию с помощью пакетной обработки. Это режим, который анализирует тысячи видеоматериалов, автоматически находит подходящую лицевую анимацию актёра и применяет её пробный вариант к соответствующему ригу персонажа. Для этого необходимо обучить ПО распознавать выражения лиц. Чтобы программа могла распознать, что та или иная анимация относится к определённому цифровому персонажу, за каждым актёром был закреплён так называемый профиль.

59 В рамках процесса машинного обучения создавалась модель трекинга, представляющая собой подборку мимики и форм губ, которые камера фиксировала на протяжении всей записи.

60 Скриншоты из Faceware Analyzer Studio - программы для лицевого трекинга, которую Eidos Montreal использовала для машинного обученияКадр:<a>GDC</a>/ YouTubeСаймон отмечает, что в машинном обучении важно придерживаться правила "меньше - больше", то есть идентифицировать только обучающие кадры, на которых выражение лица достигает пиковой точки. Таким образом лишние кадры не будут перегружать процесс и программе будет проще выполнять интерполяцию между различными выражениями лиц. Главное - соблюдать последовательность. Если в схожих выражениях будут какие-то расхождения, программа не поймёт, что с ними делать, и конечный результат трекинга может оказаться ненадёжным.

61 После обработки видео аниматоры повторяли аналогичный процесс в плагине Faceware Retargeter для Maya, чтобы создать библиотеку поз с соответствующими выражениями лиц для цифровых персонажей. В библиотеку вошло много ярко выраженных эмоций, но для расширения диапазона добавили и более умеренные. Также команда сохранила в мимике немного асимметрии. В итоге получилось 20 профилей персонажей, созданных благодаря технологии Faceware.

62 Интерфейс инструментов аниматоров Eidos Montreal для пакетной обработкиКадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeДля создания каждого профиля в Faceware команда записывала лицевой ROM или диапазон мимики. Этот процесс происходил следующим образом.

63 Группе актёров давали задания изобразить различные эмоции. Сеанс записи начинался с простых движений глаз, бровей и губ по отдельности и заканчивался тем, что люди изображали эмоции с задействованием всех мышц лица. Общее время записи занимало около пяти минут.

64 Записи диапазона мимики шести актёровВидео:<a>доклад</a>Саймона Хабиба на GDC 2022 / YouTubeХотя подобные записи в основном проводились для создания профилей персонажей, в ходе съёмок обнаружились и другие плюсы. Во-первых, это неплохая вокальная разминка для актёров в начале рабочего дня. Во-вторых, на таких сеансах можно быстро настроить звук и проверить работу триггера одновременной записи на нескольких устройствах, включая встроенный тайм-код.

65 Именно поэтому команда Eidos Montreal проводила записи мимики перед каждой сессией, даже если уже не было необходимости снимать материал для новых профилей. Некоторые персонажи использовали один и тот же профиль лицевой анимации, созданный ещё в начале проекта. Потребность в новых профилях возникала в том случае, если к актёрскому составу присоединялся новый человек и его мимику требовалось перенести на цифровое альтер эго.

66 Этот этап подразумевал доработку существующих анимаций в техническом и художественном плане для достижения максимально точного и правдоподобного результата.

67 Саймон и ещё три человека из подразделения, отвечающего за кат-сцены, выполняли различные задачи, связанные с мокапом, - от помощи актёрам с мокап-снаряжением до настройки профилей в <a>MotionBuilder</a>. Полученные анимации чистились и переносились на соответствующий риг.

68 Для лицевой анимации использовали профили Faceware на базе диапазона мимики. Такой подход дал возможность произвести пакетную обработку анимаций бронзового уровня.

69 Производство лицевых анимаций серебряного уровня состояло из двух этапов. На технической стадии команда добивалась максимального сходства с мимикой актёров. Так как Faceware не отслеживает движения языка, его анимацию делали на основе ключевых кадров для сцен, где персонажи показаны крупным планом. На художественной стадии команда расставляла акценты на выражениях лиц персонажей в комичных моментах и добавляла асимметрию, полученную в результате пакетной обработки.

70 На видео ниже представлены два вида одной и той же лицевой анимации. Слева - бронзовая, сгенерированная автоматически, без ручной доработки. Справа - серебряная, после технической и художественной стадий.

71 Различия между бронзовым и серебряным уровнями лицевой анимации. Видео записано в MayaВидео:<a>выступление</a>Саймона Хабиба на вебинаре Faceware / YouTubeСпециалисты дорабатывали лицевой риг каждого персонажа по отдельности в пустой сцене без декораций, чтобы получить максимальную частоту кадров и не отвлекаться на окружение.

72 Доработка лицевой анимации Звёздного Лорда и Рейкера для одной из кат-сценКадр:<a>доклад</a>Саймона Хабиба на GDC / YouTubeВ левом нижнем углу вертикальных видео можно заметить цветной круг. Этот индикатор помогает специалистам определить и доработать риг, когда лицо актёра выбивается из среднего крупного плана.

73 Закончив работу с данными мокапа и анимациями серебряного уровня, команда передавала готовый материал аниматорам кат-сцен, которые дорабатывали его непосредственно в движке. Они доводили анимацию до золотого уровня качества и собирали сцену, заполняя её персонажами, предметами, транспортом, попутно расставляя камеры в нужных ракурсах. Итоговый контент использовался не только в кат-сценах, но и в маркетинговых материалах.

74 В задачу специалистов по кат-сценам также входила работа с анимацией антропоморфных существ и животных, для которой нельзя напрямую использовать мокап человека. Например, для анимации Космо команда не делала мокап собачьей морды - однако в нескольких сценах<a>участвовал</a>четвероногий помощник Диего, которого одели в специальное снаряжение для захвата движения.

75 Космо в игре и его реальный прототип ДиегоКадры:<a>WeRateDogs</a>/ TwitterКосмо в игре и его реальный прототип ДиегоКадры:<a>WeRateDogs</a>/ TwitterКосмо в игре и его реальный прототип ДиегоКадры:<a>WeRateDogs</a>/ TwitterСтоит отметить, что пропорции антропоморфных персонажей кардинально отличаются от пропорций реального человека, поэтому аниматоры вручную дорабатывали риг таких персонажей, как Ракета.

76 Саймон и его команда проделали огромную работу, соблюдая баланс между количеством и качеством:

77 После 13 сеансов сканирования было создано 13 основных моделей для игровых персонажей с анатомически корректными блендшейпами.

78 C помощью Faceware разработали 20 уникальных профилей, которые в дальнейшем использовались для пакетной обработки.

79 На основе 23 тысяч строк внутриигровых диалогов было создано 99,9% лицевых анимаций бронзового качества, включая мимику персонажей во время боевых сцен, внутриигровых диалогов и перемещений по локациям. Оставшиеся 0,01% пришлось доработать вручную.

80 В итоге получилось более пяти часов кат-сцен, в том числе для альтернативных веток событий, с анимациями серебряного и золотого уровней качества в соотношении 90% к 10%.

81 Отрывок из кат-сцены с анимациями золотого уровняВидео:<a>выступление</a>Саймона Хабиба на вебинаре Faceware / YouTubeВ перспективе аниматоры Eidos Montreal надеются, что общее качество анимаций, созданных на базе мокапа, станет ещё выше, а контент ниже золотого уровня можно будет дорабатывать непосредственно в сцене. Возможность предварительного просмотра анимаций в движке с готовым освещением и шейдерами значительно ускорит процесс, в отличие от предварительного рендеринга в Maya.

82 <a>Научитесь: Профессия 3D-аниматор Узнать больше</a>