Reinforcement Learning (Обучение с подкреплением). Научим внедрять RL-алгоритмы на практике в играх, робототехнике, энергетике и финансах
2026-03-10 16:27 Diff
https://otus.ru/lessons/reinforcement-learning-cours/

Дмитрий Волобуев

06.05.2025

На момент начала курса у меня было 6 лет опыта в области DS и ML. Сейчас работаю лидом команды ML в ride-hailing компании и занимаюсь задачами в разных направлениях: от классического ML и рекомендательных систем до компьютерного зрения и NLP. На курс Reinforcement Learning пришёл для того, чтобы расширить круг профессиональных компетенций и глубже погрузиться в область, которая активно используется в близкой мне сфере: рекомендации, ценообразование, оптимизация маршрутов, матчинг и т.д. Это уже мой третий курс в Otus (до этого проходил MLOps и Data Engineer), и в очередной раз хочу отметить высокий уровень преподавания. Особенно нравится формат живых вебинаров — никаких предзаписанных лекций, все вопросы можно обсудить с преподавателями и сокурсниками в прямом эфире. Домашние задания тщательно проверялись, фидбэк подробный и по делу. Программа курса хорошо структурирована: подробно разбираются фундаментальные вещи и основные RL-алгоритмы как в теории, так и на практике. Много кода, примеров и домашних заданий, которые позволяют закрепить материал. Особенно ценным было то, что в финальном проекте даётся полная свобода — можно выбрать задачу, близкую к своей сфере, и попробовать применить RL на практике. Обучение дало мне чёткое понимание, как формулировать бизнес-задачи на языке RL, проектировать среды и подбирать алгоритмы под конкретные цели. Единственное, чего бы хотелось — больше внимания аспектам эксплуатации RL-систем в продакшене: архитектура, пайплайны, интеграция с другими системами. Также было бы полезно расширить блок с реальными кейсами — особенно в таких областях, как робототехника, где не всегда хватает примеров готовых проектов. Обучение получилось увлекательным, глубоким и практически ориентированным. Спасибо авторам курса и преподавателям за структурный подход, вовлечённость и готовность делиться опытом.

По образованию я историк, кандидат политических наук, машинное обучение изучал в ИТМО (профессиональная переподготовка). Занимаюсь исследованиями и научными разработками в сфере образования и науки. Есть более 45 научных статей и принимал участие в более чем 100 научных и аналитических проектах. Учился в отусе параллельно с курсом NLP. Курс очень тяжелый, с разбором "под капотом" и математики моделей. Курс нужен для освоения навыков моделирования социально-экономических и политических процессов с помощью обучения с подкреплением. Планирую работать над диссертацией доктора политических наук. Разрабатываю тематику "политическая система как модель машинного обучения" Довольно комфортная и приятная среда обучения. Конечно, "непосильная" для хронического гуманитария математика. В разработке есть пара научных статей. Надеюсь присоединиться к действующим исследовательским и проектным коллективам работающим в сфере экономики, финансов, управления и моделирования сложных процессов - от социальных до киберфизических и финансовых. Хотелось бы добавить больше практики. Курс очень насыщенный, но домашних заданий для набивания руки очень мало. Было бы неплохо для студентов арендовать GPU чтобы учить модельки в облаке на мощных графических процессорах.

Образование — инженер-электромеханик. До обучения успел поработать преподавателем в ВУЗе, ИТ, энергетике, проектировании, АСУТП. В магистратуре выпускной проект был некоторым образом связан с применением нейросетей (использовал для классификации изображений в сортировочной линии), после этого появился интерес в использовании ML в управлении оборудованием. RL в этом отношении показался перспективным, принял решение освоить эту область более системно. Курс, в целом, оправдал ожидания. Получил базу для дальнейшего изучения, практические подходы к использованию. Применять планирую в рамках основной работы.

Я более 10 лет работаю в Data Science в финансовой сфере. Я выбрала курс на тему Reinforcement Learning потому, что хотела развить свои навыки в части оптимизации обучения моделей и попробовать новые методы, помимо классического Machine Learning, а также потому, что тематика курса охватывает задачи, родственные тем, которыми я занимаюсь в своей текущей работе. Обучение в OTUS понравилось тем, что сочетается теория и практика, а также тем, что преподаватели всегда на связи, дают развернутые комментарии по домашним заданиям и проектной работе. Также очень удобно, что все материалы, включая видео с уроков, доступны оперативно и неограниченное время, в т.ч. после окончания курса. Обучение мне дало глубокое понимание развития и текущего состояния RL и практику применения метода в задаче, близкой к реальной рабочей. Уверена, что смогу применить полученные значения в своей текущей работе, что даст мне преимущества в качестве решения стоящих передо мной задач.

Коллеги-преподаватели, спасибо за интересный курс, профессионализм, отзывчивость и готовность помогать и раскрывать темы, которые даже непосредственно с предметом курса и не связаны! Было полезно. Полезный курс, под каждую тему выдаются рабочие ноутбуки (не нужно писать полностью с нуля для выполнения дз — можно использовать в качестве заготовок), отзывчивые преподаватели, готовые ответить на любые вопросы по теме и даже не по теме курса (и специально изучают доп.топики). Много полезных советов по подготовке инфраструктуры, среды. Есть как овервью для общего понимания применимости методов RL, так и технические, практические детали.

Работаю в Акбф, создаю алгоритмические портфели. Курс выбрал, потому что RL —интересные методы, которые можно применять в алготрейдинге. Благодаря обучению узнал много нового, получил знания, которые можно применять в трейдинге. И уже успешно применяю их в своей работе

Работаю Data Scientist. Курс “Reinforcement Learning” выбрал из-за его актуальности и потенциальной необходимости на текущей работе. Понравились домашние задания, так как вынуждают студента самостоятельно писать код и копаться в неочевидных мелочах, что помогает разобраться и закрепить материал. Благодаря курсу я вооружился новыми инструментами для ML и расширил кругозор

Татьяна Воронич

27.03.2024

Обучение с подкрепление – это сложно понять, а еще сложнее объяснить. Подход подачи, основанный на прикладном использовании - самый подходящий формат для понимания, особенно такого направления как обучение с подкреплением. Авторы курса попытались собрать направления использования обучения с подкреплением и при этом последовательно и логично погружали в тематику. Для меня большой ценностью оказался модуль Advanced, раскрытие продвинутых методов, хотя практики не хватило. На этот курс лучше приходить немного подготовленным, и иметь представление об обучение с подкреплением в целом, и тогда материал будет легче усваиваться. Авторам и организаторам спасибо за путешествие с Reinforcement Learning!

Денис Успенский

25.03.2024

До курса я уже имел некоторый опыт в данной области (проходил в OTUS «Advanced ML»). Поэтому изначальной целью было именно систематизация и углубление уже имеющихся знаний, а также знакомство с продвинутыми темами RL. Считаю, что задачу по углублению знаний выполнить удалось. Первые три модуля курса, где рассматривается базовый RL, проработаны достаточно полно и всесторонне. Обучение выстроено логично, от базовых понятий и определений к более сложным алгоритмам. Четвертый модуль, по продвинутому RL, хотелось бы существенно расширить, внеся в него больше тем и практических занятий востребованных современной индустрией. Для специалистов, которые незнакомы или малознакомы с данной областью ML, курс можно рекомендовать к прохождению. Преподавательский состав очень хороший, особенно Игорь и Артем, которые всегда находили время что-то прокомментировать и ответить на вопросы. Материал выстроен последовательно и логично. Желаю всем будущим участникам удачи в прохождении!

Роман Скоромный

25.03.2024

Курс был хороший. Ориентированность на практику и активная поддержка в чате — одни из главных плюсов для меня.

Курс выбрал, потому что было интересно узнать, как я могу применить RL для решения задач в играх - цель достиг. Узнал также, какие алгоритмы RL существуют и в каком случае какой применять. Все преподаватели компетентные, но особо запомнились Игорь и Артем. В целом, курсом доволен.

Dennis Piskovatskov

15.03.2024

Много раз я пытался разобраться в обучении с подкреплением, но не мог освоить его. Благодаря преподавателям этого курса я, наконец, преодолел этот барьер непонимания! Было бы замечательно видеть продолжение курса! А также применение машинного обучения на финансовых рынках! Спасибо!

Курс хороший, преподаватели компетентные. Было бы хорошо, если в курс добавили бы актуальные обертки среды выполнения, версии библиотек, работающие в разных ОС. Прохожу в OTUS уже третью программу, здесь хороший состав преподавателей.

Сергей Ковальчук

02.11.2023

Впечатление от курса в целом хорошие. Узнал очень много нового о возможностях и прикладных применениях RL. Курс помог мне расширить кругозор в этой сфере ML и начать собственные разработки в контексте ML agents для Unity и в области финансового анализа. Считаю, что нужно больше практических занятий на курсе. Возможно что-то вроде парного программирования. Отдельно хочется отметить Андрея Маргерта, видно, что он был очень вовлечен в процесс обучения. Также очень доходчиво объясняли материал Игорь Стурейко и Сергей Доронин.