Data-инженер обучение, онлайн-курс на инженера данных, big data, курс и профессия на платформе Слёрм
2026-02-19 18:21 Diff

Во время курса вы будете: строить дата-пайплайны, выстраивать эффективную работу дата-архитектуры, разбираться в инструментах для управления данными

Объем программы 120 часов

Систематизация знаний и востребованные навыки

При выполнении от 80 процентов практических заданий и проекта

Data Engineer помогает в создании систем для сбора и анализа данных о движении транспортных средств, маршрутах, пробках и т. д., что позволяет оптимизировать планирование и управление транспортной логистикой

Data Engineer помогает в создании систем для анализа медицинских данных, таких как истории болезни, рентгеновские снимки, генетические данные и т. д., что может привести к более эффективной медицинской диагностике и лечению

Data Engineer помогает в создании платформ для сбора, хранения и анализа данных о клиентах и поведении пользователей, позволяя маркетологам принимать более обоснованные решения и оптимизировать свои маркетинговые стратегии

Data Engineer играет ключевую роль в создании и поддержке инфраструктуры данных, таких как базы данных, хранилища данных, облачные системы хранения и инструменты для обработки и анализа данных

Data Engineer помогает в разработке и реализации систем оптимизации и анализа данных для финансовых институтов, позволяя им лучше понимать и управлять своими данными

Это только некоторые примеры областей, где Data Engineer может проявить себя. В конечном счете, их роль в проектировании и управлении данными может быть востребована практически в любой отрасли, где нужно обрабатывать и анализировать большие объемы данных

Data Engineer помогает в создании систем для сбора и анализа данных о движении транспортных средств, маршрутах, пробках и т. д., что позволяет оптимизировать планирование и управление транспортной логистикой

Data Engineer помогает в создании систем для анализа медицинских данных, таких как истории болезни, рентгеновские снимки, генетические данные и т. д., что может привести к более эффективной медицинской диагностике и лечению

Data Engineer помогает в создании платформ для сбора, хранения и анализа данных о клиентах и поведении пользователей, позволяя маркетологам принимать более обоснованные решения и оптимизировать свои маркетинговые стратегии

Data Engineer играет ключевую роль в создании и поддержке инфраструктуры данных, таких как базы данных, хранилища данных, облачные системы хранения и инструменты для обработки и анализа данных

Data Engineer помогает в разработке и реализации систем оптимизации и анализа данных для финансовых институтов, позволяя им лучше понимать и управлять своими данными

  • Освоите работу с Apache Airflow для автоматизации ETL-задач

Визуализации и отчетности

  • Изучите возможности Metabase для визуализации данных
  • Освоите MapReduce и разложите данные в HDFS c использованием Hadoop или Spark

Обработке и хранению данных

  • Построите витрину данных с агрегатами по основным показателям
  • Научитесь строить витрину в ClickHouse на основе данных из PostgreSQL
  • Познакомитесь с возможностями dbt и создадите полноценный dbt-проект
  • Научитесь выгружать данные из REST API с учетом различных ограничений
  • Реализуете обработку потока в NiFi с интеграцией данных из разных источников
  • Научитесь работать с потоками данных в Apache Kafka

На курсе мы рассказываем, как собирать, хранить и обрабатывать большие данные, наглядно показываем, как работают инструменты и технологии для разработки и поддержки систем аналитики и обработки данных

Освоите смежные навыки и начнете управлять данными на новом уровне

Администраторам баз данных

Улучшите навыки по очистке и соединению данных из разных источников и освоите новые инструменты под разные сценарии использования данных

Освоите дополнительную профессию и добавите навыки работы с данными к своему скиллсету

После коротких видеоуроков вы решаете практические задания и тесты, чтобы сразу закрепить теорию. В заданиях разворачиваем стенды, и вы мощно отрабатываете учебный материал на практике

Его вы можете выполнить как на своих данных, так и на информации из открытых источников. Собственным проектом вы усилите свое портфолио

В личном кабинете есть практические задания, вы сможете запускать учебные стенды. Вы решаете задачи после каждого модуля, а эксперты проводят ревью — проверяют несколько этапов учебного проекта. Целых 88 часов практики

Именной сертификат с индивидуальным номером получает студент, если:

  • прошёл 80% курса
  • принимал участие в решении практик, которые входят в курс
  • успешно сдал итоговое задание/проект/сертификацию.

В случае, если студент изучил 80% курса, но не выполнил или не сдал финальное задание, вместо сертификата выдаётся свидетельство.

Развернутое описание курса, которое можно отправить коллегам или руководителю

Эксперты курса подготовили для вас подробный роадмап

Какими знаниями должен обладать Data-инженер

Мягкий онбординг в курс, где мы объясним, как учиться онлайн, как сдавать практические работы, как работать со стендами, а также расскажем, в чем заключается профессия инженера данных.

Python и терминал для задач Data Engineering

  • Введение в тему

Практика: реализовать первый этап работы с данными — их выгрузку из источника, представленного в виде API.

  • Инструменты экосистемы Python для работы с данными
  • Параллельность и асинхронность в Python
  • Web серверы, создание API
  • Linux терминал для задач DE
  • Задание по проекту
  • Итоги

Вы узнаете подходы и способы решения ежедневных задач дата-инжиниринга с помощью базовых инструментов в лице Python и утилит командной строки.

Распределенные файловые системы. Hadoop. Map-Reduce

  • Введение
  • Экосистема Hadoop — краткий обзор и возможности
  • Технология Map-Reduce
  • Задание по проекту
  • Итоги

Практика: обогатить данные из источника расшифровкой кодов и сгенерировать агрегированное представление.

Вы узнаете подходы и способы решения ежедневных задач дата-инжиниринга с помощью базовых инструментов в лице Python и утилит командной строки.

Spark for Data Engineering

  • Введение

Практика: построить витрину торговых партнеров как по импорту, так и по экспорту по каждому из представленных в данных временных диапазонов.

  • Что такое Spark и зачем он нужен DE. Введение в Resilient Distributed Datasets
  • Dataframe’ы и преобразования
  • Партицирование, репартицирование Spark Streaming
  • Задание по проекту
  • Итоги

Вы узнаете, как устроен один из самых популярных инструментов для распределенной обработки данных и научитесь его применять как для пакетных, так и для потоковых задач.

  • Введение в тему

Практика: построить витрину данных, представляющую собой набор агрегатов по месяцам на основе лога таможни

  • Реляционные базы данных. Введение
  • SQL. Принципы ACID
  • База данных глазами Data Engineer’а
  • ORM, события и история
  • Задание по проекту
  • Итоги

Вы получите базовое понимание принципов организации данных в реляционных базах данных, а также узнаете пару инструментов и подходов для решения задач DE с применением SQL.

NOSQL базы данных и введение в методологии построения хранилищ

  • Введение

Практика: получить данные из PostgreSQL в Clickhouse и построить витрину данных, представляющую собой набор агрегаций по месяцам.

  • Знакомство с NoSQL. Виды и применение
  • Практика работы с NoSQL — Clickhouse, Neo4j и Mongo
  • Партицирование, репартицирование Spark Streaming
  • Задание по проекту
  • Итоги

Вы увидите отличие NoSQL-баз как вида, так и разных их вариаций для решения соответствующих задач, используете на практическом задании различные базы данных.

Процессинг и перекладывание (перекладка) данных

  • Введение
  • Процессы ETL и ELT
  • Пайплайны. Оркестрация данных. Обзор ETL-инструментов
  • Итоги

Вы узнаете отличия между ETL и ELT и увидите, какие последствия для инфраструктуры несет внедрение того или иного подхода. Дадим список критериев, по которым можно оценивать то или иное решение для перекладки данных.

Оркестраторы данных. AirFlow

  • Введение в тему

Цель: освоить работу с Apache AIrflow для автоматизации задач.ка: построить витрину данных, представляющую собой набор агрегатов по месяцам на основе лога таможни.

  • Airflow — знакомство и практические задачи
  • Создание и работа с DAG
  • Работа с компонентами Airflow
  • Настройка конфигурации оркестратора и мониторинг
  • Задание по проекту
  • Итоги

Вы приобретете опыт работы с Apache AirFlow, изучите сильные стороны инструмента и узнаете, как его конфигурировать. У вас также будет некоторое понимание архитектуры, как устроен Airflow и как настраивать компоненты.

Шины данных. Kafka. Принципы построения систем потоковой аналитики

  • Введение

Цель: научиться обрабатывать большие файлы в стриминговом потоке Kafka. Задача в загрузке файла для его дальнейшего использования.

  • Примеры задач стриминга
  • Kafka — знакомство и архитектура
  • Практическая работа с Kafka
  • Задание по проекту
  • Итоги

Вы изучите разные способы настройки Kafka для решения задач батчинга и стриминга, поработаете с компонентами.

  • Введение

Цель: получить навык работы со стриминговыми данными в NiFi с использованием распределённого программного брокера сообщений Apache Kafka.

  • Архитектура, термины, интерфейс и базовый функционал
  • Расширенный функционал NiFi
  • Построение потока
  • Итоговый тест по модулю
  • Задание по проекту

Вы поймете, как использовать Apache NiFi для управления и преобразования потоков данных в проектах и задачах обработки информации.

  • Итоги

Архитектура хранилищ данных

  • Введение

Практика: познакомиться с возможностями dbt и создать полноценный dbt-проект.

  • Традиционная архитектура хранилищ данных
  • Облачные хранилища, Modern Data Stack
  • Частые проблемы при построении архитектуры и подходы к их решению
  • Задание по проекту
  • Итоги

Вы познакомитесь с современными методиками проектирования хранилищ, узнаете о типичных проблемах и потенциальных решениях, возникающих в процессе эксплуатации инфраструктуры по работе с данными.

Аналитика. Жизненный цикл данных и оценка data quality

  • Введение

Цель: изучить возможности Metabase для визуализации данных.

  • Задачи аналитики
  • BI-инструментарий аналитиков — Apache Superset, Tableau, PowerBI, Looker etc
  • Задание по проекту
  • Итоги

Вы покажете на практике сопровождение данных на всех этапах жизненного цикла, сможете сделать проект на собственных данных. Также затронем вопрос улучшения data quality.

  • Финальный проект

В конце обучения вас ждет финальный тест, а также работа над собственным проектом, где вы покажете все, чему научились. Вы на практике покажете сопровождение данных на всех этапах жизненного цикла

  • Финальный тест
  • Подводим итоги обучения

Tech Lead в Kamaz Digital

  • Более 10 лет в разработке, программирует на Python, Go, JavaScript
  • Основной стек технологий: Postgres, ClickHouse, Kafka, Redis, NATS
  • Участвует в проектировании и реализации облачных сервисов для обработки телеметрии транспортных средств и удаленного обновления ПО на машинах
  • Постоянно работает над улучшением практик разработки, тестирования и поддержки продуктов
  • В профессиональном IT более 5 лет. Самостоятельно обучилась на разработчика
  • Работала в сферах телекоммуникаций, игровой индустрии, розничных и оптовых продаж в роли разработчика системного обеспечения
  • В разных ролях участвовала в крупнейшем проекте «Мегафона»

Инженер по внедрению в ООО «Таскдата»

  • Инженер по внедрению в TaskData
  • В профессиональном IT уже более 20 лет
  • Начал свою карьеру в качестве системного администратора
  • Активно участвует в Open Source проектах на Github, поддерживает сообщество NiFi

Data Platform Lead в Altenar

  • Занимаюсь профессиональной разработкой и проектированием уже больше 11 лет
  • Работал с сетями, протоколами и различными облаками (AWS, GCP, Azure, OpenStack)
  • Писал проекты на Python, а также Golang, C/C++, Scala и Rust
  • Сейчас выстраиваю аналитические архитектуры и Data Governance в разных компаниях

Data Platform Lead в Altenar

  • Занимаюсь профессиональной разработкой и проектированием уже больше 11 лет
  • Работал с сетями, протоколами и различными облаками (AWS, GCP, Azure, OpenStack)
  • Писал проекты на Python, а также Golang, C/C++, Scala и Rust
  • Сейчас выстраиваю аналитические архитектуры и Data Governance в разных компаниях

Инженер по внедрению в ООО «Таскдата»

  • Инженер по внедрению в TaskData
  • В профессиональном IT уже более 20 лет
  • Начал свою карьеру в качестве системного администратора
  • Активно участвует в Open Source проектах на Github, поддерживает сообщество NiFi
  • В профессиональном IT более 5 лет. Самостоятельно обучилась на разработчика
  • Работала в сферах телекоммуникаций, игровой индустрии, розничных и оптовых продаж в роли разработчика системного обеспечения
  • В разных ролях участвовала в крупнейшем проекте «Мегафона»

Tech Lead в Kamaz Digital

  • Более 10 лет в разработке, программирует на Python, Go, JavaScript
  • Основной стек технологий: Postgres, ClickHouse, Kafka, Redis, NATS
  • Участвует в проектировании и реализации облачных сервисов для обработки телеметрии транспортных средств и удаленного обновления ПО на машинах
  • Постоянно работает над улучшением практик разработки, тестирования и поддержки продуктов

Data-инженер — это специалист, который разрабатывает, строит и поддерживает инфраструктуру и системы для сбора, хранения и обработки данных. Чем именно он занимается — рассказываем в видео

  • Вступительный урок
  • Знакомство со спикерами
  • Кто такой дата-инженер

Если вы считаете, что знания, полученные на курсе, могут быть полезными на вашем текущем месте работы, оставляйте заявку с контактами компании в форме ниже или обсудите покупку курса с вашим руководителем. Как это организовать, что говорить и куда идти — написали здесь.

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Проверка практики и обратная связь от эксперта

Чат с экспертом на платформе при сдаче на ревью

Ревью большого финального проекта

в рассрочку на 4 месяца или 65 000

единовременно

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Проверка практики и обратная связь от эксперта

Чат с экспертом на платформе при сдаче на ревью

Ревью большого финального проекта

в рассрочку на 4 месяца или 60 000 ₽

единовременно

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Проверка практики и обратная связь от эксперта

Чат с экспертом на платформе при сдаче на ревью

Ревью большого финального проекта

в рассрочку на 4 месяца или 35 000 ₽

60 000 ₽

единовременно

Предоставим все необходимые документы для получения вычета.

Курс за счёт работодателя

В 75% случаев обучение готова оплатить компания. Напишите нам, и мы поможем.

от 10 человек
специальные условия

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Проверка практики и обратная связь от эксперта

Чат с экспертом на платформе при сдаче на ревью

Ревью большого финального проекта

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Проверка практики и обратная связь от эксперта

Чат с экспертом на платформе при сдаче на ревью

Ревью большого финального проекта

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Проверка практики и обратная связь от эксперта

Чат с экспертом на платформе при сдаче на ревью

Ревью большого финального проекта

Подарите своему сотруднику скидку или курс целиком. А мы упакуем ;)

Выгодно и быстро обучим целые команды. Единоразовое оформление и быстрый доступ к курсам.

только для физических лиц

Если вам не хватит обратной связи в процессе обучения, вы сможете получить дополнительные проверки отдельно

Для получения номерного сертификата достаточно успешно зачтённого финального проекта.

Пакет проверки всех заданий 25 000₽

Сдать задание нужно в течение 2 недель после покупки.

Сдать проект нужно в течение 3 недель после покупки.

Действует 4 месяца с момента покупки.

Проверка одного задания 3 000₽

35 000 ₽ (50 000 ₽ — для юрлиц)

30 000 ₽ (45 000 ₽ — для юрлиц)

Узнаем про пайплайны, научимся работать с потоком информации и анализировать данные

Вы узнаете что такое DWH, СУБД GreenPlum и научитесь администрировать его

Если вы сомневаетесь в том, подходит ли вам курс, приглашаем подсмотреть, как его проходят участники нашего реалити

Первое реалити-шоу про дата-инженеров, которые проходят курс, решают сложные задачи, набирают баллы и нарушают дедлайны

Новости с шоу, а также статьи, кейсы и best practices для того, чтобы стать классным дата-инженером — в канале проекта. Присоединяйтесь!

  • Как становятся дата-инженерами?
  • Как правильно показывать свой опыт и потенциал, чтобы получить оффер?
  • Hard и Soft скиллы — что реально важно на собеседованиях?
  • Что делать, если вы практикующий специалист, но развития не хватает?

ИИ и инструментарий Data-специалиста

  • Как влиться в DE-комьюнити?
  • Нужны ли data-инженеру пет-проекты и участие в хакатонах?
  • Вкатились в data-инжиниринг. Что дальше?
  • Управление знаниями: персональная data-инженерная вики

Карьерный код Data-инженера: ошибки и лайфхаки

Николай поделился секретами успеха и ошибками, которых вы сможете избежать. А Екатерина рассказала, как не сбиться с пути и выстроить эффективный карьерный трек

  • Чат-боты и ChatOps: персональный помощник data-инженера
  • Какие soft skills нужны data-инженеру?
  • Где и как рисовать диаграммы и схемы?

Какие знания понадобятся?

  • Linux на уровне продвинутого пользователя
  • Базовые навыки работы с SQL
  • Умение писать скрипты на Python
  • Понимание, как работают клиент-серверные приложения
  • Владение принципами проектирования IT-систем

Без этих знаний обучение будет очень сложным, и, возможно, не принесёт пользы

Информации о Big Data так много, она разобщена по всему интернету! Тут посмотри лекцию, тут прочитай вебинар — а всё равно мало!

Мы собрали в курсе актуальные темы и поможем вам пройти от азов профессии Data-инженера до уровня начинающего специалиста

Я уже изучил Python, в каком направлении мне двигаться дальше?

Вы можете начать погружение в океан Big Data с вашей базой — Python. Именно с него стартует учебная программа

Я не уверен, что моё нынешнее направление будет актуально в ближайшем будущем. Вдруг мои обязанности заберет нейросеть?

Мы живем в мире, где объем данных растет день ото дня. Бизнесу и корпорациям будут требоваться люди, которые могут совладать с потоком входящей информации и предлагать решения для развития

Мне придется остаться один на один с материалом? А если будет вопрос, придется гуглить его и надеяться, что выпадет правильный ответ?

Всех студентов мы добавим в чат поддержки. Здесь на вопросы будут отвечать спикеры курса — сам чат будет доступен и после окончания занятий. Также спикеры будут давать обратную связь по некоторым домашним заданиям и итоговому проекту. Вас поддержат на всех этапах изучения профессии

Есть ли у вас корпоративные скидки?

Да, напишите об этом в отдел продаж или на почту ask@slurm.io для обсуждения подробных условий

На сколько вы даете доступ к курсу?

Доступ к курсу останется у вас на 2 года

Можно оплатить обучение от компании?

Да, для этого выберите вариант «Оставить заявку»

Что такое налоговый вычет и как его вернуть?

Вы сможете вернуть 13% от стоимости обучения за счет государства, если трудоустроены официально. Для этого нужно подать заявление на сайте nalog.ru