Apache Kafka для разработчиков: онлайн-курс по Апаче Кафка на Java или Go на платформе Слёрм
2026-02-19 19:05 Diff

Больше, чем просто настройка Kafka: вы изучите архитектуру и поймете логику работы с Kafka на примере бизнес-кейсов

Углублённый курс на платформе Docker+Postgres

Примеры на Java, но основные принципы и best-practice применимы и к другим языкам

дополнительные задания со звёздочкой

при выполнении от 80% практических заданий и проекта

Главная цель — понять концепцию и архитектуру взаимодействия с Kafka. На основе этой базы уже гораздо проще развиваться и взаимодействовать с командой Kafka

Инженеры данных и DevOps-инженеры

Поймёте основы работы с Kafka и принципы построения архитектуры и бизнес-процессов

Научитесь решать проблемы с системами, требующими отправки/получения большого количества сообщений из разнородных систем

Подготовитесь к вопросам базовых собеседований на уровень пользователя Kafka

Сможете эффективно выстраивать архитектуру на основе асинхронного взаимодействия через Kafka

Поймёте, почему кластер Кафки из 3х нод в 1 ДЦ — это не отказоустойчивое решение

Сможете дебажить продюсеры и консьюмеры для Кафки, написанные практически на любом языке программирования

В качестве итогового проекта вы разработаете систему, включающую все инструменты работы с Kafka, найдёте узкие места и примените best practice для оптимизации. Знаний, полученных в ходе разработки итогового задания, будет достаточно, чтобы внедрить Кафку в ваши рабочие проекты.

Каждому продюсеру—по консьюмеру!

Проблема #1. Много команд используют Kafka, каждая команда, не должна читать чужие топики. Нужен механизм управления доступом команд и иметь карту сервисов.

Проблема #4. Несколько брокеров Kafka и других сервисов (schema-registry, AKHQ, rest). Нужно производить работы с брокерами без влияния на пользователей. Желательно перевести Kafka в режим «самообслуживания».

Проблема #2. Критические данные с exactly once processing требованиями. Довольно большие по размеру сервисы с большими сообщениями. Необходимо валидировать схемы, потому что сообщения часто меняются. Kafka одна и используется многими сервисами для обмена.

Проблема #3. Большая нагрузка (40−100К RPS). Критичны потери данных, но exactly once не требуется, какой-то процент потерянных / повторно обработанных сообщений допустим. Много клиентских single tenant кластеров и есть Real time и OLAP-аналитика.

Репликация таблиц из MySQL в Oracle

Сайт оператора связи с возможностью онлайн-продаж услуг Интернет и ТВ

Защита от DDoS при обработке API

Единая точка входа в Kafka

  • Знания Java на базовом уровне
  • Установленные и настроенные среда разработки, git и docker
  • SQL-баз на базовом уровне
  • Опыт работы с docker, docker-compose на самом базовом уровне
  • ОС Linux
  • Понимание разницы между синхронной и асинхроной архитектурой

Бесплатная консультация по курсу «Apache Kafka для разработчиков»

Спикеры курса Всеволод Севостьянов и Василий Калугин рассказывают:

  • Как устроен курс
  • Как проходят занятия
  • Какой финальный проект будет ждать вас в конце

Организация событийной архитектуры, масштабирование потоков данных, балансировка нагрузки баз данных перестанут быть головной болью и отнимать много времени.

Сервисы подписываются только на события, которые им нужны, делая цепочку более надежной. Поэтому Kafka легко масштабируется и не является узким местом системы.

Мы можем отделить сервисы друг от друга, и в таком случае отказ какого-либо из сервисов в цепочке не приведет к отказу всей системы и ошибкам на стороне пользователя

Обеспечивает надежность доставляемых данных

Повышает надежность системы в целом

Спикеры курса Всеволод Севостьянов и Василий Калугин рассказывают, как устроен курс, как проходят занятия, чему вы научитесь и какой финальный проект будет ждать вас в конце

  • Как можно использовать Кафку
  • Какую проблему решает Kafka
  • А одна ли Кафка на рынке? Что еще есть?
  • В чем преимущества Kafka

Основные термины в мире Kafka

  • Время жизни сообщений
  • Offset: позиция сообщения в топике
  • Принципы работы Kafka
  • Топик -> партиция -> ключ
  • Producer, Consumer, Consumer-группы
  • Развёртка локальной Kafka на практике
  • Архитектура Kafka-кластера с Zookeeper
  • Kafka Brokers -> controller
  • Репликация данных между нодами
  • Kafka на практике: пример консьюмера для чтения данных из Kafka
  • Kafka на практике: CLI (Command Line Interface)
  • Kafka на практике: пример продюсера для оптравки данных в Kafka
  • Kafka Extended: Kafka Connect
  • Kafka Extended: Schema Registry
  • ksqlDB
  • Kafka Stream API

Бонусный модуль: Best practice

  • Кейс: единая точка входа в Kafka
  • Кейс fintech: надёжная вставка данных, highload
  • Кейс: репликация таблиц из MySQL в Oracle
  • Кейс: защита от DDOS при обработке API
  • Финальный тест
  • Проект Kafka для мидла

Разберём частые вопросы о Kafka на собеседованиях

После прохождение курса вы можете получить:

  • Свидетельство о прохождении курса вы получите, если прошли курс на 80%
  • Сертификат о прохождении курса вы получите, если прошли ревью итогового проекта

Staff engineer в Lokalise

  • Специализируется на построении complex cognitive systems
  • Команда под его руководством поддерживает multi-tenant клиентский кластер на несколько тысяч компаний

Эксперт Kafka, Страховой дом ВСК

  • 4+ года опыта разработки и администрирования геораспределённого кластера Kafka
  • Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD
  • Главный виновник расширения зоопарка технологий, а также подхода «Давайте попробуем вон ту штуку»
  • Создание комьюнити Kafka в компании и регулярные обучения разработчиков
  • Разработчик курсов и спикер Слёрм

Реализовал IaC для AWX в enterprise

Реализовал IaC для AWX в enterprise

Staff engineer в Lokalise

  • Специализируется на построении complex cognitive systems
  • Команда под его руководством поддерживает multi-tenant клиентский кластер на несколько тысяч компаний
  • Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD
  • Главный виновник расширения зоопарка технологий, а также подхода «Давайте попробуем вон ту штуку»

Эксперт Kafka, Страховой дом ВСК

  • 4+ года опыта разработки и администрирования геораспределённого кластера Kafka
  • Создание комьюнити Kafka в компании и регулярные обучения разработчиков
  • Разработчик курсов и спикер Слёрм

Реализовал IaC для AWX в enterprise

Реализовал IaC для AWX в enterprise

Овладеете востребованным на рынке инструментом

Будете быстрее и эффективнее решать рабочие задачи

Сделаете свои приложения более отказоустойчивыми

Почувствуете, насколько легче работать с микросервисами благодаря Kafka

Узнаете о большинстве ошибок, которые совершают начинающие разработчики с Kafka, и не будете их совершать

Получите опыт разработки нескольких приложений, использующих Kafka

Узнаете про типовые шаблоны проектирования

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Ревью большого финального проекта

Проверка практики и обратная связь от эксперта

в рассрочку на 4 месяца или 70 000

 единовременно

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Ревью большого финального проекта

Проверка практики и обратная связь от эксперта

в рассрочку на 4 месяца или 55 000

 единовременно

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Ревью большого финального проекта

Проверка практики и обратная связь от эксперта

в рассрочку на 4 месяца или 50 000 ₽

65 000 ₽

единовременно

Предоставим все необходимые документы для получения вычета.

Курс за счёт работодателя

В 75% случаев обучение готова оплатить компания. Напишите нам, и мы поможем.

только для физических лиц

от 10 человек
специальные условия

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Ревью большого финального проекта

Проверка практики и обратная связь от эксперта

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Ревью большого финального проекта

Проверка практики и обратная связь от эксперта

Видеоуроки, доступ 2 года

Свидетельство о прослушивании

Ревью большого финального проекта

Проверка практики и обратная связь от эксперта

Подарите своему сотруднику скидку или курс целиком. А мы упакуем ;)

Выгодно и быстро обучим целые команды. Единоразовое оформление и быстрый доступ к курсам.

Если вам не хватит обратной связи в процессе обучения, вы сможете получить дополнительные проверки отдельно

Проверка финального проекта

  • для физ. лиц — 5 000 ₽
  • для юр. лиц — 10 000 ₽

Пакет проверки практик:

  • для физ. лиц — 15 000 ₽
  • для юр. лиц — 20 000 ₽

Apache Kafka для разработчиков и аналитиков

Мастхэв для инженеров инфраструктуры и важный плюс для программистов

Учимся настраивать и оптимизировать технологию Apache Kafka

  • Неправильное использование Кафка
  • Отсутствие коммитов в Кафка
  • Исчезновение сообщений
  • Ваши кейсы о проблемах при работе с Apache Kafka
  • Опыт создания Data Lake на ~80 ТБ с помощью Apache Kafka
  • Особенности эксплуатации kafka с retention в 99 999 999
  • Как жить, если kafka единственный источник данных в информационной системе
  • язык Кафки: топики, партиции, продюсеры-консьюмеры, кластер, ноды.
  • принципы её работы: как работают очереди сообщений, сколько должно быть консьюмеров для эффективной вычитки, как повысить надёжность кластера с помощью репликации данных
  • как развернуть кластер Кафки на своём ПК с 3 нодами, schema-registry и авторизацией