Пришёл в компанию, а там Kafka: что делать в первую очередь?
2026-02-19 18:23 Diff

Ловите чек-лист, что стоит выполнить в новом проекте в первые дни, если там используется Kafka:

  • Bootstrap-серверы

Убедитесь, что указаны все брокеры или адрес балансировщика, если используется балансировка.

  • Сжатие данных в Producer

Проверьте, включено ли сжатие (например, gzip или snappy) для уменьшения объёма передаваемых данных.

  • Соотношение Consumer и партиций

Убедитесь, что количество экземпляров Consumer соответствует количеству партиций в топике для равномерной нагрузки.

  • Таймауты для Consumer

Проверьте конфиги таймаутов, чтобы Kafka быстро обнаруживала выбывшие Consumer и перераспределяла партиции на оставшихся.

  • Ротация данных в топиках

Выясните, настроены ли лимиты на размер данных и время хранения, чтобы избежать переполнения дисков.

  • Мониторинг лага Consumer-групп

Убедитесь, что настроен мониторинг лага (lag) для своевременного обнаружения проблем с обработкой данных.

  • Репликация данных

Определите, корректно ли настроена репликация для обеспечения отказоустойчивости.

  • Настройки Producer-аcks

Проверьте, что параметр acks (подтверждение записи) настроен в зависимости от требований к надёжности.

  • Логирование и алертинг

Убедитесь, что настроены логи и алерты для оперативного реагирования на сбои.

Сталкивались с такой ситуацией? Что бы ещё добавили?

2025-02-24 01:00 Apache Kafka