0 added
0 removed
Original
2026-01-01
Modified
2026-02-19
1
<p>Проверяем глубину понимания Kafka. Часть вторая</p>
1
<p>Проверяем глубину понимания Kafka. Часть вторая</p>
2
<p>На этих вопросах спотыкаются даже те, кто администрирует Kafka. А вы справитесь?<a>В прошлый раз</a>мы подняли важные темы - пора продолжить.</p>
2
<p>На этих вопросах спотыкаются даже те, кто администрирует Kafka. А вы справитесь?<a>В прошлый раз</a>мы подняли важные темы - пора продолжить.</p>
3
<p>Вот ещё пять каверзных, но жизненно важных вопросов, которые могут встретиться на собеседовании. Не ограничивайтесь поверхностными ответами - интервьюеры ждут понимания системы изнутри.</p>
3
<p>Вот ещё пять каверзных, но жизненно важных вопросов, которые могут встретиться на собеседовании. Не ограничивайтесь поверхностными ответами - интервьюеры ждут понимания системы изнутри.</p>
4
<p><strong>1. Как консьюмер может повлиять на сжатие сообщений?</strong></p>
4
<p><strong>1. Как консьюмер может повлиять на сжатие сообщений?</strong></p>
5
<p>➥ Ответ: Никак. Консьюмер лишь вычитывает сообщения из Kafka, которые уже были записаны туда продюсером с использованием или без сжатия. Всё решается на стороне отправителя.</p>
5
<p>➥ Ответ: Никак. Консьюмер лишь вычитывает сообщения из Kafka, которые уже были записаны туда продюсером с использованием или без сжатия. Всё решается на стороне отправителя.</p>
6
<p><strong>2. Какие возможные ограничения есть на версии библиотек продюсеров/консьюмеров и версию самого кластера Kafka?</strong></p>
6
<p><strong>2. Какие возможные ограничения есть на версии библиотек продюсеров/консьюмеров и версию самого кластера Kafka?</strong></p>
7
<p>➥ Ответ: У Kafka есть обратная совместимость. Более новая версия кластера корректно работает со старыми версиями клиентов. Однако новые версии библиотек могут быть несовместимы со старой версией Kafka. Лайфхак: не используйте в продакшене версии ниже 2.8 - в них много багов.</p>
7
<p>➥ Ответ: У Kafka есть обратная совместимость. Более новая версия кластера корректно работает со старыми версиями клиентов. Однако новые версии библиотек могут быть несовместимы со старой версией Kafka. Лайфхак: не используйте в продакшене версии ниже 2.8 - в них много багов.</p>
8
<p><strong>3. Какое количество сообщений стоит отправлять в один топик в секунду?</strong></p>
8
<p><strong>3. Какое количество сообщений стоит отправлять в один топик в секунду?</strong></p>
9
<p>➥ Ответ: Всё зависит от количества партиций. Однозначного ответа нет - требуется нагрузочное тестирование, так как есть зависимость от скорости обработки консьюмерами и размера сообщений. Но часто это около 100 сообщений в секунду на одну партицию.</p>
9
<p>➥ Ответ: Всё зависит от количества партиций. Однозначного ответа нет - требуется нагрузочное тестирование, так как есть зависимость от скорости обработки консьюмерами и размера сообщений. Но часто это около 100 сообщений в секунду на одну партицию.</p>
10
<p><strong>4. Можно ли читать сообщения под одной консьюмер-группой из разных топиков?</strong></p>
10
<p><strong>4. Можно ли читать сообщения под одной консьюмер-группой из разных топиков?</strong></p>
11
<p>➥ Ответ: Технически - можно, но крайне не рекомендуется. Особенно если сообщения читают несколько разных сервисов. В случае отказа одного из них и запуска ребалансировки - она затронет все топики этой группы. Из-за этого остановится обработка сообщений для всех консьюмеров в группе.</p>
11
<p>➥ Ответ: Технически - можно, но крайне не рекомендуется. Особенно если сообщения читают несколько разных сервисов. В случае отказа одного из них и запуска ребалансировки - она затронет все топики этой группы. Из-за этого остановится обработка сообщений для всех консьюмеров в группе.</p>
12
<p><strong>5. Как защититься от дублей сообщений на стороне продюсеров и консьюмеров?</strong></p>
12
<p><strong>5. Как защититься от дублей сообщений на стороне продюсеров и консьюмеров?</strong></p>
13
<p>➥ Ответ:</p>
13
<p>➥ Ответ:</p>
14
<ul><li>На стороне продюсера: включите идемпотентность (enable.idempotence=true) и настройте количество ретраев (retries).</li>
14
<ul><li>На стороне продюсера: включите идемпотентность (enable.idempotence=true) и настройте количество ретраев (retries).</li>
15
<li>На стороне консьюмера: полностью защититься только средствами Kafka нельзя. Представьте ситуацию: консьюмер обработал сообщение (записал в БД), но не смог его закоммитить из-за проблем с сетью. При рестарте он получит это сообщение снова. Поэтому ваше приложение должно быть готово к обработке дублей, например, через механизм идемпотентности на своей стороне.</li>
15
<li>На стороне консьюмера: полностью защититься только средствами Kafka нельзя. Представьте ситуацию: консьюмер обработал сообщение (записал в БД), но не смог его закоммитить из-за проблем с сетью. При рестарте он получит это сообщение снова. Поэтому ваше приложение должно быть готово к обработке дублей, например, через механизм идемпотентности на своей стороне.</li>
16
</ul><p>На сколько вопросов ответили уверенно? Если чувствуете, что есть пробелы - это отличный повод структурировать знания.</p>
16
</ul><p>На сколько вопросов ответили уверенно? Если чувствуете, что есть пробелы - это отличный повод структурировать знания.</p>
17
<p><strong>Приходите на курс "Apache Kafka для разработчиков и аналитиков", чтобы изучить архитектуру и понять логику работы с Kafka на примере реальных бизнес-кейсов.</strong>Сможете отвечать на любые вопросы не только на собесе, но и в проде.</p>
17
<p><strong>Приходите на курс "Apache Kafka для разработчиков и аналитиков", чтобы изучить архитектуру и понять логику работы с Kafka на примере реальных бизнес-кейсов.</strong>Сможете отвечать на любые вопросы не только на собесе, но и в проде.</p>
18
<p>На курсе есть три тарифа на выбор:</p>
18
<p>На курсе есть три тарифа на выбор:</p>
19
<ul><li>Соло - доступ к видеолекциям, стенд для практики, свидетельство о прослушивании.</li>
19
<ul><li>Соло - доступ к видеолекциям, стенд для практики, свидетельство о прослушивании.</li>
20
<li>Стандарт - всё из "Соло" + ревью финального проекта и номерной сертификат.</li>
20
<li>Стандарт - всё из "Соло" + ревью финального проекта и номерной сертификат.</li>
21
<li>Эксперт - всё из "Стандарта" + проверка домашних заданий и персональная обратная связь от эксперта.</li>
21
<li>Эксперт - всё из "Стандарта" + проверка домашних заданий и персональная обратная связь от эксперта.</li>
22
</ul><p>Выберите тот, который подходит именно вам. Подробности -<a>по ссылке</a></p>
22
</ul><p>Выберите тот, который подходит именно вам. Подробности -<a>по ссылке</a></p>
23
<p>2025-09-15 21:47<a>Apache Kafka</a></p>
23
<p>2025-09-15 21:47<a>Apache Kafka</a></p>