0 added
0 removed
Original
2026-01-01
Modified
2026-02-19
1
<p><strong>Ситуация:</strong></p>
1
<p><strong>Ситуация:</strong></p>
2
<ul><li>Аутсорс-подрядчик разработал consumer, который читал данные из Kafka. Но сделал это своеобразно: чтение шло в один поток из одной партиции.</li>
2
<ul><li>Аутсорс-подрядчик разработал consumer, который читал данные из Kafka. Но сделал это своеобразно: чтение шло в один поток из одной партиции.</li>
3
</ul><ul><li>Consumer не успевал обрабатывать данные - как следствие, возникали задержки.</li>
3
</ul><ul><li>Consumer не успевал обрабатывать данные - как следствие, возникали задержки.</li>
4
</ul><ul><li>Когда я спросил, почему consumer не читает данные параллельно (например, в несколько потоков или через разные сonsumer-группы), подрядчик развёл руками:<em>"Но ведь данные из Kafka начнут исчезать, если мы будем читать параллельно!"</em></li>
4
</ul><ul><li>Когда я спросил, почему consumer не читает данные параллельно (например, в несколько потоков или через разные сonsumer-группы), подрядчик развёл руками:<em>"Но ведь данные из Kafka начнут исчезать, если мы будем читать параллельно!"</em></li>
5
</ul><p><strong>Это утверждение противоречит основам работы Kafka!</strong>Данные в Kafka не исчезают, даже если их читает несколько сonsumer-групп или потоков.</p>
5
</ul><p><strong>Это утверждение противоречит основам работы Kafka!</strong>Данные в Kafka не исчезают, даже если их читает несколько сonsumer-групп или потоков.</p>
6
<p>❓ В какой момент всё пошло не так?</p>
6
<p>❓ В какой момент всё пошло не так?</p>
7
<p>➡️ С самого начала: подрядчик не понимал базовых принципов работы Kafka, результат - компания потеряла время и деньги на исправление неправильного подхода к вычитке данных.</p>
7
<p>➡️ С самого начала: подрядчик не понимал базовых принципов работы Kafka, результат - компания потеряла время и деньги на исправление неправильного подхода к вычитке данных.</p>
8
<p>Прежде, чем работать с Kafka, важно изучить основы, понять, как работают партиции, consumer-группы и потоки, как Kafka хранит данные и обеспечивает их надёжность.</p>
8
<p>Прежде, чем работать с Kafka, важно изучить основы, понять, как работают партиции, consumer-группы и потоки, как Kafka хранит данные и обеспечивает их надёжность.</p>
9
<p>Не нужно изобретать велосипед там, где он давным-давно изобретён. Нужно брать, изучать и делать - тогда и баги будут случаться реже, и ресурсов на них тратить нужно будет меньше.</p>
9
<p>Не нужно изобретать велосипед там, где он давным-давно изобретён. Нужно брать, изучать и делать - тогда и баги будут случаться реже, и ресурсов на них тратить нужно будет меньше.</p>
10
<p>2025-03-10 16:00<a>Apache Kafka</a></p>
10
<p>2025-03-10 16:00<a>Apache Kafka</a></p>