Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-19

1 <ul><li>/</li>

2 <li>/</li>

3 </ul>Apache Kafka• 9 апреля 2025 • 10 мин чтения

4 Apache Kafka- это распределённая платформа обмена сообщениями, созданная для работы с огромными потоками данных в реальном времени. С её помощью компании обмениваются информацией между системами, собирают события, логируют действия пользователей, отслеживают транзакции и строят аналитику в реальном времени. Платформа работает быстро, стабильно и горизонтально масштабируется, что делает её незаменимым инструментом для архитектур типа event-driven.

5 Что такое Kafka и зачем она нужна?

6 Представьте крупный интернет-магазин. Клиенты делают заказы, служба доставки отслеживает статусы, аналитика считает конверсии, отдел маркетинга реагирует на поведение пользователей. Все эти действия генерируют события. Kafka превращает их в поток сообщений, который можно обрабатывать, сохранять, фильтровать и передавать между системами в режиме реального времени. При этом данные не теряются, даже если один из компонентов временно "упал".

7 Kafka - это не просто "очередь сообщений". Это полноценный брокер событий, способный обрабатывать миллионы сообщений в секунду.

8 Она хорошо подходит для:

9 <ul><li>потоковой аналитики (stream processing),</li>

10 <li>построения ETL-конвейеров,</li>

11 <li>микросервисных архитектур,</li>

12 <li>журналирования (логгирования),</li>

13 <li>передачи сообщений между приложениями и модулями.</li>

14 </ul>В современных системах Kafka занимает центральное место как посредник между источниками данных (приложениями, сенсорами, логами) и потребителями (базами, аналитическими платформами, алертингом).

15 <h3>Как работает Apache Kafka</h3>

16 Архитектура строится вокруг понятий:

17 <ul><li>Брокер Kafka- сервер, принимающий и раздающий сообщения;</li>

18 <li>Продюсер (producer)- источник данных, который отправляет сообщения;</li>

19 <li>Консьюмер (consumer)- получатель сообщений;</li>

20 <li>Топик (topic)- логическая категория сообщений, по сути, "канал";</li>

21 <li>Партиция (partition)- часть топика, физически разделённая для масштабируемости;</li>

22 <li>ZooKeeper- сервис координации, необходимый для управления кворумом и брокерами (в версиях до Kafka 3.x).</li>

23 </ul>Kafka сохраняет сообщения в партициях на диск, и каждый консьюмер может читать их с любой позиции. Это значит, что один поток можно обрабатывать параллельно несколькими сервисами без риска потерь или дублирования.

24 С момента выпуска в 2011 году платформа стала стандартом для real-time потоковой обработки. Её используют LinkedIn, Netflix, Uber, Яндекс и тысячи других компаний.

25 <h3>Почему стоит изучать Kafka сейчас</h3>

26 Микросервисы, big data, IoT, машинное обучение - все эти направления требуют обмена данными без задержек. Платформа идеально ложится в этот стек. Она способна выдерживать колоссальную нагрузку и при этом сохраняет данные надёжно и предсказуемо.

27 Новичку может показаться, что настроить и запустить это решение сложно. Но это не так - нужно лишь понять базовую логику и правильно развернуть компоненты. Эта статья расскажет, как установить Apache Kafka, как её настроить и с чего начать запуск.

28 Вы научитесь:

29 <ul><li>Устанавливать Kafka на Windows, Ubuntu, macOS;</li>

30 <li>Разворачивать Kafka в Docker;</li>

31 <li>Настраивать окружение: JAVA_HOME, KAFKA_HOME;</li>

32 <li>Работать с ZooKeeper и systemd;</li>

33 <li>Поднимать Kafka-сервер и отправлять первые сообщения;</li>

34 <li>Разбираться, как работает kafka-server-start.sh и другие команды.</li>

35 </ul>✅Кстати, если вы давно хотели разобраться в брокерах сообщений - сейчас самое время.Kafka уже вошла в стандартную IT-сборку крупных проектов, и умение с ней работать добавит веса в любом резюме.

36 Дальше мы разберёмся с системными требованиями, а затем по шагам пройдём через установку на всех популярных платформах, включая Docker. В конце статьи вы получите работающую Kafka-систему, готовую к тестированию и развитию.

37 <h3>Основные компоненты и файлы</h3>

38 Перед тем как перейти к практике, важно понять структуру и ключевые файлы дистрибутива Apache Kafka. После загрузки вы получите архив, содержащий директории:

39 <ul><li>/bin - здесь лежат исполняемые скрипты, например kafka-server-start.sh, kafka-topics.sh, zookeeper-server-start.sh.</li>

40 <li>/config - конфигурационные файлы Kafka и ZooKeeper (server.properties, zookeeper.properties и др.).</li>

41 <li>/libs - библиотеки Java, необходимые для работы сервера.</li>

42 <li>/logs - каталог логов.</li>

43 <li>/data - в некоторых сборках может быть создана директория хранения сообщений.</li>

44 </ul>Это важно: Kafka-это Java-приложение. Значит, перед запуском вам потребуется установленная Java версии 8 и выше (JDK, не JRE). Также желательно настроить переменные среды: JAVA_HOME и KAFKA_HOME.

45 <h3>Kafka без ZooKeeper?</h3>

46 В последних версиях системы появился режим KRaft (Kafka Raft), который позволяет запускатьKafka без ZooKeeper. Он упрощает архитектуру, снижает количество компонентов и точек отказа. Однако:

47 <ul><li>Поддержка KRaft по-прежнему развивается.</li>

48 <li>Большинство документации и статей (включая референсы) ориентированы на классическую схему с ZooKeeper.</li>

49 </ul>В рамках этой статьи мы рассмотрим оба подхода: с ZooKeeper и в Docker-сценарии - без него.

50 <h3>Что понадобится для установки</h3>

51 Чтобы установить Apache Kafka, нужно:

52 <ul><li>Скачать дистрибутив с официального сайта или через менеджер пакетов;</li>

53 <li>Убедиться в наличии Java (JDK);</li>

54 <li>Подготовить переменные окружения;</li>

55 <li>Настроить конфигурационные файлы;</li>

56 <li>Запустить ZooKeeper (если используется);</li>

57 <li>Запустить Kafka-брокер;</li>

58 <li>Создать топик;</li>

59 <li>Проверить отправку и получение сообщений.</li>

60 </ul>В нашем боте-помощнике вы найдете полезную информацию по установке и работе с кластером из одного брокера

61 Дарим туториал по основам Apache Kafka

62 В зависимости от операционной системы эти шаги могут немного отличаться.Далее мы подробно рассмотрим установку на:

63 <ul><li>Windows;</li>

64 <li>Ubuntu;</li>

65 <li>macOS;</li>

66 <li>через Docker- самый простой путь, если нужен локальный стенд без лишней мороки.</li>

67 </ul><h3>Что вы получите в итоге</h3>

68 После выполнения инструкции вы:

69 <ul><li>Развернёте локальный Kafka-брокер;</li>

70 <li>Настроите его под свою ОС;</li>

71 <li>Научитесь создавать топики и передавать сообщения;</li>

72 <li>Поймёте,как запустить Kafka, как она обрабатывает потоки и как ей управлять через CLI.</li>

73 </ul>Если вы новичок - не переживайте: шаги даны последовательно, объяснены термины и приведены примеры.

74 💡Совет: сохраняйте скрипты и команды, которые будете использовать. Это поможет быстрее разворачивать систему в будущем и автоматизировать установку.

75 <h3>Немного об опыте: Kafka в реальных проектах</h3>

76 Решение применяется не только в highload-сервисах.Его используют для:

77 <ul><li>систем мониторинга (например, метрики Prometheus через Kafka в ClickHouse),</li>

78 <li>обработки логов (Logstash → Kafka → Elasticsearch),</li>

79 <li>распределённых очередей (например, в микросервисах с Java и Spring Boot),</li>

80 <li>потоковой агрегации данных в финансовых системах.</li>

81 </ul>Пример: один из банков использует Kafka для отслеживания транзакций в реальном времени, реагируя на события быстрее, чем это позволяла старая очередь на RabbitMQ.

82 Такие примеры показывают, что знание этой платформы - не просто теория, а навык, который нужен в боевых условиях.

83 Хотите стать гуру равномерного распределения нагрузки?На курсе<a>"Apache Kafka База"</a>расскажем, как работать с платформой, как настраивать распределенный отказоустойчивый кластер и отслеживать метрики.

84 Готовы приступить к установке? Начнём с самого базового:что нужно, чтобы система "потянула" эту систему.

85 Системные требования

86 Перед тем как перейти к установке Apache Kafka, важно понять, какие ресурсы необходимы для её стабильной работы. Платформа не требует сверхмощного оборудования, но некоторые требования желательно учитывать - особенно если вы планируете развернуть полноценный кластер или подключать Kafka к продакшн-сервисам.

87 <h3>Минимальные системные требования</h3>

88 Для тестовой установки или локального стенда достаточно следующей конфигурации:

89 <ul><li>Процессор: 2 ядра (x86_64 или ARM64)</li>

90 <li>Оперативная память: от 4 ГБ (рекомендуется 8 ГБ для одновременного запуска ZooKeeper и Kafka)</li>

91 <li>Диск: минимум 5 ГБ свободного пространства</li>

92 <li>Java: JDK 8, 11 или 17 (Kafka поддерживает Java 8+, но лучше использовать актуальную LTS-версию)</li>

93 </ul>Для продакшн-сценариев рекомендуются более высокие параметры, особенно по оперативной памяти и скорости дисков (желательно SSD). Система интенсивно использует дисковую подсистему, так как сохраняет все сообщения на диск.

94 <h3>Программные зависимости</h3>

95 Apache Kafka работает на Java и не требует специфической ОС. Вы можете развернуть её на:

96 <ul><li>Windows (от Windows 10 и выше),</li>

97 <li>Linux (Ubuntu, CentOS, Debian),</li>

98 <li>macOS (от Catalina 10.15).</li>

99 </ul>Платформа не зависит от конкретной ОС, но вLinux-среде работать с ней проще и стабильнее, особенно при автоматизации запуска и настройки.

100 Для запуска потребуется:

101 <ul><li>Java JDK- убедитесь, что установлена полная Java-разработка, а не только JRE.</li>

102 <li>ZooKeeper(если используете классическую архитектуру Kafka до версии 3.x);</li>

103 <li>Переменные окружения: JAVA_HOME, KAFKA_HOME;</li>

104 <li>Bash-совместимый терминал(особенно актуально для macOS и Linux).</li>

105 </ul><h3>Программные зависимости</h3>

106 Apache Kafka работает на Java и не требует специфической ОС. Вы можете развернуть её на:

107 <ul><li>Windows (от Windows 10 и выше),</li>

108 <li>Linux (Ubuntu, CentOS, Debian),</li>

109 <li>macOS (от Catalina 10.15).</li>

110 </ul>Платформа не зависит от конкретной ОС, но в Linux-среде работать с ней проще и стабильнее, особенно при автоматизации запуска и настройки.

111 Для запуска потребуется:

112 <ul><li>Java JDK - убедитесь, что установлена полная Java-разработка, а не только JRE.</li>

113 <li>ZooKeeper (если используете классическую архитектуру Kafka до версии 3.x);</li>

114 <li>Переменные окружения: JAVA_HOME, KAFKA_HOME;</li>

115 <li>Bash-совместимый терминал (особенно актуально для macOS и Linux).</li>

116 </ul><h3>Требования к сети</h3>

117 Решение активно взаимодействует с внешними сервисами и клиентами. Поэтому убедитесь, что:

118 <ul><li>Открыты нужные порты:</li>

119 <li>2181 - для ZooKeeper;</li>

120 <li>9092 - для Kafka по умолчанию;</li>

121 <li>Не конфликтуют службы с аналогичными портами;</li>

122 <li>Локальный hostname или IP указан корректно в конфигурации (advertised.listeners), иначе консьюмеры не смогут подключаться.</li>

123 </ul><h3>Поддержка Docker</h3>

124 Если вы не хотите устанавливать Kafka и ZooKeeper вручную, используйте Docker. Он упрощает запуск, особенно при работе с микросервисами и временными стендами.

125 Плюсы запуска через Docker:

126 <ul><li>Быстрый старт;</li>

127 <li>Не требует настройки окружения;</li>

128 <li>Легко разворачивать несколько брокеров;</li>

129 <li>Можно интегрировать с Docker Compose.</li>

130 </ul>Мы подробно разберём этот способ в одном из следующих разделов.

131 <h3>Kafka в облаке</h3>

132 Платформу можно разворачивать не только локально. Все крупные облачные провайдеры предлагают готовые managed-решения:

133 <ul><li>Confluent Cloud -официальный сервис от разработчиков Kafka;</li>

134 <li>AWS MSK (Managed Streaming for Apache Kafka);</li>

135 <li>Azure Event Hubs (с поддержкой протокола Kafka);</li>

136 <li>Google Cloud Pub/Sub (совместимость с Kafka-экосистемой).</li>

137 </ul>Для обучения и отладки рекомендуется сначала выполнить локальную установку, а уже потом пробовать кластерные и облачные варианты.

138 Теперь, когда мы определились с требованиями, можно переходить к практике. Начнём с самой распространённой ОС- Windows.

139 Установка и настройка на Windows

140 Хотя Apache Kafka изначально создавалась для Linux, развернуть её на Windows тоже возможно. Особенно если вы хотите попробовать брокер сообщений локально, без виртуальных машин и Docker-контейнеров.

141 Шаг 1: Установка Java (JDK)

142 Kafka работает на Java, поэтому первым делом нужно установить JDK.

143 <ol><li>Скачайте последнюю LTS-версию JDK с сайта<a>https://adoptium.net</a>или<a>https://jdk.java.net</a>.</li>

144 <li>Установите JDK и пропишите переменную окружения JAVA_HOME:</li>

145 </ol><ul><li>ОткройтеСвойства системы→ Переменные среды.</li>

146 <li>Добавьте JAVA_HOME со значением пути к установленному JDK (например, C:\Program Files\Java\jdk-17).</li>

147 <li>В переменную Path добавьте %JAVA_HOME%\bin.</li>

148 </ul>Проверьте в терминале:

149 Если выводится версия JDK - всё готово.

150 Шаг 2: Скачивание и распаковка

151 <ol><li>Перейдите на<a>"официальный сайт Kafka"</a>.</li>

152 <li>Скачайте архивBinary downloadsс поддержкой Scala (обычно kafka_2.13-x.x.x.tgz).</li>

153 <li>Распакуйте архив в любую директорию, например: C:\kafka.</li>

154 </ol>⚠️ Название папки не должно содержать пробелов или русских букв.

155 Шаг 3: Настройка переменных окружения (по желанию)

156 Чтобы удобно запускать систему из любого места, пропишите переменную KAFKA_HOME:

157 <ol><li>Добавьте KAFKA_HOME = C:\kafka</li>

158 <li>В Path добавьте:</li>

159 </ol>Шаг 4: Запуск ZooKeeper и Kafka

160 В классической схеме Kafka зависит от ZooKeeper, поэтому сначала запускается он. Перейдите в папку bin/windows и запустите ZooKeeper:

161 zookeeper-server-start.bat ..\..\config\zookeeper.properties

162 Откройте новое окно терминала и запустите Kafka:

163 kafka-server-start.bat ..\..\config\server.properties

164 Если всё прошло успешно, в терминале появится сообщение Kafka started.

165 Шаг 5: Создание топика

166 После запуска можно создать топик - логическую категорию сообщений:

167 kafka-topics.bat --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

168 Проверьте, что топик создан:

169 kafka-topics.bat --list --bootstrap-server localhost:9092

170 Шаг 6: Отправка и получение сообщений

171 kafka-console-producer.bat --broker-list localhost:9092 --topic test

172 Введите сообщение и нажмите Enter.

173 Запуск консьюмера:

174 kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

175 Вы увидите отправленные сообщения.

176 Возможные ошибки и решения

177 <ul><li>Missing JAVA_HOME - убедитесь, что переменная окружения прописана.</li>

178 <li>Порты 2181 или 9092 заняты- остановите другие процессы.</li>

179 <li>Kafka не запускается- проверьте версию Java и корректность путей.</li>

180 </ul>🛠️ Совет:создайте .bat-файлы с командами запуска, чтобы не вводить их вручную.

181 Теперь вы знаете,как установить Apache Kafka на Windowsи выполнить базовую настройку. Переходим к Ubuntu.

182 Установка и настройка на Ubuntu

183 Установка Kafka на Ubuntu - один из самых стабильных и удобных способов для локальной разработки. Здесь меньше ограничений, чем в Windows, а управление сервисами можно полностью автоматизировать через systemd.

184 Шаг 1: Обновление системы и установка Java

185 Платформа требует установленной Java (JDK). Установим OpenJDK 11, подходящую для Kafka 2.x и 3.x.

186 sudo apt update && sudo apt upgrade -ysudo apt install openjdk-11-jdk -y

187 Проверьте установку:

188 java -version

189 Шаг 2: Загрузка

190 Перейдите на официальный сайт<a>"kafka.apache.org/downloads"</a>и скопируйте ссылку на нужную версию. Затем скачайте архив через wget:

191 wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz

192 Распакуйте архив:

193 tar -xvzf kafka_2.13-3.6.0.tgzmv kafka_2.13-3.6.0 /opt/kafka

194 Шаг 3: Проверка переменной окружения JAVA_HOME

195 Убедитесь, что JAVA_HOME прописана. Добавьте её в .bashrc:

196 echo "export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which javac))))" >> ~/.bashrcecho "export PATH=\$PATH:\$JAVA_HOME/bin" >> ~/.bashrcsource ~/.bashrc

197 Шаг 4: Запуск ZooKeeper и Kafka вручную

198 Помним, что ZooKeeper запускается первым:

199 /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties

200 Откройте новый терминал и запустите Kafka-брокер:

201 /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

202 Шаг 5: Создание топика

203 /opt/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

204 Проверьте:

205 /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

206 Шаг 6: Отправка и получение сообщений

207 Продюсер:

208 /opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

209 Консьюмер:

210 /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

211 Шаг 7 (опционально): Автозапуск через systemd

212 Создайте юнит-файлы:

213 sudo nano /etc/systemd/system/zookeeper.service

214 Вставьте:

215 [Unit]Description=Apache ZooKeeperAfter=network.target

216 [Service]

217 Type=simpleExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.propertiesExecStop=/opt/kafka/bin/zookeeper-server-stop.shRestart=on-abnormal

218 [Install]

219 WantedBy=multi-user.target

220 Аналогично создайте kafka.service:

221 sudo nano /etc/systemd/system/kafka.service

222 [Unit]Description=Apache KafkaAfter=zookeeper.service

223 [Service]Type=simpleExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.propertiesExecStop=/opt/kafka/bin/kafka-server-stop.shRestart=on-abnormal

224 [Install]WantedBy=multi-user.target

225 Активируйте сервисы:

226 sudo systemctl daemon-reexecsudo systemctl enable zookeeper kafkasudo systemctl start zookeepersudo systemctl start kafka

227 Всё готово к работе. Теперь вы знаете,как поднять Kafka на Ubuntuвручную или через systemd. Далее - установка на macOS.

228 Установка и настройка на macOS

229 Установка Apache Kafka на macOS проще всего через Homebrew. Это быстро, удобно и хорошо подходит для локальной разработки. Ниже - пошаговая инструкция для запуска Kafka с ZooKeeper на macOS.

230 Шаг 1: Установка Homebrew (если не установлен)

231 Откройте терминал и выполните:

232 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

233 Проверьте установку:

234 brew --version

235 Шаг 2: Установка Kafka и ZooKeeper

236 Установим Kafka вместе с зависимостями:

237 brew install kafka

238 Homebrew установит Kafka и ZooKeeper в стандартные директории и автоматически добавит бинарные файлы в PATH.

239 Шаг 3: Запуск ZooKeeper

240 Вам всё ещё требуется ZooKeeper, если вы не используете режим KRaft. Запустите его через brew:

241 brew services start zookeeper

242 Проверьте статус:

243 brew services list

244 Шаг 4: Запуск Kafka

245 После запуска ZooKeeper включаем нашу платформу:

246 brew services start kafka

247 Вы также можете выполнить ручной запуск:

248 kafka-server-start /opt/homebrew/etc/kafka/server.properties

249 Шаг 5: Создание топика

250 kafka-topics --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

251 Проверим наличие:

252 kafka-topics --list --bootstrap-server localhost:9092

253 Шаг 6: Тестовый обмен сообщениями

254 Продюсер:

255 kafka-console-producer --broker-list localhost:9092 --topic test

256 Консьюмер:

257 kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning

258 Шаг 7: Управление сервисами

259 Остановить Kafka и ZooKeeper можно командой:

260 brew services stop kafkabrew services stop zookeeper

261 Если вы хотите отключить автозапуск:

262 brew services remove kafkabrew services remove zookeeper

263 Примечания

264 <ul><li>Решение работает на Java, убедитесь, что у вас установлен JDK 11 или выше. Если нет - установите через brew:</li>

265 </ul>brew install openjdk@11

266 <ul><li>Убедитесь, что в PATH добавлены Kafka-утилиты. Обычно Homebrew делает это автоматически, но можно добавить вручную:</li>

267 </ul>export PATH="/opt/homebrew/bin:$PATH"

268 Kafka успешно развернута на macOS. Это одна из самых простых платформ для локального тестирования брокеров сообщений. Далее - установка через Docker.

269 Установка и настройка в Docker

270 Если не хочется возиться с установкой Java, конфигурацией ZooKeeper и путями, проще всего развернуть Kafka в Docker. Этот способ подойдёт как для локального тестирования, так и для развёртывания на сервере без сложной подготовки среды.

271 Шаг 1: Установка Docker

272 Если Docker ещё не установлен, скачайте его с<a>"официального сайта"</a>и установите в системе.

273 Проверьте установку:

274 docker --version

275 Шаг 2: Запуск Kafka и ZooKeeper в Docker через команду

276 Требуется ZooKeeper. Самый быстрый способ - поднять оба сервиса через одну команду:

277 docker run -d --name zookeeper \-e ALLOW_ANONYMOUS_LOGIN=yes \-p 2181:2181 \bitnami/zookeeper:latest

278 Затем запустим Kafka, привязав её к ZooKeeper:

279 docker run -d --name kafka \-e KAFKA_BROKER_ID=1 \-e KAFKA_ZOOKEEPER_CONNECT=host.docker.internal:2181 \-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \-p 9092:9092 \bitnami/kafka:latest

280 Если вы на Linux, замените host.docker.internal на IP вашей машины (172.17.0.1 или localhost).

281 Шаг 3: Проверка работы

282 Убедитесь, что оба контейнера работают:

283 docker ps

284 Вы увидите bitnami/zookeeper и bitnami/kafka в списке запущенных контейнеров.

285 Шаг 4: Взаимодействие внутри контейнера

286 Подключимся к Kafka-контейнеру:

287 docker exec -it kafka bash

288 Создание топика:

289 kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

290 Проверка:

291 kafka-topics.sh --list --bootstrap-server localhost:9092

292 Запуск продюсера:

293 kafka-console-producer.sh --broker-list localhost:9092 --topic test

294 Запуск консьюмера:

295 kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

296 Шаг 5: Docker Compose (альтернатива)

297 Можно использовать docker-compose.yml, чтобы управлять системой проще. Создайте файл:

298 version: '3'services: zookeeper: image: bitnami/zookeeper:latest ports: - "2181:2181" environment: - ALLOW_ANONYMOUS_LOGIN=yes

299 kafka: image: bitnami/kafka:latest ports: - "9092:9092" environment: - KAFKA_BROKER_ID=1 - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 depends_on: - zookeeper

300 Запустите:

301 docker-compose up -d

302 Kafka и ZooKeeper будут запущены в изолированной сети, и вы сможете легко ими управлять.

303 💡Docker- лучший способ для быстрого развёртывания на локальной машине, особенно если вы не хотите вручную ставить Java и настраивать конфиги. Работает одинаково хорошо на Windows, macOS и Linux.

304 Теперь, когда Kafka работает в контейнере, переходим к настройке пользователей.

305 Начните бесплатно изучать работу с Apache Kafka!Дарим демодоступ к обучению на 3 дня, чтобы вы познакомились с материалами и спикерами курса.

306 Создание пользователя

307 Apache Kafka может работать в режиме с ограниченным доступом, где каждый клиент - будь то продюсер или консьюмер - аутентифицируется и авторизуется. Это важно, если вы планируете использовать систему в команде или продакшене. На локальных стендах этот шаг можно пропустить, но для практики и понимания процесса он полезен.

308 Зачем вообще создавать пользователей?

309 Kafka поддерживает механизмы:

310 <ul><li>SASL/PLAIN- простая аутентификация по логину и паролю;</li>

311 <li>SASL/SCRAM- хешированная схема хранения паролей;</li>

312 <li>SSL- обмен ключами и сертификатами;</li>

313 <li>ACL (Access Control Lists)- контроль прав доступа на уровне топиков и ресурсов.</li>

314 </ul>В этом разделе покажем, какдобавить пользователя и включить базовую защиту через SASL/PLAIN

315 Шаг 1: Включение SASL в конфиге Kafka

316 Откройте файл:

317 /opt/kafka/config/server.properties

318 Добавьте или раскомментируйте:

319 listeners=SASL_PLAINTEXT://:9092advertised.listeners=SASL_PLAINTEXT://localhost:9092security.inter.broker.protocol=SASL_PLAINTEXTsasl.mechanism.inter.broker.protocol=PLAINsasl.enabled.mechanisms=PLAINauthorizer.class.name=kafka.security.auth.SimpleAclAuthorizersuper.users=User:admin

320 Шаг 2: Добавление паролей пользователей

321 Создайте файл kafka_server_jaas.conf:

322 KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret" user_admin="admin-secret" user_user1="user1-secret";};

323 Здесь user_user1 - наш пользователь.

324 Шаг 3: Подключение JAAS-файла

325 Добавьте путь к kafka_server_jaas.conf в переменную окружения:

326 export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf"

327 Это можно прописать в systemd-юните или запускном скрипте Kafka.

328 Шаг 4: Перезапуск

329 Остановите и запустите Kafka с учётом настроек:

330 systemctl restart kafka

331 Или вручную:

332 /opt/kafka/bin/kafka-server-stop.sh/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

333 Шаг 5: Проверка авторизации клиента

334 Создайте аналогичный файл для клиента:

335 KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="user1" password="user1-secret";};

336 И при запуске консольных утилит укажите его:

337 KAFKA_OPTS="-Djava.security.auth.login.config=/opt/kafka/config/kafka_client_jaas.conf" \kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning \--consumer.config /opt/kafka/config/client.properties

338 Файл client.properties должен содержать:

339 security.protocol=SASL_PLAINTEXTsasl.mechanism=PLAIN

340 Теперь вы знаете,как создать пользователя, защитить соединение и управлять доступом. Это особенно важно при масштабировании и работе в командах.

341 Следующий шаг - подготовка файлов и папок. Переходим к загрузке дистрибутива.

342 Загрузка файлов

343 Перед тем как запустить Kafka, нужно загрузить дистрибутив и разложить файлы по нужным директориям. В большинстве случаев это делается вручную: вы скачиваете архив, распаковываете его и указываете путь в переменных окружения.

344 Где скачать

345 Официальный источник -<a>"сайт Apache Kafka"</a>:

346 Выбирайте версию, совместимую с вашей версией Scala и Java. Рекомендуется скачиватьbinary builds with Scala 2.13, так как они чаще всего используются.

347 Пример команды для Linux или macOS

348 wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgztar -xvzf kafka_2.13-3.6.0.tgzsudo mv kafka_2.13-3.6.0 /opt/kafka

349 Пример для Windows

350 <ol><li>Перейдите<a>"по ссылке"</a></li>

351 <li>Скачайте архив .tgz</li>

352 <li>Распакуйте его с помощью 7-Zip или встроенного архиватора</li>

353 <li>Поместите папку в C:\kafka или другую директорию без пробелов в названии</li>

354 </ol>Структура папки Kafka

355 После распаковки вы получите примерно такую структуру:

356 kafka_2.13-3.6.0/├── bin/├── config/├── libs/├── logs/└── site-docs/

357 <ul><li>bin/ - исполняемые скрипты для запуска Kafka, ZooKeeper, создания топиков и др.</li>

358 <li>config/ - конфигурационные файлы: server.properties, zookeeper.properties</li>

359 <li>logs/ - логи работы брокера</li>

360 <li>libs/ - зависимости Java</li>

361 </ul>Рекомендации

362 <ul><li>Убедитесь, что у вас достаточно свободного места (минимум 2-3 ГБ).</li>

363 <li>Не размещайте Kafka в папках с кириллическими символами или пробелами.</li>

364 <li>При использовании Docker загрузка архива не требуется - всё работает через образы.</li>

365 </ul>⚡ На этом этапе система уже скачана, распакована и готова к запуску. Осталось лишь немного настроить - и можно переходить к тестированию.

366 Заключение

367 Apache Kafka - мощный инструмент для передачи данных в реальном времени. Несмотря на репутацию сложной системы, на практике она устанавливается и настраивается за полчаса - особенно если вы работаете локально или через Docker.

368 Мы разобрали:

369 <ul><li>как установитьна Windows, Ubuntu, macOS;</li>

370 <li>как поднять Kafka через Docker без лишних зависимостей;</li>

371 <li>базовую архитектуру и назначение компонентов;</li>

372 <li>как настроить Kafkaдля передачи сообщений;</li>

373 <li>как запустить систему, создать топик, передать данные;</li>

374 <li>основы авторизации с помощью SASL/PLAIN;</li>

375 <li>требования к системе и особенности запуска с systemd.</li>

376 </ul>Теперь у вас на руках все инструменты, чтобы самостоятельноразвернуть Kafka, экспериментировать с её возможностями и начать строить потоковую архитектуру.

377 ⚙️Kafka открывает двери в мир больших данных, микросервисов и real-time аналитики. Даже если вы не планируете становиться DevOps-инженером - умение работать с Kafka даст вам серьёзное преимущество.

378 Если вы дочитали до этого момента - значит, готовы двигаться дальше.Следующий шаг - попробовать на практике. Разверните Kafka, создайте пару топиков, подключите простенький микросервис или Python-скрипт и понаблюдайте, как всё работает в реальном времени.

379 📌 Читайте блог Слёрма

380 Если тема оказалась вам полезной - обязательно загляните в другие статьи блога slurm.io. Мы регулярно публикуем гайды по DevOps, микросервисам, Kubernetes и облачным технологиям.

381 ✅Хотите научиться работать с Kafka в продакшене? Следите за нашими курсами и воркшопами - в них вы научитесь не только настраивать эту платформу, но и строить отказоустойчивые кластеры, подключать мониторинг и интегрировать её в CI/CD-пайплайны.

382 <h3>Статью подготовили</h3>

383 Понравилась статья? Будем рады вашему лайку и репосту - вдруг кому-то тоже пригодится:)

384 <h3>Читайте также:</h3>

385