0 added
0 removed
Original
2026-01-01
Modified
2026-03-10
1
<p>Теги: kubernetes, spark, spark on kubernetes</p>
1
<p>Теги: kubernetes, spark, spark on kubernetes</p>
2
<p>С момента выхода<strong>Spark 2.3</strong>в 2018 г.<strong>Kubernetes</strong>стал, по сути, новым диспетчером для Spark в крупных компаниях, которые возглавляют проект: Google, RedHat, Palantir, Bloomberg, Lyft. И если поначалу поддержка была экспериментальной, функций было мало, а стабильность наряду с производительностью были невысоки, то с той поры сообщество проекта получило серьезную поддержку от многих компаний, которых заинтересовали следующие достоинства Kubernetes.</p>
2
<p>С момента выхода<strong>Spark 2.3</strong>в 2018 г.<strong>Kubernetes</strong>стал, по сути, новым диспетчером для Spark в крупных компаниях, которые возглавляют проект: Google, RedHat, Palantir, Bloomberg, Lyft. И если поначалу поддержка была экспериментальной, функций было мало, а стабильность наряду с производительностью были невысоки, то с той поры сообщество проекта получило серьезную поддержку от многих компаний, которых заинтересовали следующие достоинства Kubernetes.</p>
3
<ol><li><strong>Нативная контейнеризация</strong>. Возможность упаковывать зависимости (и сам Spark) посредством Docker.</li>
3
<ol><li><strong>Нативная контейнеризация</strong>. Возможность упаковывать зависимости (и сам Spark) посредством Docker.</li>
4
<li><strong>Эффективное совместное применение</strong>имеющихся ресурсов и ускорение запуска приложений.</li>
4
<li><strong>Эффективное совместное применение</strong>имеющихся ресурсов и ускорение запуска приложений.</li>
5
<li><strong>Широкая Open Source-экосистема</strong>, снижающая зависимость от вендоров и облачных провайдеров.</li>
5
<li><strong>Широкая Open Source-экосистема</strong>, снижающая зависимость от вендоров и облачных провайдеров.</li>
6
</ol><p>При этом в проект внесли ряд нововведений, начиная с базовых требований типа поддержки PySpark и R, монтирования томов в Spark 2.4, а также клиентского режима, заканчивая мощными оптимизациями типа динамического выделения (в версии 3.0) и улучшениями обработки выключения нод (в версии 3.1). А за последующие годы было выпущено более 500 патчей, которые существенно повысили производительность и надежность Spark-on-Kubernetes.</p>
6
</ol><p>При этом в проект внесли ряд нововведений, начиная с базовых требований типа поддержки PySpark и R, монтирования томов в Spark 2.4, а также клиентского режима, заканчивая мощными оптимизациями типа динамического выделения (в версии 3.0) и улучшениями обработки выключения нод (в версии 3.1). А за последующие годы было выпущено более 500 патчей, которые существенно повысили производительность и надежность Spark-on-Kubernetes.</p>
7
<h2>Что изменилось с 2018 по 2021 гг.?</h2>
7
<h2>Что изменилось с 2018 по 2021 гг.?</h2>
8
<p>Если взять 2021 год, то в новых Spark-проектах Kubernetes все чаще рассматривают в качестве стандартного менеджера ресурсов, что следует как из популярности Open Source-проекта оператора<strong>Spark-on-Kubernetes</strong>, так и из объявлений крупных вендоров, которые выполняют внедрение Kubernetes вместо Hadoop YARN.</p>
8
<p>Если взять 2021 год, то в новых Spark-проектах Kubernetes все чаще рассматривают в качестве стандартного менеджера ресурсов, что следует как из популярности Open Source-проекта оператора<strong>Spark-on-Kubernetes</strong>, так и из объявлений крупных вендоров, которые выполняют внедрение Kubernetes вместо Hadoop YARN.</p>
9
<p>При этом в момент выхода версии 3.1 проект<strong>Spark-on-Kubernetes</strong>получил статус готового к эксплуатации и общедоступного. В данный релиз внесли более 70 исправлений, а также различных улучшений производительности. Среди них можно выделить те, которые заказчики ждали с особым нетерпением:</p>
9
<p>При этом в момент выхода версии 3.1 проект<strong>Spark-on-Kubernetes</strong>получил статус готового к эксплуатации и общедоступного. В данный релиз внесли более 70 исправлений, а также различных улучшений производительности. Среди них можно выделить те, которые заказчики ждали с особым нетерпением:</p>
10
<ol><li><a>Опции с томами в "Spark on Kubernetes"</a>.</li>
10
<ol><li><a>Опции с томами в "Spark on Kubernetes"</a>.</li>
11
<li><a>Улучшенная обработка выключения нод в Spark 3</a>.</li>
11
<li><a>Улучшенная обработка выключения нод в Spark 3</a>.</li>
12
<li><a>Стейджинговая диспетчеризация и пр.</a></li>
12
<li><a>Стейджинговая диспетчеризация и пр.</a></li>
13
</ol><p><em>По материалам https://towardsdatascience.com/apache-spark-3-1-release-spark-on-kubernetes-is-now-generally-available-65cccbf1436b.</em></p>
13
</ol><p><em>По материалам https://towardsdatascience.com/apache-spark-3-1-release-spark-on-kubernetes-is-now-generally-available-65cccbf1436b.</em></p>
14
14