Rivalry2

HTML Diff

1 added 1 removed

Original 2026-01-01

Modified 2026-03-10

1 Теги: kubernetes, spark, персистентные тома

2 Уже начиная со Spark версии 2.4, в случае примененияSpark on Kubernetesпоявилась возможность монтировать 3 типа томов. Рассмотрим их подробнее:

3 <ul><li><a>emptyDir</a>. Эта директория изначально пуста и существует до тех пор, пока работает под. По сути, она полезна именно для временного хранения. Поддерживать ее можно посредством SSD, диска ноды либо сетевого хранилища;</li>

4 <li><a>hostpath</a>. В данном случае в ваш под монтируется директория непосредственно из текущей ноды;</li>

5 <li>статически и заблаговременно создаваемый<a>PersistentVolumeClaim</a>. Не что иное, как Kubernetes-абстракция, предназначенная для различных типов персистентного хранилища. Как уже было упомянуто выше, пользователь должен создавать PersistentVolumeClaim заранее. Остается добавить, что существование тома к поду не привязано.</li>

6 </ul>Начиная со Spark версии 3.1, у пользователей появились 2 новых варианта:

7 <ul><li>NFS;</li>

8 <li>динамически создаваемыйPersistentVolumeClaims.</li>

9 </ul>Давайте рассмотрим их более детально.

10 <h2>NFS (Network File System)</h2>

11 - <a>NFS</a>представляет собой том, который могут несколько подов использовать в о��но и то же время, причем этот том можно наполнить данными заранее. По сути, речь идет о способе обмена информацией, конфигурациями и кодом между Spark-приложениями или же между драйвером и исполнителем непосредственно внутри какого-либо Spark-приложения. Так как в Kubernetes отсутствует NFS-сервер, вы можете запускать его самостоятельно либо задействуя облачный сервис.

11 + <a>NFS</a>представляет собой том, который могут несколько подов использовать в одно и то же время, причем этот том можно наполнить данными заранее. По сути, речь идет о способе обмена информацией, конфигурациями и кодом между Spark-приложениями или же между драйвером и исполнителем непосредственно внутри какого-либо Spark-приложения. Так как в Kubernetes отсутствует NFS-сервер, вы можете запускать его самостоятельно либо задействуя облачный сервис.

12 После того, как NFS создан, этот том можно без труда монтировать в Spark-приложение посредством следующих настроек:

13 Таким образом, NFS представляет собой популярный способ обмена данными, производимый между любыми Spark-приложениями. Ну и тот факт, что теперь он может работать поверх Kubernetes, разумеется, не может не радовать.

14 <h2>PVC</h2>

15 Второй момент - динамический PVC. Считается, что PVC представляет собой более удобный способ применения<a>персистентных томов</a>. Раньше надо было сначала создавать PVC, ну а потом их монтировать. Это имело свои минусы, ведь в случае применения динамического выделения пользователь не знает, сколько можно создать исполнителей в процессе работы приложения, то есть можно констатировать, что старый способ был несколько неудобен. Кроме того, приходилось самому "чистить" ненужныеPersistentVolumeClaimsлибо мириться с потерей места в хранилище.

16 Но вот, появился Spark версии 3.1, и все стало динамическим и автоматизированным. Теперь при инициализации Spark-приложения либо в ходе динамического выделения, когда пользователь запрашивает новых исполнителей, в Kubernetes динамически формируется и создается PersistentVolumeClaims, который в автоматическом режиме предоставляет новый PersistentVolumes запрошенного<a>класса хранилища</a>. При этом в случае удаления пода ассоциированные с этим подом ресурсы удаляются тоже автоматически.

17 По материалам https://towardsdatascience.com/apache-spark-3-1-release-spark-on-kubernetes-is-now-generally-available-65cccbf1436b.