Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-19

1 Мы перевели<a>пост из блога финского веб-разработчика Vito Botta,</a>который работает над платформой Brella.В <a>предыдущем посте</a> я поделился комментариями и результатами бенчмарков по нескольким бесплатным и платным решениям для хранения в Kubernetes. Еще я сказал, что распрощался с Kubernetes из-за разных проблем с хранилищами. Один читатель предложил попробовать <a>Linstor</a> - еще одно опенсорс-решение с возможностью платной поддержки, о котором я раньше не слышал.У меня было столько проблем с другими вариантами, что настроен я был скептически. Но попробовал, и мне понравилось. Быстрая репликация на основе DRBD работает отлично. Пока у меня возникла только одна проблема с томами, которые неправильно отсоединяются с версией 0.6.4 плагина CSI, но разработчики быстро выпустили новую версию (0.7.0), и там это, вроде, исправлено. Хорошо бы в Linstor были off site бэкапы на основе снапшотов… В остальном неплохое решение. Может, у Kubernetes еще есть шанс. Буду тестить дальше. Очень надеюсь, что других проблем не будет, и я смогу использовать его, забыв про Heroku!

2 Как бы там ни было, документация обширная и хорошая, но кое-что устарело, и я решил сам написать, как быстро установить и использовать Linstor в Kubernetes. Предполагаю, что вы хотите просто установить хранилище и поддержку CSI в Kubernetes, чтобы динамически подготавливать тома с классом хранилища. Это инструкции для Ubuntu. Я пытался что-то сделать в CentOS, но, судя по всему, модуль ядра DRBD для этого дистрибутива доступен, а другие пакеты - нет. Linbit (компания, которая делает Linstor) предоставляет эти пакеты с репозиторием ppa, так что я использовал Ubuntu.

3 Подробно вся технология описана в <a>документации к Linstor</a>. Есть открытые <a>контакты</a>, куда можно задавать вопросы.

4 <h2>Установка в Ubuntu</h2>

5 У меня был тестовый кластер с тремя нодами, по 100 ГБ дискового пространства каждый, с подключением через <a>Wireguard VPN</a>, так что весь трафик между нодами зашифрован. Это немного влияет на производительность, но хотя мой облачный провайдер (<a>Hetzner Cloud</a>) теперь предлагает частные сети, он все равно рекомендует шифровать трафик для конфиденциальных данных. В VPN ноды настроены как linstor-master1, linstor-master2 и linstor-master3 с IP 192.168.37.1, 192.168.37.2 и 192.168.37.3 соответственно. Инструкции, понятное дело, нужно адаптировать к вашей системе.Сначала установим заголовки ядра, потому что репликация DRBD основана на модуле ядра, который должен быть создан на всех нодах:

6 <blockquote>apt-get install linux-headers-$(uname -r)</blockquote>Потом добавим репозиторий ppa:<blockquote>add-apt-repository ppa:linbit/linbit-drbd9-stack</blockquote><blockquote>apt-get update</blockquote>На всех нодах установим эти пакеты:<blockquote>apt install drbd-utils drbd-dkms lvm2</blockquote>Загрузим модуль ядра DRBD:<blockquote>modprobe drbd</blockquote>Проверим, что он точно загрузился:<blockquote>lsmod | grep -i drbd</blockquote>Убедимся, что он автоматически загружается при запуске:<blockquote>echo drbd > /etc/modules-load.d/drbd.conf</blockquote>Кластер Linstor состоит из одного активного контроллера, который управляет всей информацией о кластере, и спутников - нод, которые предоставляют хранилище. На ноде, которая будет контроллером, выполним команду:<blockquote>apt install linstor-controller linstor-satellite linstor-client</blockquote>Эта команда делает контроллер еще и спутником. В моем случае контроллером был linstor-master1. Чтобы сразу запустить контроллер и включить его автоматический запуск при загрузке, выполним команду:<blockquote>systemctl enable --now linstor-controller</blockquote><blockquote>systemctl start linstor-controller</blockquote>На оставшихся нодах-спутниках установим следующие пакеты:<blockquote>apt install linstor-satellite linstor-client</blockquote>Запустим спутник и сделаем так, чтобы он запускался при загрузке:<blockquote>systemctl enable --now linstor-satellite</blockquote><blockquote>systemctl start linstor-satellite</blockquote>Теперь можно добавить к контролеру спутники, включая саму эту ноду:<blockquote>linstor node create linstor-master1 192.168.37.1</blockquote><blockquote>linstor node create linstor-master2 192.168.37.2</blockquote><blockquote>linstor node create linstor-master3 192.168.37.3</blockquote>Подождем пять секунд и убедимся, что ноды онлайн:<blockquote>linstor node list</blockquote>Получится что-то вроде этого:Теперь нужно настроить хранилище. Linstor работает с LVM или ZFS, чтобы управлять хранилищем. Не знаю, в чем разница, но я больше знаком с LVM, его и возьму.Сначала подготовим физический диск или диски на каждом узле. В моем случае это /dev/sdb:

7 <blockquote>pvcreate /dev/sdb</blockquote>Создадим группу томов:<blockquote>vgcreate vg /dev/sdb</blockquote>Я назову группу "vg", а вы - как хотите.Теперь создадим "тонкий" пул для thin provisioning (то есть возможности создавать тома больше доступного места, чтобы потом расширять хранилище по необходимости) и снапшотов:

8 <blockquote>lvcreate -l 100%FREE --thinpool vg/lvmthinpool</blockquote>Эта команда создает логический том, который занимает весь диск.Пора создать пул хранилища на каждой ноде, так что на контроллере выполняем команду:

9 <blockquote>linstor storage-pool create lvmthin linstor-master1 linstor-pool vg/lvmthinpool</blockquote><blockquote>linstor storage-pool create lvmthin linstor-master2 linstor-pool vg/lvmthinpool</blockquote><blockquote>linstor storage-pool create lvmthin linstor-master3 linstor-pool vg/lvmthinpool</blockquote>Я назову пул "linstor-pool". Убедимся, что пул создан:<blockquote>linstor storage-pool list</blockquote>Получится что-то вроде этого:Основная настройка Linstor готова.<h2>Kubernetes</h2>

10 Чтобы Kubernetes динамически подготавливал тома, нужно установить плагин CSI и создать класс хранилища. На момент написания поста последняя версия была 0.7.0. <a>Узнайте</a>, не появилось ли новых.Выполняем установку этой командой:

11 <blockquote>TAG=v0.7.0</blockquote><blockquote>CONTROLLER_IP=192.168.37.1</blockquote><blockquote>curl https://raw.githubusercontent.com/LINBIT/linstor-csi/$TAG/examples/k8s/deploy/linstor-csi-1.14.yaml | sed "s/linstor-controller.example.com/$CONTROLLER_IP/g" | kubectl apply -f -</blockquote>Вместо TAG и CONTROLLER_IP укажите свои значения. Ждем, пока поды не заработают:<blockquote>watch kubectl -n kube-system get all</blockquote>Наконец, устанавливаем класс хранилища:<blockquote>REPLICAS=3</blockquote><blockquote>cat <<EOF | kubectl apply -f -</blockquote><blockquote>apiVersion: storage.k8s.io/v1</blockquote><blockquote>kind: StorageClass</blockquote><blockquote>metadata:</blockquote><blockquote> name: linstor</blockquote><blockquote>provisioner: linstor.csi.linbit.com</blockquote><blockquote>parameters:</blockquote><blockquote> autoPlace: "$REPLICAS"</blockquote><blockquote> storagePool: "linstor-pool"</blockquote><blockquote>EOF</blockquote>Указываем число реплик по числу нод. autoPlace гарантирует, что тома будут автоматически размещаться и распределяться по нодам/пулам.Наконец, делаем pvc и проверяем, что подготовка работает:

12 <blockquote>cat <<EOF | kubectl apply -f -</blockquote><blockquote>apiVersion: v1</blockquote><blockquote>kind: PersistentVolumeClaim</blockquote><blockquote>metadata:</blockquote><blockquote> name: test-pvc</blockquote><blockquote>spec:</blockquote><blockquote> storageClassName: linstor</blockquote><blockquote> accessModes:</blockquote><blockquote> - ReadWriteOnce</blockquote><blockquote> resources:</blockquote><blockquote> requests:</blockquote><blockquote> storage: 1Gi</blockquote><blockquote>EOF</blockquote><blockquote>kubectl get pvc</blockquote>Если все нормально, через несколько секунд мы увидим, что pvc привязан (bound):<blockquote>NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE</blockquote><blockquote>test-pvc Bound pvc-af6991ee-b922-11e9-bbca-9600002d2434 1Gi RWO linstor 10s</blockquote>Проверим, как дела на контроллере в Linstor:<blockquote>linstor volume list</blockquote>Получится что-то вроде этого:Заодно уже прогоним простой бенчмарк и посмотрим на производительность, создав pvc и задание:<blockquote>cat <<EOF | kubectl apply -f -</blockquote><blockquote>kind: PersistentVolumeClaim</blockquote><blockquote>apiVersion: v1</blockquote><blockquote>metadata:</blockquote><blockquote> name: dbench-linstor</blockquote><blockquote>spec:</blockquote><blockquote> storageClassName: linstor</blockquote><blockquote> accessModes:</blockquote><blockquote> - ReadWriteOnce</blockquote><blockquote> resources:</blockquote><blockquote> requests:</blockquote><blockquote> storage: 5Gi</blockquote><blockquote>---</blockquote><blockquote>apiVersion: batch/v1</blockquote><blockquote>kind: Job</blockquote><blockquote>metadata:</blockquote><blockquote> name: dbench-linstor</blockquote><blockquote>spec:</blockquote><blockquote> template:</blockquote><blockquote> spec:</blockquote><blockquote> containers:</blockquote><blockquote> - name: dbench</blockquote><blockquote> image: sotoaster/dbench:latest</blockquote><blockquote> imagePullPolicy: IfNotPresent</blockquote><blockquote> env:</blockquote><blockquote> - name: DBENCH_MOUNTPOINT</blockquote><blockquote> value: /data</blockquote><blockquote> - name: FIO_SIZE</blockquote><blockquote> value: 1G</blockquote><blockquote> volumeMounts:</blockquote><blockquote> - name: dbench-pv</blockquote><blockquote> mountPath: /data</blockquote><blockquote> restartPolicy: Never</blockquote><blockquote> volumes:</blockquote><blockquote> - name: dbench-pv</blockquote><blockquote> persistentVolumeClaim:</blockquote><blockquote> claimName: dbench-linstor</blockquote><blockquote> backoffLimit: 4</blockquote><blockquote>EOF</blockquote>Подождем готовности пода задания, а потом проверим логи:<blockquote>kubectl logs -f $(kubectl get pods | awk '/dbench/ {print $1;exit}')</blockquote>В итоге получится что-то вроде этого:<blockquote>==================</blockquote><blockquote>= Dbench Summary =</blockquote><blockquote>==================</blockquote><blockquote>Random Read/Write IOPS: 7495/4468. BW: 300MiB/s / 68.4MiB/s</blockquote><blockquote>Average Latency (usec) Read/Write: 945.99/</blockquote><blockquote>Sequential Read/Write: 301MiB/s / 62.6MiB/s</blockquote><blockquote>Mixed Random Read/Write IOPS: 7214/2401</blockquote>В моем случае все показатели идентичны тестированию диска напрямую, кроме скорости записи - она ниже из-за репликации и VPN-шифрования. Иначе бы и эти цифры совпали. У Linstor и правда нет издержек, и это круто.<h2>Заключение</h2>

13 Настраивать Linstor, может, и посложнее, чем применить пару yaml, как у конкурентов, зато это совсем не сложно и можно автоматизировать с помощью Ansible или чего-то похожего. Пока увидел только одну проблему, но и она исправлена. Надеюсь, других не найду. Я по-прежнему мечтаю использовать самоуправляемый Kubernetes вместо Heroku. Надеюсь, этот пост показался вам полезным и сэкономил время.