Проектная работа по DevOps: прототип инфраструктурной конфигурации
2026-03-10 14:50 Diff
https://otus.ru/nest/post/1408/

Теги: devops, docker, terraform, инфраструктура, девопс, kubernetes, gcp, ci/cd-система, travis-ci, конфигурация

В конце курса «DevOps практики и инструменты» студентов ждёт выполнение проекта. Это самостоятельная работа, необходимая для закрепления полученных знаний. Предлагаем вашему вниманию проект Александра Баркова, одного из лучших выпускников курса.

В своей работе Александр реализовал прототип инфраструктурной конфигурации, обеспечивающ��й работу и CI/CD тестового приложения. Тестовое приложение включало в себя бэкенд в виде PHP-приложения (Symfony), фронтенд (Vue.js), базу данных (Postgres). Стэк был выбран максимально близким к тому что использовался в повседневной работе, с целью обкатать инфраструктурную конфигурацию и набраться опыта, применить полученные во время обучения знания и практические наработки.

Проектная работа реализовывалась с прицелом на то, чтобы потом максимально использовать её результат на основном проекте на работе – что и было успешно сделано после окончания курса.

Давайте рассмотрим технические особенности реализации проекта.

Описание планируемых компонент

1.Развёртывание кластера Kubernetes: - с помощью kubespray; - с помощью Rancher Kubernetes Engine (RKE).

2.Kuberetes-кластер, состоящий из следующих компонент: 1) Kubernetes Dashboard; 2) Cert-manager; 3) Nginx ingress controller; 4) NFS client provisioner; 5) Gitlab: - GitLab Runner; - GitLab Registry; - Minio; 6) мониторинг: - Prometheus; - Grafana; 7) логирование (EFK): - Elasticsearch; - Fluentd; - Kibana; 8) Postgres Operator (zalando); - мессенджер Mattermost; - панель управления Rancher.

3.Микросервисное приложение на стэке PHP (фрэймворк Symfony), JavaScript (Vue.js) и PostgreSQL.

Порядок развёртывания кластера и компонент

Развёртывание кластера с помощью kubespray

  • Получить инфраструктурный репозиторий:
git clone git@github.com:bars83/symfony-k8s-boilerplate.git cd symfony-k8s-boilerplate
  • В файл ./infra/kubespray-cluster-vars/inventory.ini нужно прописать доступные ноды. В проекте используется 5 ВМ, запущенных в GCP, каждая из ВМ под управлением Ubuntu 18.04 LTS со статическим внутренним IP-адресом. На одной из ВМ так же добавлен статический внешний IP-адрес. Между нодами по внутренней сети на фаерволе открыты все порты. В идеале ноды в облаке должны создаваться с помощью Terraform, но это осталось за рамками проектной работы.
  • Настройка кластера (!подразумевается наличие ключей appuser на клиенте, также эти ключи должны быть прописаниы на виртуальных машинах!):
cd infra/kubespray && ansible-playbook --flush-cache -i ../kubespray-cluster-vars/inventory.ini --become cluster.yml --private-key=~/.ssh/appuser
  • Дождаться завершения (~40 минут для кластера из 5 нод).
  • Скопировать конфиг с конекстом для работы с кластером через kubectl:
cp infra/kubespray-cluster-vars/artifacts/admin.conf ~/.kube/config

Развёртывание кластера с помощью RKE

  • Получить инфраструктурный репозиторий:
git clone git@github.com:bars83/symfony-k8s-boilerplate.git cd symfony-k8s-boilerplate
  • В файл infra/rancher-cluster/rancher-cluster.yml прописать доступные ноды.
  • На нодах должен быть предустановлен docker engine, пользователь (appuser в рамках работы) должен быть добавлен в группу docker.
  • Установить CLI к себе на клиента (в примере клиент для Linux/amd64):
wget https://github.com/rancher/rke/releases/download/v0.3.2/rke_linux-amd64 mv rke /usr/local/bin/rke
  • Развёртывание кластера:
rke up --config infra/rancher-cluster/rancher-cluster.yml

Настройка Helm

kubectl apply -f infra/rbac-tiller/rbac-config.yaml helm init --service-account tiller --upgrade

Настройка NFS для хранения persistent volume claims кластера

  • Настройка NFS сервера (в данном случае в GCP):
gcloud filestore instances create nfs-server \ --project=sylvan-flight-244217 \ --zone=us-central1-a \ --tier=STANDARD \ --file-share=name="vol1",capacity=1TB \ --network=name="default"
  • На каждой ВМ кластера установить NFS-клиент (лучше это сделать тоже с помощью ansible, но в рамках курсовой работы сделано руками... ):
sudo apt update && sudo apt install -y nfs-common
  • Установка NFS client provisioner:
helm install --name nfs-client-provisioner --namespace kube-system --set nfs.server=10.128.15.213 --set nfs.path=/mnt/disks/sdb/common --set storageClass.defaultClass=true stable/nfs-client-provisioner

Установка Nginx ingress controller

helm install --name nginx-ingress --namespace kube-system -f ./infra/k8s-ingress/custom_values.yaml stable/nginx-ingress
  • Т. к. у нас нет облачного балансировщика, то на ВМ с внешним адресом нужно установить nginx, и для него применить конфигурацию из этого репозитория:
scp ./infra/nginx/nginx.conf 10.128.15.213:/home/appuser/nginx/ — это выполнять на клиенте sudo docker run -d --restart=unless-stopped -p 80:80 -p 443:443 -p 50022:50022 -v /home/appuser/nginx/nginx.conf:/etc/nginx/nginx.conf nginx:1.14 — это на ВМ с внешним адресом

Установка Cert manager для автоматического получения Letsencrypt-сертификатов

kubectl apply --validate=false -f https://raw.githubusercontent.com/jetstack/cert-manager/release-0.11/deploy/manifests/00-crds.yaml helm repo add jetstack https://charts.jetstack.io helm install --name cert-manager --namespace cert-manager jetstack/cert-manager kubectl apply -f infra/k8s-letsencrypt/letsencrypt.yaml

Установка Kubernetes Dashboard (требуется только в варианте с RKE, а в варианте с kubespray она уже установлена)

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml

Доступ к Kubernetes Dashboard

kubectl apply -f ./infra/dashboard-adminuser.yaml kubectl apply -f infra/dashboard-ingress.yaml kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}') — получение токена
  • панель доступна по ссылке https://dash.kubeplay.website токен для доступа — на предыдущем шаге.

Установка мессенджера Mattermost

  • helm repo add mattermost https://helm.mattermost.com
  • helm install --namespace mattermost --name mattermost -f ./mattermost/custom.yaml mattermost/mattermost-team-edition

Установка и настройка сервисов мониторинга и алертинга

  • helm install --namespace monitoring --name prometheus -f ./infra/k8s-monitoring/prom_custom.yaml stable/prometheus
  • helm install --namespace monitoring --name grafana -f ./infra/k8s-monitoring/grafana_custom.yaml stable/grafana
  • kubectl get secret --namespace monitoring grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo - пароль для доступа к Grafana
  • export POD_NAME=$(kubectl get pods --namespace monitoring -l "app=prometheus,component=server" -o jsonpath="{.items[0].metadata.name}"); kubectl --namespace monitoring port-forward $POD_NAME 9095:9090 - попасть на веб-интерфейс Prometheus'а можно через http://localhost:9095
  • Метрики для кластера:
git clone https://github.com/kubernetes-incubator/metrics-server.git ./infra/k8s-metrics cp ./infra/k8s-monitoring/metrics-server-deployment.yaml ./infra/k8s-metrics/deploy/1.8+/ — оригинальный манифест немного изменён для того, чтобы экспортер мог собирать метрики с эндпоинтов с самоподписанными сертификатами kubectl apply -f ./infra/k8s-metrics/deploy/1.8+

Postgres Operator (zalando/postgres-operator)

  • git clone https://github.com/zalando/postgres-operator ./infra/zalando
  • helm install --name zalando --namespace zalando ./infra/zalando/charts/postgres-operator

GitLab

  • helm repo add gitlab https://charts.gitlab.io && helm repo update
  • При установке через kubespray:
kubectl label nodes node3 gitlab-runner=true
  • helm fetch gitlab/gitlab --untar --untardir ./infra/gitlab
  • cp ./infra/gitlab/runner-custom-configmap.yaml ./infra/gitlab/gitlab/charts/gitlab-runner/templates/configmap.yaml — кастомный configmap, позволяющий пробрасывать хостовый /var/run/docker.sock в под с гитлаб-раннером, для доступа к кэшу образов
  • helm install --namespace gitlab --name gitlab -f ./infra/gitlab/custom_values.yaml ./infra/gitlab/gitlab
  • kubectl get secret -n gitlab gitlab-gitlab-initial-root-password -ojsonpath='{.data.password}' | base64 --decode ; echo — пароль для доступа к GitLab
  • echo 'access_key:';kubectl get secret -n gitlab gitlab-minio-secret -ojsonpath='{.data.accesskey}' | base64 --decode ; echo && echo 'secret_key:'; kubectl get secret -n gitlab gitlab-minio-secret -ojsonpath='{.data.secretkey}' | base64 --decode ; echo — доступ к minio.

Логгирование (EFK)

  • При установке через kubespray:
kubectl label nodes node3 elastichost=true for i in 1 2 3 4 5; do kubectl label nodes node${i} beta.kubernetes.io/fluentd-ds-ready=true; done
  • kubectl create ns logging
  • kubectl apply -f ./infra/efk/fluentd -n logging
  • helm repo add elastic https://helm.elastic.co
  • helm install --namespace logging --name elasticsearch -f ./infra/efk/elastic_custom_values.yaml elastic/elasticsearch
  • helm install --namespace logging --name kibana -f ./infra/efk/kibana_custom_values.yaml elastic/kibana

Панель управления Rancher Kubernetes Engine (для соответствующего варианта установки)

helm install --namespace cattle-system --name rancher -f ./infra/rancher-cluster/helm_custom.yaml ./infra/rancher-chart/rancher

Более подробно ознакомиться с особенностями реализации проекта вы можете по ссылке на GitHub.