GlobalServer кластер в kubernetes

• Описание
  • Структура кластера Global ERP
• Установка
  • Подготовка рабочего места
  • Шаг 1. Скачайте nscli
  • Шаг 2. Установите контроллер nsctl
    • Автоматизированная установка
    • Установка с ручной подготовкой окружения
  • Шаг 3. Создайте секреты
    • Создание секретов через Helm-чарт
    • Создание секретов вручную
  • Шаг 4. Настройте группы ресурсов
  • Шаг 5. Подготовьте комплект приложений
  • Шаг 6. Подготовьте комплект группы
  • Шаг 7. Примените конфигурацию при помощи kubectl
  • Шаг 8. Запустите обновление базы данных
  • Следующие шаги
• Миграция с предыдущих версий gs-ctk
• Настройки конфигурации
  • Комплект группы (appkit) и версия схемы
• Требования к нарезанию машин в кластере
  • База данных
    • Ресурсы базы данных
    • Отказоустойчивость PostgreSQL
    • Резервное копирование
  • Серверы приложений
    • CPU
    • RAM
    • Диск
    • Пример расчета серверов приложений на 500 одновременных пользователей
  • Дополнения по конкретным микросервисам и компонентам
    • Файловое хранилище
    • Мониторинг и логирование
    • Сеть
  • Общий пример расчета на 500 одновременных пользователей
• Параметры чарта (values.yaml)
  • Основные настройки развёртывания
  • Системное хранилище (systemVolume)
  • Управление секретами
  • Конфигурация группы ресурсов (helmResgroup)
• Хуки
  • Пример настройки хуков
• Обновление системы
  • Стандартное обновление
    • Вариант A. С использованием nscli
    • Вариант B. Без nscli (вручную)
  • Горячее обновление
    • Вариант A. Горячее обновление с использованием nscli
    • Вариант B. Горячее обновление без nscli (вручную)
  • Режимы обновления базы данных
  • Обновление кластерных утилит
• Отладка работы пода
• Использование с Ingress
  • HTTP/HTTPS и TLS
  • Таймауты
• Соединение между серверами (JGroups)
  • Настройка JGroups DNS
  • Настройка GossipRouter
• Отладка прикладного решения
  • Требования
  • Инструкция по отладке
    • Запуск отладчика
    • Управление отладчиками
    • Подключение к отладчику
  • Устранение проблем
    • Проблема с аутентификацией
  • Безопасность
• Перенесено: мониторинг Kubernetes
• Перенесено: метрики Kubernetes
• Развертывание кластера одним чартом
  • О подходе
  • Инструкция по подготовке и развёртыванию
    • Шаг 1. Подготовьте values.yaml
    • Шаг 2. Создайте репозиторий с необходимыми файлами
    • Шаг 3. Управление секретами
    • Шаг 4. Настройте пайплайн (файл .gitlab-ci.yml)
  • Дополнительные советы
• Отказоустойчивость и аварийное восстановление Global ERP
  • Термины и принципы
    • Классификация аварийных ситуаций
    • Роли и зоны ответственности
  • Архитектура
    • Базовый вариант
    • Вариант DR Active–Passive
    • Вариант DR Active–Active
    • Гибридный вариант (два основных + третий резервный)
  • Требования к ключевым компонентам
    • Kubernetes
    • Load Balancer
    • Сеть (CNI + внешняя надёжность)
    • Хранилище и управление дампами
    • Мониторинг - метрики
    • PostgreSQL - репликации и кластерные решения
    • Репозиторий артефактов и CI/CD
  • Стратегии деплоя
  • Резервное копирование и верификация
    • Состав резервируемых компонентов
    • Регламент backup/restore
    • Jump Host и доступ
    • Верификация бекапов
    • Автотест в CI
    • Test Restore
  • Откат изменений
  • Сценарии восстановления
    • Простые отказы (зелёная тревога)
    • Отказы средней значимости (жёлтая тревога)
    • Катастрофические отказы (красная тревога)
  • Тестирование процедур аварийного восстановления
  • Рекомендации по оформлению runbook и DRP
• Добавление NFS-томов в Global Server
  • Настройка основного тома
  • Настройка дополнительных томов
  • Правило формирования пути в системе
  • Настройка файлового хранилища по протоколу S3
    • Основные параметры подключения
    • Параметры аутентификации
  • Настройка в интерфейсе Global Server
• Администрирование кеша образов в Kubernetes
  • 1. CRI-движки: обзор
    • Какой движок используется в нашем кластере
  • 2. Хранение образов по движкам
    • 2.1. containerd
    • 2.2. CRI-O
    • 2.3. Docker Engine
  • 3. Kubelet: управление кешем (для всех движков)
    • Настройка GC
    • Проверка состояния GC
  • 4. Пример: переполнение диска
    • Симптомы
    • Причина
    • Масштаб проблемы
      • Сравнение containerd, CRI-O, Docker
      • Размер образов gs-ctk в разных движках
  • 5. Административные шаги
    • 5.1. Экстренная очистка (при инциденте)
      • containerd
      • CRI-O
      • Docker
    • 5.2. Профилактическая очистка
    • 5.3. Команды для проверки хранилища
      • Проверка через kubectl debug
  • 6. Оптимизация дискового пространства
    • containerd
    • CRI-O
    • Docker
    • Kubelet (общее)
• Решения частых проблем и ошибок
  • Изменения в конфигурационном ресурсе не применились
  • Изменения в комплекте приложений (applib, globalserver, profile) не применились
  • Во время обновления БД возникла ошибка «Не получилось дождаться завершения процесса»
  • Задачи планировщика не выполняются
  • В «Мониторе сессий» не видно сессий с других серверов приложений
  • В развернутой средствами gs-ctk Grafana нет метрик
• Полезные команды и параметры
  • Пересчитать хешей комплекта приложений
  • Загрузить комплект приложений
  • Обновить пути и хеши комплекта приложений в конфигурационном ресурсе
  • Включить/выключить группу/книгу ресурсов
    • Группа ресурсов
    • Книга ресурсов
  • Остановить/запустить/осушить комплект приложений
  • Включить/выключить режим отладки
  • Перезагрузить кластер
• Снятие дампов памяти
  • Использование в nscli
  • Использование в поде
• Развертывание с использованием gs-ctk 4
  • Описание
    • Структура кластера Global ERP
  • Установка
    • Настройка узла администрирования (jump host)
      • Установка необходимых пакетов
      • Настройка работы с docker образами
        • Insecure Docker Registry
      • Настройка авторизации kubernetes кластера
      • Требования к ос для nscli
      • Требование к железу для запуска nscli
      • Установка утилиты Nscli
    • Настройка рабочего пространства в kubernetes
    • Подготовка комплекта приложений appkit
    • Подготовка комплекта группы groupkit
    • Работа с постоянными томами
    • Создание секретов
    • Сервис аккаунт для получения метрик cAdvisor
    • Настройка параметров кластера
    • Включение книг и групп ресурсов
    • Установка схемы базы данных
    • Получение и установка лицензии
    • Что дальше?
  • Неуправляемый режим
    • Сравнение управляемого и неуправляемого режима
    • Развертывание в неуправляемом режиме
    • Шифрование настроек учетной записи от реестра образов Docker
    • Перенос конфигурации
    • Обновление комплекта приложений
    • Обновление на новую версию gs-ctk
  • Отладка работы пода
  • Администрирование системы
    • Запуск и остановка комплекта приложений
      • Остановка комплекта
      • Запуск комплекта
    • Обновление комплекта группы
    • Обновление комплекта приложений
    • Логи кластера
  • Хуки
    • Управление хуками книг в управляемом режиме
      • Описание аргументов
      • Добавить хук
      • Удалить хук
      • Посмотреть список хуков
    • Управление хуками книг в неуправляемом режиме
      • Описание аргументов
      • Добавить хук
      • Удалить хук
      • Посмотреть список хуков
  • Экспорт конфигурации. Восстановление кластера
    • Экспорт
    • Импорт
    • Пример восстановления кластера
  • Использование с Ingress
    • HTTP/HTTPS и TLS
    • Таймауты
  • Соединение между серверами (JGroups)
    • Настройка JGroups DNS
    • Настройка GossipRouter
  • Обновление
    • Обновление комплекта приложения
    • Обновление кластерных утилит
  • Частичное изменение настроек
    • Пример