Создание группы ресурсов и настройка книг ресурсов#
Настройте группы ресурсов#
Совет
Здесь конфигурационный ресурс будет формироваться при помощи мастеров утилиты nscli.
Вы можете сформировать его самостоятельно без использования утилиты. Подробнее читайте здесь.
Создайте конфигурационный ресурс и группу ресурсов в нем следующей командой:
./configmgr.sh configure_resgroup --config-path config.yaml --resgroup gs-cluster-1
Настройка группы ресурсов: gs-cluster-1 ======================================= Введите имя проекта (контура): Введите timezone подов:Europe/Moscow Введите поисковые домены для resolv.conf (если их несколько, вводите через пробел): Введите url базы данных:jdbc:postgresql://host:5432/database Введите alias базы данных:db_alias Введите имя секрета для пользователя БД:db-user-secret Введите имя секрета basic-auth для настройки обязательной авторизации в Prometheus или пропустите для работы без авторизации:prometheus-admin Укажите версию Java:21 Включить горячие обновления?[да,нет]:нет Осушать кластер перед запуском обновления?[да,нет]:да Включить обновление при помощи ресурса Kubernetes типа Job?[да,нет]:да Укажите размер кучи Java (Xmx) для Job обновления:3500M Введите запрос CPU для globalserver:2 Введите запрос MEMORY для globalserver:4G Введите лимиты CPU для globalserver:2 Введите лимиты MEMORY для globalserver:4G Введите запрос CPU для systemagent:1 Введите запрос MEMORY для systemagent:500M Введите лимиты CPU для systemagent:1 Введите лимиты MEMORY для systemagent:1G Введите адрес к дополнительному GossipRouter или пропустите поле: Введите тип прикладного хранилища:nfs Введите адрес сервера(server):10.10.0.1 Введите путь(path):/export Дополнительно отсылать метрики во внешнюю систему[да,нет]:нет Группа ресурсов настроена! Следующие действия: - Добавьте книгу ресурсов: `./configmgr.sh configure_resbook --config config.yaml --resgroup gs-cluster-1 --resbook [имя книги ресурсов] --classname [класс книги ресурсов]` - Список классов ресурсов можно получить при помощи команды `./configmgr.sh show_resbook_classes` - Список групп ресурсов можно получить при помощи команды `./configmgr.sh list_resgroups --config config.yaml` - Удалить группу ресурсов: `./configmgr.sh remove_resgroup --config config.yaml --resgroup gs-cluster-1`
Настройка книг ресурсов#
Создайте книгу ресурсов
global-server-excl, описывающую эксклюзивный под с сервером приложений:Внимание
Не рекомендуется занижать
requests memory(например, до 4Gi) на prod контурах для excl и share подов. Планирование в Kubernetes выполняется поrequests, из-за чего несколько ресурсоёмких подов могут быть размещены на одной ноде при наличии свободных, что под нагрузкой приводит к рестартам/эвиктам из-за дефицита RAM на ноде. Рекомендуется задаватьrequests.memoryблизким к-Xmx, аlimits.memory- на уровнеXmx + ~20%для покрытия накладных расходов JVM../configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook global-server-excl --classname global_server_excl
Настройка книги ресурсов: global-server-excl (класс global_server_excl) ======================================================================= Введите внешний ip(external_ip): Введите максимальный размер кучи Java (java -Xmx):3500M Введите запрос CPU для globalserver:1 Введите запрос MEMORY для globalserver:4G Введите лимиты CPU для globalserver:2 Введите лимиты MEMORY для globalserver:4G Введите запрос CPU для systemagent:1 Введите запрос MEMORY для systemagent:500M Введите лимиты CPU для systemagent:1 Введите лимиты MEMORY для systemagent:1G Дополнительно отсылать метрики во внешнюю систему[да,нет]:нет Введите имя секрета для администратора:gs-admin-auth Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config config.yaml --resgroup gs-cluster-1 --resbook global-server-excl`
Создайте книгу ресурсов
global-server-share, описывающую группу подов с сервером приложений:./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook global-server-share --classname global_server_share
Настройка книги ресурсов: global-server-share (класс global_server_share) ========================================================================= Введите количество экземпляров:2 Введите длительность вежливого отключения в секундах (0 для немедленного выключения):0 Введите максимальный размер кучи Java (java -Xmx):3500M Введите запрос CPU для globalserver:1 Введите запрос MEMORY для globalserver:4G Введите лимиты CPU для globalserver:2 Введите лимиты MEMORY для globalserver:4G Введите запрос CPU для systemagent:1 Введите запрос MEMORY для systemagent:500M Введите лимиты CPU для systemagent:1 Введите лимиты MEMORY для systemagent:1G Дополнительно отсылать метрики во внешнюю систему[да,нет]:нет Введите имя секрета для администратора:gs-admin-auth Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config config.yaml --resgroup gs-cluster-1 --resbook global-server-share`
Создайте книгу ресурсов
global-scheduler, описывающую планировщик задач:./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook global-scheduler --classname global_scheduler
Настройка книги ресурсов: global-scheduler (класс global_scheduler) =================================================================== Введите максимальный размер кучи Java (java -Xmx):800M Введите запрос CPU для globalscheduler:1 Введите запрос MEMORY для globalscheduler:4G Введите лимиты CPU для globalscheduler:2 Введите лимиты MEMORY для globalscheduler:4G Введите запрос CPU для systemagent:1 Введите запрос MEMORY для systemagent:500M Введите лимиты CPU для systemagent:1 Введите лимиты MEMORY для systemagent:1G Дополнительно отсылать метрики во внешнюю систему[да,нет]:нет Введите имя секрета с токеном планировщика:scheduler-token-secret Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config config.yaml --resgroup gs-cluster-1 --resbook global-scheduler`
Создайте книгу ресурсов
haproxy, описывающую балансирощик:./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook haproxy --classname haproxy
Настройка книги ресурсов: haproxy (класс haproxy) ================================================= Использовать Ingress?[да,нет]:да Введите класс Ingress:nginx Введите хост Ingress: Введите дополнительную аннотацию Ingress (или пропустите поле): Введите имя секрета basic-auth для авторизации статистики:secret-haproxy-auth Введите имя tls секрета для доступа по https: Введите запрос CPU для systemagent:1 Введите запрос MEMORY для systemagent:500M Введите лимиты CPU для systemagent:1 Введите лимиты MEMORY для systemagent:1G Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config config.yaml --resgroup gs-cluster-1 --resbook haproxy`
Создайте книгу ресурсов
grafana, описывающую внутренний стек мониторинга:Внимание
Данная книга ресурсов требует адрес сервиса kube-prometheus-stack. Он задаётся в формате „{{service_name}}.{{namespace}}.svc.cluster.local“. Подробнее о сервисе
Для этого:
Найдите неймспейс
kube-prometheus-stack-а(обычно monitoring, prometheus-monitoring):kubectl get namespaces
Найдите имя сервиса prometheus (сервис с портами 9090:web/TCP,8080:reloader-web/TCP, обычно prometheus-k8s, prometheus-prometheus):
kubectl get services -n {{namespace}}
Создайте книгу ресурсов:
./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook grafana --classname grafana
Настройка книги ресурсов: grafana (класс grafana) ================================================= Использовать Ingress?[да,нет]:нет Введите внешний ip(external_ip):10.10.0.1 Введите класс хранилища: Введите размер хранилища: Введите адрес сервиса kube-prometheus-stack:prometheus-k8s.monitoring.svc.cluster.local Введите интервал запроса метрик из kube-prometheus-stack (в секундах):30 Введите максимальный размер данных, получаемых из kube-prometheus-stack за запрос (в мегабайтах):50 Введите имя секрета с аккаунтом администратора Grafana:grafana-admin Введите запрос CPU для grafana:1 Введите запрос MEMORY для grafana:500M Введите лимиты CPU для grafana:2 Введите лимиты MEMORY для grafana:1Gi Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config config.yaml --resgroup gs-cluster-1 --resbook grafana`
Создайте книгу ресурсов
rabbitmq, описывающую встроенный экземпляр RabbitMQ:./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook rabbitmq --classname rabbitmq
Настройка книги ресурсов: rabbitmq (класс rabbitmq) =================================================== Введите название секрета для доступа к RabbitMQ:rabbitmq-global Введите название секрета для доступа к консоли RabbitMQ:rabbitmq-admin Введите название виртуального хоста RabbitMQ:globalrabbitmq Введите внешний порт:15672 Использовать Ingress?[да,нет]:нет Введите внешний ip(external_ip): Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config config.yaml --resgroup gs-cluster-1 --resbook rabbitmq`
(Опционально) Создайте книгу ресурсов
queuewalker, описывающий обходчик очередей:./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook queuewalker --classname queuewalker
Настройка книги ресурсов: queuewalker (класс queuewalker) ========================================================= Введите запрос CPU для queuewalker:1 Введите запрос MEMORY для queuewalker:512M Введите лимиты CPU для queuewalker:1 Введите лимиты MEMORY для queuewalker:1G Количество реплик (replicas):1 Секрет обходчика. Если оставить пустым, будет использоваться секрет шедулера (token_secret): Код обходчика очередей, по которому отправляются запросы к БД (code_worker):default Частота опроса БД в миллисекундах для получения новых очередей (reader_timeout_ms):1000 Таймаут запроса в миллисекундах (request_timeout_ms):10000 Количество потоков, отправляющих задачи на сервер (sender_threads_worker):10 Пользователь, от имени которого выполняются JEXL-скрипты (exec_user):admin Максимальное количество неуспешных попыток выполнить очередь (queue_max_attempts):5 Путь в URL, на который отправляются задачи (url_path):app/sys/rest/ss/pkg/Btk_JexlGatePkg/execute Максимальный размер кучи (Xmx) для обходчика очередей (queuewalker_xmx):512m Уровень подробности логов (log_level):INFO Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config c.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config c.yaml --resgroup gs-cluster-1 --resbook queuewalker`
(Опционально) Создайте книгу ресурсов
img2doc:./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook img2doc --classname img2doc
Настройка книги ресурсов: img2doc (класс img2doc) =================================================== Введите порт:7000 Введите кол-во реплик:1 Введите запрос CPU для img2doc:1 Введите запрос MEMORY для img2doc:500M Введите лимиты CPU для img2doc:2 Введите лимиты MEMORY для img2doc:1Gi Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config config.yaml --resgroup gs-cluster-1 --resbook img2doc`
(Опционально) Создайте книгу ресурсов
ctk-restapi:./configmgr.sh configure_resbook --config-path config.yaml --resgroup gs-cluster-1 --resbook ctk-restapi --classname ctk-restapi
Настройка книги ресурсов: ctk-restapi (класс ctk-restapi) ========================================================= Использовать Ingress?[да,нет]:да Введите класс Ingress:nginx Введите хост Ingress:ctk-rest.api Введите дополнительную аннотацию Ingress (или пропустите поле): Порт API:8000 Уровень логирования (DEBUG, INFO, WARNING, ERROR, CRITICAL):INFO Имя секрета с ключами и паролями ctk-restapi:ctk-restapi-secret Введите запрос CPU для ctk-restapi:500m Введите запрос MEMORY для ctk-restapi:256Mi Введите лимиты CPU для ctk-restapi:1000m Введите лимиты MEMORY для ctk-restapi:512Mi Автоматически добавить все сервисы из других книг ресурсов?[да,нет]:да Автоматически добавлено 6 сервисов из других книг ресурсов. Параметры конфигурации REST API =============================== Окружение приложения (production or development or test):development JWT алгоритм:HS256 Время истечения токена (минут):15 Лимит запросов входа в минуту:5 Лимит API запросов в минуту:10 Включить аудит логирование[да,нет]:да Максимальная длина причины перезагрузки:500 CORS источники (через запятую):* CORS разрешить учетные данные[да,нет]:нет CORS методы (через запятую):GET, POST CORS заголовки (через запятую):Content-Type, Authorization Kubernetes сервисы ================== Существующие сервисы: 1. global-scheduler 2. global-server-excl 3. global-server-share 4. haproxy 5. grafana 6. rabbitmq 7. ctk-restapi Действие: (a)dd, (e)dit, (d)elete, (q)uit:e Имя сервиса для редактирования:haproxy Редактирование сервиса 'haproxy' K8s сервис:gs-cluster-1-haproxy Селектор:app=gs-cluster-1-haproxy ✓ Сервис 'haproxy' обновлён Существующие сервисы: 1. global-scheduler 2. global-server-excl 3. global-server-share 4. haproxy 5. grafana 6. rabbitmq 7. ctk-restapi Действие: (a)dd, (e)dit, (d)elete, (q)uit:q Пользователи ============ Форматы: service:all, service:view, service:restart, service:NAME:view, service:NAME:restart Существующие пользователи: 1. admin Действие: (a)dd, (e)dit, (d)elete, (q)uit:q Книга ресурсов настроена! Следующие действия: - Список книг ресурсов можно получить при помощи команды `./configmgr.sh list_resbooks --config ../config.yaml --resgroup gs-cluster-1` - Удалить книгу ресурсов: `./configmgr.sh remove_resbook --config ../config.yaml --resgroup gs-cluster-1 --resbook ctk-restapi`