Мониторинг системы

• Обзор мониторинга Global
• Квоты сервера
  • Примеры конфигурации
  • server - ServerQuota
    • maxOldGenMemory
    • maxEdenSpaceMemory
    • raiseError
  • session - SessionQuota
    • maxUiCellCount
    • maxUiRowCount
    • maxFormCount
    • raiseError
  • thread - ThreadQuota
    • maxJdbcConnectionCount
  • transaction - TransactionQuota
    • maxTxCellCount
    • maxTxRowCount
    • raiseError
  • jdbc - JdbcQuota
    • enabled
    • maxTxCost
    • logTxCost
    • maxExecCost
    • logExecCost
    • pgCostRates
  • pgCostRates - PgCostRateConfig
• Пороги метрик
  • 1. HAProxy
  • 2. Поды серверов приложений (App Server Pods)
  • 3. Scheduler
  • 4. RabbitMQ
  • 5. Prometheus + Grafana + Loki
  • 6. Сервер БД (PostgreSQL)
  • 7. NFS
• Дашборды Grafana
  • Шкала оценки
  • Дашборд: System overview
  • Дашборд: Checklist
  • Дашборд: Database client connections
  • Дашборд: Client server RPC
  • Дашборд: HTTP Server
  • Дашборд: User operations
  • Дашборд: Operation traces
  • Дашборд: Global Server CPU workload
  • Дашборд: VM memory
  • Дашборд: Pod HDD read write rate
  • Дашборд: Pod network read write rate
  • Дашборд: Integration telemetry
  • Дашборд: Ungrouped meters
  • Дашборд: Logs
  • Дашборд: Haproxy Logs
  • Дашборд: HAProxy
• Standalone: сервер мониторинга
  • Общие сведения
    • Пример архитектуры серверов
  • Установка Prometheus
    • Общие сведения
    • Установка
    • Конфигурация
    • Веб-интерфейс
  • Установка Grafana
    • Установка
    • Доступ
  • Установка Loki
    • Загрузка и установка
    • Конфигурация
    • Запуск и автозагрузка
  • Установка Promtail
    • Загрузка и установка
    • Запуск и проверка
    • Конфигурация Promtail
  • Установка OpenTelemetry Collector
    • Настройка Otelcol сервиса
    • Настройка сервера приложений
  • Настройка HAProxy
  • Установка Node Exporter
  • Установка Postgres Exporter
  • Установка pgSCV
  • Настройка Global3 и GlobalScheduler
  • Добавление дашбордов в Grafana
    • Подключение источников данных
    • Импорт готовых дашбордов
    • Обзор основных метрик
  • Добавление alering в Grafana
    • Global Logs (Loki)
      • Error flood(Loki)
      • Deadman (нет логов от сервиса)
    • HAProxy
      • Отклонённые запросы
      • Бэкенд не запущен
    • Node Exporter / System
      • Высокое использование CPU
      • Нехватка свободной памяти
      • Нехватка дискового пространства
    • PgBouncer (pgSCV)
      • PgBouncer недоступен
    • PostgreSQL
      • PostgreSQL недоступен
      • Высокая доля откатов
    • System overview
      • Память VM (Committed превышает порог)
      • Активные сессии приложения
  • Настройка Firewall (UFW)
    • Установка и запуск
    • Базовая политика безопасности
    • Разрешённые порты
      • Сервер мониторинга
      • Сервер СУБД
      • Сервер приложений
    • Проверка состояния
• Kubernetes: телеметрия кластера
  • Логи
    • Внешний инстанс Loki
    • Отправка логов из Logback
  • Метрики
    • kube-prometheus-stack в собственном кластере k8s
    • kube-prometheus-stack в VK Cloud
    • Настройка внешнего Prometheus для получения метрик по pull-модели
    • Настройка отправки метрик во внешнюю TSDB по push-модели
  • Трейсы пользовательских операций
    • Настройка отправки трейсов во внешний инстанс Tempo
  • Профили
• Kubernetes: метрики кластера
  • Метрики агентов
  • Метрики планировщика заданий
• Диагностика нагрузки: дашборды, логи и Pyroscope
  • Общий порядок действий
  • Выявление аномалии по дашбордам мониторинга
  • Анализ журналов
  • Анализ проблемы с помощью профилирования
  • Определение проблемного участка через Flame Graph
  • Вывод по результатам анализа
  • Состав информации для передачи разработчикам