Руководство по эффективной разработке

• Введение
  • Назначение
  • Полезные ссылки
• Оптимизация работы с БД
  • Целесообразность внешних ключей на регистровых таблицах
    • Введение
    • Внешние ключи на регистровых таблицах и их реальная цена
    • Почему внешний ключ всегда приводит к появлению индекса
    • Стоимость индексов при вставке данных
    • Анализ использования индексов
    • Сброс статистики и интерпретация данных
    • Ограничения статистики: bitmap-сканирования
    • Пример запроса для поиска кандидатов на удаление индексов
      • SQL-запрос
      • Как использовать результат
    • Генерация/отключение/удаление индексов и внешних ключей
      • Генерация индексов и внешних ключей
      • Отключение генерации внешних ключей для интеграции со сторонними системами
      • Отключение индексов и внешних ключей на ссылочных атрибутах
      • Рекомендации при создании регистровых таблиц
      • Удаление индексов и внешних ключей
      • Удаление внешнего ключа
      • Удаление индекса
      • Выводы
  • HOT-обновления в PostgreSQL и управление нагрузкой
    • Область применения
    • Как работает UPDATE в PostgreSQL
      • Ключевой факт
      • Почему так происходит
      • Иллюстрация обычного UPDATE
    • HOT: единственное исключение
      • Суть HOT
      • UPDATE в HOT-режиме
    • Когда HOT невозможен
      • Expression-индексы
      • Partial-индексы
      • Недостаток места на heap-странице
      • Триггеры, изменяющие индексируемые поля
    • Диагностика: поиск таблиц без HOT
      • Основной запрос
      • Интерпретация результатов
      • Косвенные признаки
    • Управление HOT: fillfactor таблицы
      • Что делает fillfactor
      • Рекомендуемые значения
      • Важное ограничение
    • Fillfactor индексов
      • Что это и зачем
      • Рекомендации
      • Итоги
• Ревью Кода Scala/SQL
  • Руководство по Ревью Кода Scala
    • Метаописания и Структура Классов
      • Именование классов
      • Именование атрибутов
      • Типы атрибутов
      • Соответствие БД и метаданных
      • Связи
      • Хранение и извлечение гибких структур данных
      • Отсутствие дубликатов
      • project.yaml
    • Конфигурация Модулей GSF
      • Структура каталогов
      • Зависимости
      • Конфигурации сборки/публикации
    • Использование стандартных компонентов GSF
      • Использование сервисов GSF
      • Кэширование и запросы
      • Логирование
    • Обработка Ошибок и Зависимости
      • Прикладные исключения
      • Объявление исключений
      • Логирование ошибок
      • Транзакции и зависимые задачи
    • Требования к Структуре Scala-Кода
      • Соглашения по стилю
      • D/A-паттерн кода
      • Null-типы GSF
    • Общие Принципы и Стиль Кода
      • Комментарии
      • Именование
      • Форматирование
      • Официальная документацию к API
    • Безопасность и Надёжность
      • Исключить использование null
      • Обработка пустых значений
      • Безопасный доступ к данным
      • Обработка всех сценариев
    • Производительность
      • Оптимизация работы с коллекциями
      • Читаемость при обработке данных
      • Изменяемые коллекции
      • Выбор эффективной коллекции
      • Выбор коллекции
      • Большие реестры
    • Работа с API и ROP
      • HTTP-пакеты
      • Файлы
      • Оптимизация расхода памяти
      • Загрузка ROP по gid
      • Поиск по коду
      • Надёжность получения данных
      • Использование source-generated конструкций
    • Работа с Базой Данных и SQL (Дополнения)
      • Вложенные циклы
      • Эффективное обновление кэша
      • Предотвращение конфликтов сессии
    • Архитектура и Дизайн
      • Эффективная инициализация полей
      • Читаемость кода установки
      • Изменение параметров
      • Новые параметры
      • Сложная логика в AVI
      • Scala-классы с компаньоном
    • Работа с Атрибутами и Полями (Дополнения)
      • Source-generated доступ
      • Безопасность на этапе компиляции
      • Хранимые поля в AVI
      • Корректность обновления данных
    • Строки и JSON
      • Интерполяция строк
      • Читаемость многострочных строк
      • Эффективная работа со строками
      • Выбор безопасных JSON-типов
      • Предотвращение несовместимости
    • Специфика UI: AVI и Списочные Отображения
      • Безопасное получение значений в списках
      • Поля с большим объёмом данных
      • Контроль сброса сессии
      • Корректная деактивация операций
      • Структурирование настроек выборки
    • Специфика UI: Кэширование, Логика и Настройки
      • Переходы состояний
      • Синхронизация данных с интерфейсом
      • Кастомные выборки
      • Идентификатор в результатах выборки
      • Предпочтительные способы получения данных
      • Структура данных при переопределении
    • Отражение (Reflection)
      • Обоснование
      • Выбор стабильных библиотек ввода-вывода
    • Специфика Модулей и Проектов
      • Модуль STK
      • Модуль ACT
      • Проектные модули
    • Безопасность и Целостность Данных
      • SQL-инъекции
      • Ограничения целостности
      • Валидации
      • Чувствительные данные
    • Соответствие Best Practices
      • Документация
      • Чистота кода
    • Критические ошибки
      • Целостность данных при модификации
      • Долгая транзакция
      • Функции GSF в массовых выборках
      • Арифметика с N-типами
      • Конкатенация строк SQL
      • Дублирование логики
  • Руководство по Ревью SQL-запросов
    • Общие моменты и плохие практики
      • Указывать только нужные столбцы
      • Оптимизация условий фильтрации
      • Соответствие типов
      • Обработка альтернативных условий
      • Безопасность отрицательных условий
      • Коррелированные подзапросы
      • Эффективная пагинация данных
      • Эффективность выборки первых записей
      • Контроль дублирования и сортировки
      • Баланс сортировки и производительности
      • Параметры вместо «врезки» значений в SQL
      • Минимизируйте количество полей в GROUP BY
      • Фильтруйте по индексируемым «бизнес-полям», а не по служебным/производным
      • Корректность соединения по ключам
      • Рекурсивные запросы: защита от циклов обязательна
      • Запрещено выполнять SQL-запросы в методе checkworkability
      • Запрещено выполнять SQL-запросы внутри вложенных циклов.
      • Приведение типов в соответствие с типом колонки
      • Использование многострочных комментариев /* … */ вместо --
    • Индексы
      • Индексы по отдельным столбцам
      • Составные индексы
      • Покрывающие индексы INCLUDE
      • Частичные индексы
      • Индексы на выражения
      • Полнотекстовые и триграмм-индексы
      • Регулярное обновление статистики
      • Индексы: учитывайте блокировки при создании
    • JOIN-стратегии
      • Индексы на ключах JOIN
      • Порядок JOIN
      • Оптимизация порядка операций
      • Работа с большими реестрами
      • Коррелированный подзапрос с несколькими полями
      • «Последняя запись»
      • Массовый «top-1 по ключу»
      • Валидация путей доступа (количество чтений)
      • Партиционирование/секционирование
      • Денормализация
      • Фоновые задачи для больших JOIN
    • Оптимизация больших запросов
      • Декомпозиция и CTE.
      • Ранняя агрегация/фильтрация
      • Использование памяти
      • Мониторинг нагрузки
    • Анализ плана выполнения
      • Анализ выполнения запросов
      • Проблемные узлы
      • Сравнение версий
      • Мутации
    • Тестирование и мониторинг
      • Проверка изменений
      • Выявление ресурсоемких запросов
      • Нагрузочное тестирование
      • Ревью отчетов pgpro
    • Работа с ORM и OQuery
      • Ленивые запросы OQuery
      • Условия, зависящие от данных в кеше
      • Кэшируемые запросы
    • Особенности selectStatement и @FlushBefore
• Оптимизация разработки
  • Оптимизация работы с данными и кэшем
    • Применение refreshByParent и refreshByKey
    • Применение Session.commit, Session.commitWork, flush и flush(true)
    • Загрузка множества объектов
    • Предварительная прогрузку данных в кэш через batchIn и queryKeys
    • Массовая обработка объектов через Btk_BulkProcessPkg().chunkedQuery
    • При массовой регистрации объектов используйте Btk_BulkProcessPkg().findObjects.
  • Оптимизация Scala-кода
    • View и withFilter для оптимизации коллекций
    • Объединение условий фильтрации
    • Отложенные вычисления с lazy val
    • Выбор коллекции по сложности поиска
    • Защита циклов от зацикливания
    • Встроенные методы вместо эмуляции
    • ArrayBuffer вместо ListBuffer
    • exists вместо filter для проверки
    • isEmpty вместо length для пустоты
    • getVar вместо запросов к БД в CWA
    • Избегание copyAro для экономии памяти
    • Разделение логики Avi и Api
    • Форматирование длинных выражений
    • Общие trait для повторного использования
    • Библиотеки общих методов для выборок
    • Экстракторы вместо полей Tuple
    • Безопасные методы коллекций с Option
    • Строковая интерполяция вместо конкатенации
    • StringBuilder для сложных строк
    • Option для обработки null-значений
    • Запросы вне вложенных циклов
    • Параллельные вычисления для независимых задач
  • Оптимизация SQL-запросов
    • План выполнения запроса
    • Декомпозиция запросов
    • Индексы и производительность
    • Параметры через аргументы
    • Оптимизация GROUP BY
    • Фильтры по индексу
    • JOIN без преобразований
    • Приведение типов в соответствие с полем
    • Защита рекурсивных запросов от зацикливания
    • NOT EXISTS вместо NOT IN