Files
mostovik-backend/docs/dashboard-performance.md
Aleksandr Meshchryakov fedd2e00a3
Some checks failed
Mostovik Backend CI/CD / Tests and lint (pull_request) Successful in 3m16s
Mostovik Backend CI/CD / Build linux/amd64 release images (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy dev (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (pull_request) Has been skipped
Mostovik Backend CI/CD / Tests and lint (push) Failing after 3s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
fix: avoid repeated task and source scans on dashboard
2026-10-01 13:16:11 +02:00

4.3 KiB
Raw Permalink Blame History

Производительность главной страницы

Главная страница использует /api/v1/sources/ и /api/v1/parsers/dashboard/. Счетчики, состав задач, порядок запусков и поля ответов остаются прежними.

Изменения

  • PostgreSQL выбирает последнюю фоновую задачу для каждого task_name один раз через DISTINCT ON. Сортировка сохраняется: created_at DESC, id DESC. Выбор последних задач выполняется до фильтрации карточки; более старые активные задачи и завершенные части составного запуска остаются видимыми. Для SQLite сохранен совместимый вариант с подзапросом.
  • Аналитика повторно использует соответствия организаций источникам и последние логи в пределах одного HTTP-запроса. Между пользователями результаты не кешируются.
  • Метаданные снимка используют сохраненный snapshot_organizations_count, включая ноль. Для старых снимков без допустимого итога выполняется один групповой подсчет уникальных опубликованных организаций. Отклоненные строки и строки без организации в итог не входят. Подсчет нужен только для выбранной последней версии снимка каждого запуска.

Новых настроек, миграций и правил инвалидирования кеша нет.

Проверка на данных dev, 1 октября 2026

Обработчик Кеш агрегатов До После
/sources/ Пустой 13,200 с 3,453 с
/sources/ Заполненный 10,191 с 0,243 с
/parsers/dashboard/ Пустой 4,165 с 2,864 с
/parsers/dashboard/ Заполненный 4,246 с 2,880 с

Это время обработчиков в отдельном процессе, без сети и аутентификационного middleware. Сравнение выполнено на одном снимке БД в транзакции REPEATABLE READ, READ ONLY, с фиксированным временем и отдельным кешем в памяти. Полные JSON-ответы совпали во всех четырех сравнениях. Учетные данные пользователей не использовались. Это диагностическое сравнение, не нагрузочный тест и не подтверждение выкатки.

Оставшееся время первого запроса связано с подсчетом записей источников. Dashboard по-прежнему рассчитывает актуальные счетчики при каждом запросе.

Регрессионные проверки

  • test_refresh_progress.py: порядок по времени и UUID, старые активные задачи, параллельные и составные запуски, глобальный выбор последней задачи.
  • test_snapshot_metadata.py: сохраненные и старые счетчики, нулевой итог, повторные организации, неопубликованные строки, выбор последнего снимка.
  • test_views.py: значения аналитики и отсутствие повторных обходов источников.
  • test_refresh_concurrency.py: проверка блокировок на PostgreSQL.

Проверки PostgreSQL запускаются с --ds=settings.test_postgres --migrations и отдельной тестовой БД. SQLite не проверяет DISTINCT ON и блокировки PostgreSQL.