Files
mostovik-backend/docs/dashboard-performance.md
Aleksandr Meshchryakov fedd2e00a3
Some checks failed
Mostovik Backend CI/CD / Tests and lint (pull_request) Successful in 3m16s
Mostovik Backend CI/CD / Build linux/amd64 release images (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy dev (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (pull_request) Has been skipped
Mostovik Backend CI/CD / Tests and lint (push) Failing after 3s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
fix: avoid repeated task and source scans on dashboard
2026-10-01 13:16:11 +02:00

53 lines
4.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Производительность главной страницы
Главная страница использует `/api/v1/sources/` и `/api/v1/parsers/dashboard/`.
Счетчики, состав задач, порядок запусков и поля ответов остаются прежними.
## Изменения
- PostgreSQL выбирает последнюю фоновую задачу для каждого `task_name` один раз
через `DISTINCT ON`. Сортировка сохраняется: `created_at DESC, id DESC`.
Выбор последних задач выполняется до фильтрации карточки; более старые
активные задачи и завершенные части составного запуска остаются видимыми.
Для SQLite сохранен совместимый вариант с подзапросом.
- Аналитика повторно использует соответствия организаций источникам и последние
логи в пределах одного HTTP-запроса. Между пользователями результаты не кешируются.
- Метаданные снимка используют сохраненный `snapshot_organizations_count`,
включая ноль. Для старых снимков без допустимого итога выполняется один
групповой подсчет уникальных опубликованных организаций. Отклоненные строки
и строки без организации в итог не входят. Подсчет нужен только для выбранной
последней версии снимка каждого запуска.
Новых настроек, миграций и правил инвалидирования кеша нет.
## Проверка на данных dev, 1 октября 2026
| Обработчик | Кеш агрегатов | До | После |
| --- | --- | ---: | ---: |
| `/sources/` | Пустой | 13,200 с | 3,453 с |
| `/sources/` | Заполненный | 10,191 с | 0,243 с |
| `/parsers/dashboard/` | Пустой | 4,165 с | 2,864 с |
| `/parsers/dashboard/` | Заполненный | 4,246 с | 2,880 с |
Это время обработчиков в отдельном процессе, без сети и аутентификационного
middleware. Сравнение выполнено на одном снимке БД в транзакции
`REPEATABLE READ, READ ONLY`, с фиксированным временем и отдельным кешем в памяти.
Полные JSON-ответы совпали во всех четырех сравнениях. Учетные данные
пользователей не использовались. Это диагностическое сравнение, не нагрузочный
тест и не подтверждение выкатки.
Оставшееся время первого запроса связано с подсчетом записей источников.
Dashboard по-прежнему рассчитывает актуальные счетчики при каждом запросе.
## Регрессионные проверки
- `test_refresh_progress.py`: порядок по времени и UUID, старые активные задачи,
параллельные и составные запуски, глобальный выбор последней задачи.
- `test_snapshot_metadata.py`: сохраненные и старые счетчики, нулевой итог,
повторные организации, неопубликованные строки, выбор последнего снимка.
- `test_views.py`: значения аналитики и отсутствие повторных обходов источников.
- `test_refresh_concurrency.py`: проверка блокировок на PostgreSQL.
Проверки PostgreSQL запускаются с `--ds=settings.test_postgres --migrations`
и отдельной тестовой БД. SQLite не проверяет `DISTINCT ON` и блокировки PostgreSQL.