fix: avoid repeated task and source scans on dashboard
Some checks failed
Mostovik Backend CI/CD / Tests and lint (pull_request) Successful in 3m16s
Mostovik Backend CI/CD / Build linux/amd64 release images (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy dev (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (pull_request) Has been skipped
Mostovik Backend CI/CD / Tests and lint (push) Failing after 3s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Some checks failed
Mostovik Backend CI/CD / Tests and lint (pull_request) Successful in 3m16s
Mostovik Backend CI/CD / Build linux/amd64 release images (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy dev (pull_request) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (pull_request) Has been skipped
Mostovik Backend CI/CD / Tests and lint (push) Failing after 3s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
This commit was merged in pull request #47.
This commit is contained in:
52
docs/dashboard-performance.md
Normal file
52
docs/dashboard-performance.md
Normal file
@@ -0,0 +1,52 @@
|
||||
# Производительность главной страницы
|
||||
|
||||
Главная страница использует `/api/v1/sources/` и `/api/v1/parsers/dashboard/`.
|
||||
Счетчики, состав задач, порядок запусков и поля ответов остаются прежними.
|
||||
|
||||
## Изменения
|
||||
|
||||
- PostgreSQL выбирает последнюю фоновую задачу для каждого `task_name` один раз
|
||||
через `DISTINCT ON`. Сортировка сохраняется: `created_at DESC, id DESC`.
|
||||
Выбор последних задач выполняется до фильтрации карточки; более старые
|
||||
активные задачи и завершенные части составного запуска остаются видимыми.
|
||||
Для SQLite сохранен совместимый вариант с подзапросом.
|
||||
- Аналитика повторно использует соответствия организаций источникам и последние
|
||||
логи в пределах одного HTTP-запроса. Между пользователями результаты не кешируются.
|
||||
- Метаданные снимка используют сохраненный `snapshot_organizations_count`,
|
||||
включая ноль. Для старых снимков без допустимого итога выполняется один
|
||||
групповой подсчет уникальных опубликованных организаций. Отклоненные строки
|
||||
и строки без организации в итог не входят. Подсчет нужен только для выбранной
|
||||
последней версии снимка каждого запуска.
|
||||
|
||||
Новых настроек, миграций и правил инвалидирования кеша нет.
|
||||
|
||||
## Проверка на данных dev, 1 октября 2026
|
||||
|
||||
| Обработчик | Кеш агрегатов | До | После |
|
||||
| --- | --- | ---: | ---: |
|
||||
| `/sources/` | Пустой | 13,200 с | 3,453 с |
|
||||
| `/sources/` | Заполненный | 10,191 с | 0,243 с |
|
||||
| `/parsers/dashboard/` | Пустой | 4,165 с | 2,864 с |
|
||||
| `/parsers/dashboard/` | Заполненный | 4,246 с | 2,880 с |
|
||||
|
||||
Это время обработчиков в отдельном процессе, без сети и аутентификационного
|
||||
middleware. Сравнение выполнено на одном снимке БД в транзакции
|
||||
`REPEATABLE READ, READ ONLY`, с фиксированным временем и отдельным кешем в памяти.
|
||||
Полные JSON-ответы совпали во всех четырех сравнениях. Учетные данные
|
||||
пользователей не использовались. Это диагностическое сравнение, не нагрузочный
|
||||
тест и не подтверждение выкатки.
|
||||
|
||||
Оставшееся время первого запроса связано с подсчетом записей источников.
|
||||
Dashboard по-прежнему рассчитывает актуальные счетчики при каждом запросе.
|
||||
|
||||
## Регрессионные проверки
|
||||
|
||||
- `test_refresh_progress.py`: порядок по времени и UUID, старые активные задачи,
|
||||
параллельные и составные запуски, глобальный выбор последней задачи.
|
||||
- `test_snapshot_metadata.py`: сохраненные и старые счетчики, нулевой итог,
|
||||
повторные организации, неопубликованные строки, выбор последнего снимка.
|
||||
- `test_views.py`: значения аналитики и отсутствие повторных обходов источников.
|
||||
- `test_refresh_concurrency.py`: проверка блокировок на PostgreSQL.
|
||||
|
||||
Проверки PostgreSQL запускаются с `--ds=settings.test_postgres --migrations`
|
||||
и отдельной тестовой БД. SQLite не проверяет `DISTINCT ON` и блокировки PostgreSQL.
|
||||
Reference in New Issue
Block a user