Files
mostovik-backend/docs/source-export-year-partitions-verification.md
Aleksandr Meshchryakov aeade84761
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m14s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 2m43s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m57s
docs: tidy source export verification report
2026-10-22 22:36:55 +02:00

56 lines
5.1 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Проверка годовых файлов источников — 2026-10-22
[Правила и контракт](source-export-year-partitions.md). Изменения только в backend `dev`;
frontend и серверы контуров не изменялись. Первоначальный отчёт `63872e8` сохранён отдельно.
| Проверка | Фактический результат |
| --- | --- |
| Полный backend pytest с transport load | 2086 passed, 48 skipped, 13 warnings |
| Итоговый каталог + конкурентный download/leases на PostgreSQL 15.19 | 42 passed |
| Full migration graph на PostgreSQL | PASS |
| 0021 forward/reverse/forward, enabled recurring schedule и Beat change counter | PASS |
| Migration drift / Django check / Ruff / Black / diff check | PASS |
| OpenAPI build + freshness, Orval apigen + TypeScript | PASS |
| Generated Zod: новые actual API responses | 5 passed |
| Generated Zod: прежние runtime responses | 48 passed |
Полный прогон предшествовал окончательному scheduler notification guard; после него
итоговый каталог/миграция повторно проверены отдельным PostgreSQL прогоном. Skipped не PASS:
в основном SQLite-прогоне PostgreSQL-specific проверки пропускаются и выполняются отдельно.
Проверены:
- Все 22 источника: через ночной task entrypoint с синтетическими данными 2020/2021 годов
подготовлены 22 независимых поколения с обоими годами. Clock-trigger на реальном стенде
этой проверкой не подтверждается.
- В одном файле не смешиваются годы. Parts нумеруются внутри года; ZIP содержит папки годов.
- Разбиение oversized variant сохраняет тот же год и те же UID во всех CSV/XLSX/JSON.
- Финансовый UID с показателями двух лет присутствует в двух годовых проекциях, каждая
содержит только свои financial lines. Unique и projected counts не смешиваются.
- Пустая дата: год created_at в TIME_ZONE сервиса, независимо от активной timezone.
Нераспознаваемые даты/невалидный финансовый год не теряются и попадают в undated.
- JSON-only финансы, записи без financial lines, пустые источники, пагинация 51 части,
pinned tickets/старые manifest v3, ошибки хранилища, cleanup/leases и legacy annual API.
- Миграция включает recurring 06:30 Europe/Moscow, очищает one_off, expires/start_time
и частные args/kwargs; явно обновляет Beat change counter историческими migration models.
Локальный transport test реально обработал 5905582210 bytes ZIP64, два
параллельных file reader по 536870912 bytes; peak RSS growth
11436032 bytes. Это synthetic transport/metadata, не HTTP proxy/browser
и не замер full-history объёма на dev. Ограничения эксплуатации в общей инструкции сохраняются.
Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции,
Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии.
# Дополнение: свежесть отдельных групп
Dev bootstrap выявил лишние повторы крупных экспортов при параллельном ingestion
вакансий: использовалась общая версия всех источников. Экспорт и retry теперь
сравнивают версию собственной группы. Ingestion продолжает инвалидировать глобальные
агрегаты, а операции без указанной группы инвалидируют все экспорты.
Проверено локально: 58 целевых SQLite-тестов; 60 тестов на изолированном PostgreSQL
15 (каталог, ingestion, задачи, конкурентный claim и heartbeat). Регрессии проверяют
отсутствие повторов от другой группы, повтор от собственной группы и общий сброс после
массовой операции. Runtime-проверки первоначального bootstrap относятся к `2ed39c0`;
итоговая приёмка dev оформляется отдельно в deployment evidence контейнерного репозитория.