feat: partition all source exports by year and enable nightly builds

This commit is contained in:
Aleksandr Meshchryakov
2026-10-22 21:45:29 +02:00
parent 63872e86fe
commit 2002e80196
13 changed files with 672 additions and 87 deletions

View File

@@ -0,0 +1,43 @@
# Проверка годовых файлов источников — 2026-10-22
[Правила и контракт](source-export-year-partitions.md). Изменения только в backend `dev`;
frontend и серверы контуров не изменялись. Первоначальный отчёт `63872e8` сохранён отдельно.
| Проверка | Фактический результат |
| --- | --- |
| Полный backend pytest с transport load | 2086 passed, 48 skipped, 13 warnings |
| Итоговый каталог + конкурентный download/leases на PostgreSQL 15.19 | 42 passed |
| Full migration graph на PostgreSQL | PASS |
| 0021 forward/reverse/forward, enabled recurring schedule и Beat change counter | PASS |
| Migration drift / Django check / Ruff / Black / diff check | PASS |
| OpenAPI build + freshness, Orval apigen + TypeScript | PASS |
| Generated Zod: новые actual API responses | 5 passed |
| Generated Zod: прежние runtime responses | 48 passed |
Полный прогон предшествовал окончательному scheduler notification guard; после него
итоговый каталог/миграция повторно проверены отдельным PostgreSQL прогоном. Skipped не PASS:
в основном SQLite-прогоне PostgreSQL-specific проверки пропускаются и выполняются отдельно.
Проверены:
- Все 22 источника: через ночной task entrypoint с синтетическими данными 2020/2021 годов
подготовлены 22 независимых поколения с обоими годами. Clock-trigger на реальном стенде
этой проверкой не подтверждается.
- В одном файле не смешиваются годы. Parts нумеруются внутри года; ZIP содержит папки годов.
- Разбиение oversized variant сохраняет тот же год и те же UID во всех CSV/XLSX/JSON.
- Финансовый UID с показателями двух лет присутствует в двух годовых проекциях, каждая
содержит только свои financial lines. Unique и projected counts не смешиваются.
- Пустая дата: год created_at в TIME_ZONE сервиса, независимо от активной timezone.
Нераспознаваемые даты/невалидный финансовый год не теряются и попадают в undated.
- JSON-only финансы, записи без financial lines, пустые источники, пагинация 51 части,
pinned tickets/старые manifest v3, ошибки хранилища, cleanup/leases и legacy annual API.
- Миграция включает recurring 06:30 Europe/Moscow, очищает one_off, expires/start_time
и частные args/kwargs; явно обновляет Beat change counter историческими migration models.
Локальный transport test реально обработал 5905582210 bytes ZIP64, два
параллельных file reader по 536870912 bytes; peak RSS growth
11436032 bytes. Это synthetic transport/metadata, не HTTP proxy/browser
и не замер full-history объёма на dev. Ограничения эксплуатации в общей инструкции сохраняются.
Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции,
Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии.