feat: partition all source exports by year and enable nightly builds
This commit is contained in:
43
docs/source-export-year-partitions-verification.md
Normal file
43
docs/source-export-year-partitions-verification.md
Normal file
@@ -0,0 +1,43 @@
|
||||
# Проверка годовых файлов источников — 2026-10-22
|
||||
|
||||
[Правила и контракт](source-export-year-partitions.md). Изменения только в backend `dev`;
|
||||
frontend и серверы контуров не изменялись. Первоначальный отчёт `63872e8` сохранён отдельно.
|
||||
|
||||
| Проверка | Фактический результат |
|
||||
| --- | --- |
|
||||
| Полный backend pytest с transport load | 2086 passed, 48 skipped, 13 warnings |
|
||||
| Итоговый каталог + конкурентный download/leases на PostgreSQL 15.19 | 42 passed |
|
||||
| Full migration graph на PostgreSQL | PASS |
|
||||
| 0021 forward/reverse/forward, enabled recurring schedule и Beat change counter | PASS |
|
||||
| Migration drift / Django check / Ruff / Black / diff check | PASS |
|
||||
| OpenAPI build + freshness, Orval apigen + TypeScript | PASS |
|
||||
| Generated Zod: новые actual API responses | 5 passed |
|
||||
| Generated Zod: прежние runtime responses | 48 passed |
|
||||
|
||||
Полный прогон предшествовал окончательному scheduler notification guard; после него
|
||||
итоговый каталог/миграция повторно проверены отдельным PostgreSQL прогоном. Skipped не PASS:
|
||||
в основном SQLite-прогоне PostgreSQL-specific проверки пропускаются и выполняются отдельно.
|
||||
|
||||
Проверены:
|
||||
|
||||
- Все 22 источника: через ночной task entrypoint с синтетическими данными 2020/2021 годов
|
||||
подготовлены 22 независимых поколения с обоими годами. Clock-trigger на реальном стенде
|
||||
этой проверкой не подтверждается.
|
||||
- В одном файле не смешиваются годы. Parts нумеруются внутри года; ZIP содержит папки годов.
|
||||
- Разбиение oversized variant сохраняет тот же год и те же UID во всех CSV/XLSX/JSON.
|
||||
- Финансовый UID с показателями двух лет присутствует в двух годовых проекциях, каждая
|
||||
содержит только свои financial lines. Unique и projected counts не смешиваются.
|
||||
- Пустая дата: год created_at в TIME_ZONE сервиса, независимо от активной timezone.
|
||||
Нераспознаваемые даты/невалидный финансовый год не теряются и попадают в undated.
|
||||
- JSON-only финансы, записи без financial lines, пустые источники, пагинация 51 части,
|
||||
pinned tickets/старые manifest v3, ошибки хранилища, cleanup/leases и legacy annual API.
|
||||
- Миграция включает recurring 06:30 Europe/Moscow, очищает one_off, expires/start_time
|
||||
и частные args/kwargs; явно обновляет Beat change counter историческими migration models.
|
||||
|
||||
Локальный transport test реально обработал 5905582210 bytes ZIP64, два
|
||||
параллельных file reader по 536870912 bytes; peak RSS growth
|
||||
11436032 bytes. Это synthetic transport/metadata, не HTTP proxy/browser
|
||||
и не замер full-history объёма на dev. Ограничения эксплуатации в общей инструкции сохраняются.
|
||||
|
||||
Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции,
|
||||
Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии.
|
||||
Reference in New Issue
Block a user