feat: configure export year window and publish ZIP archives under 99 MB
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 4m1s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 4m9s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 3m5s

This commit is contained in:
Aleksandr Meshchryakov
2026-11-03 10:02:04 +01:00
parent a7bf5412e9
commit f0a0266495
12 changed files with 1018 additions and 55 deletions

View File

@@ -0,0 +1,47 @@
# Окно лет и ZIP до 99 МБ: проверка 2026-11-03
Локальная реализация в backend `dev`. Фронт, dev-сервер и ночные задания на сервере
не изменялись; push/выкладка и первая сборка реальных данных в этот этап не входят.
## Проверки
- Основной backend-набор `PYTHONPATH=src uv run pytest -q --tb=short`:
**2102 passed, 49 skipped**, exit 0. После него добавлены ещё две проверки каталога
и параметризация PostgreSQL race-теста; окончательная целевая проверка ниже включает их.
- Окончательный каталог: **54 passed**, exit 0.
- Изолированный PostgreSQL 15 с настоящими миграциями, каталог + snapshot contract +
concurrent tickets: **74 passed**, exit 0. В том числе схема/seed `0023`, repeatable-read,
публикация при ingestion и два конкурентных native POST одного ticket — для обычного
файла и для нового готового ZIP. Тестовый контейнер удалён после прогона.
- Canonical OpenAPI build и `--check`, Orval generation, TypeScript `type-check` — exit 0.
Generated Zod: **5 реальных API-ответов** без потери полей, включая новый archives detail
и ticket готового ZIP.
- Ruff, format check, Django system check, `makemigrations --check --dry-run` и
`git diff --check` — exit 0.
Полный набор включает пропуски opt-in transport load и PostgreSQL-only тестов на SQLite;
они не считаются PASS. PostgreSQL-only проверки выполнены отдельно. Длительная нагрузка
через публичный proxy и browser/UI в этом этапе не запускались.
## Проверенные сценарии
- Окно 2021–2026, изменение глубины из БД, смена календарного года, created_at fallback,
исключение старых/будущих/неопределимых лет без удаления исходных записей.
- Финансовые проекции содержат только свой год; unique source count отличается от
количества включённых годовых проекций.
- Самостоятельный ZIP **ровно 99 000 000 байт** с реальными заголовками и manifest;
превышение на один байт отклоняется. Использован локальный sparse synthetic fixture.
- Несколько архивов, несколько лет в одном архиве, большой год, согласованные варианты
CSV/XLSX/JSON, CRC/SHA-256 и отсутствие потерь/дубликатов.
- Несколько уровней рекурсивного разбиения с разными временными spool paths: исправлена
коллизия имён `.left`/`.right` при повторном делении.
- Слишком большая одиночная запись: понятная ошибка, прежний current сохраняется,
staging удаляется. Изменение настройки во время render не меняет captured policy.
- archive_id обязателен для v5; неизвестный ID и несовпадающий формат отклоняются.
Tickets закреплены за поколением; v3/v4 и прежняя streaming ZIP схема доступны.
- Verify обнаруживает повреждение готового ZIP; retention/leases и ночной dispatch всех
22 источников продолжают работать по существующим правилам.
Эксплуатация и контракт: [годовые выгрузки](source-export-year-partitions.md),
[операции](source-export-catalog-operations.md). Готовые ZIP_STORED дополнительно занимают
место рядом с исходными частями; это нужно учитывать перед будущей серверной сборкой.