feat: configure export year window and publish ZIP archives under 99 MB
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 4m1s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 4m9s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 3m5s

This commit is contained in:
Aleksandr Meshchryakov
2026-11-03 10:02:04 +01:00
parent a7bf5412e9
commit f0a0266495
12 changed files with 1018 additions and 55 deletions

View File

@@ -52,8 +52,8 @@ Django settings (при необходимости задать в настро
| Setting | Default |
| --- | --- |
| `SOURCE_EXPORT_TARGET_FILE_BYTES` | 256 MiB |
| `SOURCE_EXPORT_MAX_FILE_BYTES` | 512 MiB |
| `SOURCE_EXPORT_TARGET_FILE_BYTES` | 256 MiB; для v5 ограничивается также ZIP cap 99 000 000 bytes |
| `SOURCE_EXPORT_MAX_FILE_BYTES` | 512 MiB; для v5 каждый файл должен помещаться в ZIP 99 000 000 bytes с manifest |
| `SOURCE_EXPORT_ROWS_PER_PART` | 100000 |
| `SOURCE_RECORD_EXPORT_XLSX_ROWS_PER_FILE` | 100000, совместимый верхний предел |
| `SOURCE_EXPORT_MIN_FREE_BYTES` | 1 GiB, резерв проверяется между batch/render |
@@ -147,3 +147,17 @@ SOURCE_EXPORT_TRANSPORT_LOAD=1 SOURCE_EXPORT_TRANSPORT_REPORT=/tmp/source-export
У Orval/Zod для export-ticket включён strict mode: иначе legacy вариант union с тремя
полями способен принять новый ответ и silently strip selection fields. Generated файлы
не патчатся. Canonical timestamps публикуются в UTC с `Z`, поддерживаемым generated validator.
## Окно лет и готовые ZIP (manifest v5)
После migrate `0023_source_export_settings` в Django admin доступна singleton-настройка
«Глубина выгрузки, лет» (по умолчанию 5). Применяется при следующей сборке, без рестарта.
Подробный контракт и исключение старых/будущих/неопределимых годов:
[source-export-year-partitions.md](source-export-year-partitions.md).
Сборка дополнительно сохраняет готовые ZIP каждого формата до 99 000 000 байт.
При расчёте диска учитывать и исходные CSV/XLSX/JSON части, и ZIP_STORED-копии их содержимого,
а также staging и retained generations. Все файлы остаются в приватном generation directory.
`--verify-only` проверяет размеры и SHA-256 как частей, так и ZIP. Cleanup удаляет их
вместе с поколением, защищённым действующими leases. Ночная задача и расписание не меняются.