fix: keep fitting export years together and name ZIP year ranges
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 2m48s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 2m51s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m21s

This commit is contained in:
Aleksandr Meshchryakov
2026-11-03 14:48:13 +01:00
parent f0a0266495
commit d6d1c8112a
4 changed files with 194 additions and 15 deletions

View File

@@ -22,6 +22,21 @@
**99 000 000 байт** вместе со служебными данными ZIP. ZIP_STORED, самостоятельные архивы,
не многотомный ZIP. Большой год делится по границам записей; один архив может включать
несколько лет. Файлы частей согласованы по записям между форматами. Финансы — JSON-only.
Годы добавляются в архив последовательно. Если **все части года выбранного формата**
помещаются в отдельный ZIP до 99 МБ, этот год сохраняется целиком: при нехватке места
в текущем ZIP он полностью переносится в следующий. Только год, который сам превышает
лимит, разрешено распределять между архивами по готовым частям. Правило считается
отдельно для CSV/XLSX/JSON; набор записей соответствующих частей не меняется.
Например, пять годов по 20 МБ: первый ZIP содержит 2021–2024 (~80 МБ), следующий —
2025; ZIP не дополняется фиктивными байтами до лимита.
Имя ZIP показывает реальный диапазон: `public-procurements-2021-2024-json-archive-000001.zip`;
один год — `public-procurements-2025-json-archive-000002.zip`. Номер сохраняет уникальность
при нескольких архивах одного большого года. Поле archives.years содержит точный список
лет, включая пропуски внутри диапазона. Новые manifest v5 помечены внутренним
`archive_packing: "whole_year"`; прежние поколения доступны, но stale до пересборки.
Публичные selectors и структура API не меняются.
Размер архива проверяется перед атомарной публикацией. Слишком большая одиночная запись
даёт `source_export_record_too_large`, прежнее current поколение сохраняется.