fix: keep fitting export years together and name ZIP year ranges
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 2m48s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 2m51s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m21s
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 2m48s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 2m51s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m21s
This commit is contained in:
@@ -161,3 +161,10 @@ SOURCE_EXPORT_TRANSPORT_LOAD=1 SOURCE_EXPORT_TRANSPORT_REPORT=/tmp/source-export
|
||||
а также staging и retained generations. Все файлы остаются в приватном generation directory.
|
||||
`--verify-only` проверяет размеры и SHA-256 как частей, так и ZIP. Cleanup удаляет их
|
||||
вместе с поколением, защищённым действующими leases. Ночная задача и расписание не меняются.
|
||||
|
||||
|
||||
Уточнение упаковки: год, который целиком помещается в ZIP выбранного формата,
|
||||
не разделяется между архивами даже при нескольких исходных частях. При нехватке
|
||||
остатка он целиком уходит в следующий ZIP; только большой год >99 МБ делится.
|
||||
Имена ZIP включают диапазон лет. После обновления builder прежний packing помечается
|
||||
stale; штатная пересборка публикует новое immutable поколение, сохраняя старые tickets.
|
||||
|
||||
@@ -22,6 +22,21 @@
|
||||
**99 000 000 байт** вместе со служебными данными ZIP. ZIP_STORED, самостоятельные архивы,
|
||||
не многотомный ZIP. Большой год делится по границам записей; один архив может включать
|
||||
несколько лет. Файлы частей согласованы по записям между форматами. Финансы — JSON-only.
|
||||
Годы добавляются в архив последовательно. Если **все части года выбранного формата**
|
||||
помещаются в отдельный ZIP до 99 МБ, этот год сохраняется целиком: при нехватке места
|
||||
в текущем ZIP он полностью переносится в следующий. Только год, который сам превышает
|
||||
лимит, разрешено распределять между архивами по готовым частям. Правило считается
|
||||
отдельно для CSV/XLSX/JSON; набор записей соответствующих частей не меняется.
|
||||
Например, пять годов по 20 МБ: первый ZIP содержит 2021–2024 (~80 МБ), следующий —
|
||||
2025; ZIP не дополняется фиктивными байтами до лимита.
|
||||
|
||||
Имя ZIP показывает реальный диапазон: `public-procurements-2021-2024-json-archive-000001.zip`;
|
||||
один год — `public-procurements-2025-json-archive-000002.zip`. Номер сохраняет уникальность
|
||||
при нескольких архивах одного большого года. Поле archives.years содержит точный список
|
||||
лет, включая пропуски внутри диапазона. Новые manifest v5 помечены внутренним
|
||||
`archive_packing: "whole_year"`; прежние поколения доступны, но stale до пересборки.
|
||||
Публичные selectors и структура API не меняются.
|
||||
|
||||
Размер архива проверяется перед атомарной публикацией. Слишком большая одиночная запись
|
||||
даёт `source_export_record_too_large`, прежнее current поколение сохраняется.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user