feat: configure export year window and publish ZIP archives under 99 MB
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 4m1s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 4m9s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 3m5s
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 4m1s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 4m9s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 3m5s
This commit is contained in:
@@ -3,6 +3,48 @@
|
||||
Уточнение пользователя от 2026-10-22 заменяет правило единого набора за все годы
|
||||
в исходном [задании](source-data-export-api-spec.md). Фронтенд не изменяется.
|
||||
|
||||
## Изменение схемы от 2026-11-03
|
||||
|
||||
Для новых поколений manifest v5 действует окно годов и несколько самостоятельных ZIP.
|
||||
В админке **Организации → Настройки выгрузки источников** поле «Глубина выгрузки, лет»
|
||||
по умолчанию равно 5. Включаются годы от текущего минус глубина до текущего включительно
|
||||
(2021–2026 в 2026 году); 0 означает только текущий год. Текущий год определяется в TIME_ZONE
|
||||
сервиса. Старые, будущие и неопределимые годы исключаются из выгрузки, исходные записи
|
||||
не удаляются. Пустая дата сохраняет прежний fallback на год created_at. У финансов
|
||||
отбираются проекции и строки показателей внутри этого окна; records_count считает
|
||||
уникальные включённые исходные записи, exported_records_count — их годовые проекции.
|
||||
|
||||
Настройка читается один раз при начале сборки источника. Параметры фиксируются в
|
||||
`export_policy`: years_back, min_year, max_year, archive_max_bytes. Изменение настройки
|
||||
или календарного года помечает существующее поколение stale до следующей сборки.
|
||||
|
||||
Каждый ZIP одного формата содержит папки годов и manifest.json и не превышает
|
||||
**99 000 000 байт** вместе со служебными данными ZIP. ZIP_STORED, самостоятельные архивы,
|
||||
не многотомный ZIP. Большой год делится по границам записей; один архив может включать
|
||||
несколько лет. Файлы частей согласованы по записям между форматами. Финансы — JSON-only.
|
||||
Размер архива проверяется перед атомарной публикацией. Слишком большая одиночная запись
|
||||
даёт `source_export_record_too_large`, прежнее current поколение сохраняется.
|
||||
|
||||
Detail API дополнен `export_policy` (null для прежних поколений) и `archives` (пустой
|
||||
список для прежних поколений). Каждый элемент содержит archive_id, artifact_id,
|
||||
archive_number/archives_count (внутри формата), format, years, file_name, mime_type,
|
||||
size_bytes, sha256 и part_ids. Список архивов полный, независимо от страницы files.
|
||||
Для manifest v5 selector `source_archive` требует `archive_id`:
|
||||
|
||||
```json
|
||||
{"selection_kind":"source_archive","source_group":"government_procurements","generation_id":"<UUID>","archive_id":"<UUID>","format":"json"}
|
||||
```
|
||||
|
||||
Отсутствие archive_id — 400, неизвестный ID — 404, неверный формат — 409. Ticket выдаёт
|
||||
точный размер и имя готового ZIP; download стримит его с Content-Length. Выданный ticket
|
||||
закрепляет поколение и архив; leases/retention сохраняются. Старые manifest v3/v4 и их
|
||||
архивные tickets используют прежний streaming ZIP без archive_id. Отдельные file tickets
|
||||
работают по прежнему selector. Public schema_version остаётся 2 с добавленными полями.
|
||||
Фронт в этой задаче не меняется; клиенту для новых архивов нужен выбор archive_id.
|
||||
|
||||
Далее описана исходная схема v4; правила полноты всех лет и одного ZIP относятся
|
||||
к прежним поколениям. Определение года, годовые проекции и структура папок сохранены.
|
||||
|
||||
Ночная задача `organizations.tasks.refresh_source_export_catalog` обрабатывает весь
|
||||
registry из 22 источников и все доступные годы их канонических опубликованных данных.
|
||||
Миграция `0021_enable_yearly_partitioned_exports` включает recurring Beat schedule
|
||||
|
||||
Reference in New Issue
Block a user