feat: partition all source exports by year and enable nightly builds

This commit is contained in:
Aleksandr Meshchryakov
2026-10-22 21:45:29 +02:00
parent 63872e86fe
commit 2002e80196
13 changed files with 672 additions and 87 deletions

View File

@@ -4,7 +4,8 @@
опубликованные записи канонического хранилища всех 22 групп, включая финансовые строки
прошлых лет. Legacy годовой API, `--all-years` и их storage не изменены.
Фронтенд в эту реализацию не входит.
Фактические результаты локальных проверок: [QA report](source-export-catalog-verification.md).
Актуальные правила годовых файлов: [year partitions](source-export-year-partitions.md).
Фактические результаты локальных проверок: [QA report](source-export-year-partitions-verification.md).
## Подготовка контура
@@ -21,12 +22,13 @@
синтетических данных не заменяют эту проверку. При необходимости сначала собрать одну группу.
4. Запустить сборку. Проверить `last_build`, counts, размеры, контрольные суммы, загрузку
одного файла и ZIP через тот же origin `/api`, который использует браузер.
5. После проверки включить зарегистрированную миграцией **отключённую по умолчанию** задачу
Beat `organizations:source-export-catalog:nightly-msk` (06:30 Europe/Moscow, после annual).
5. Миграция `0021` включает Beat задачу `organizations:source-export-catalog:nightly-msk`
на 06:30 Europe/Moscow. До применения подготовить shared storage и capacity.
`SOURCE_EXPORT_AUTOBUILD=true` дополнительно включает enqueue после публикации snapshot.
При изменении данных во время сборки Celery повторяет сборку после завершения текущей.
Без Beat использовать command в штатном таймере контура.
```sh
python src/manage.py build_source_export_catalog --source-group government_procurements
python src/manage.py build_source_export_catalog
@@ -37,7 +39,7 @@ python src/manage.py build_source_export_catalog --cleanup-only
Команда продолжает остальные группы при ошибке одной и завершается ненулевым кодом,
если хотя бы одна группа не обработана. Новый current публикуется транзакционно только
после готовых checksums/manifest и atomic rename. Ошибка сохраняет старый current.
Сборка сортирует канонический snapshot по `(source,record_type,uid)` на локальном диске
Сборка сортирует канонический snapshot по `(year,source,record_type,uid)` на локальном диске
SQLite с индексом вместо неограниченного RAM sort/PostgreSQL sort; financial lines
упорядочены `(year,form_code,line_code,id)`. Финансы JSON-only; CSV/XLSX fallback в новом API нет.