feat: partition all source exports by year and enable nightly builds
This commit is contained in:
@@ -4,7 +4,8 @@
|
||||
опубликованные записи канонического хранилища всех 22 групп, включая финансовые строки
|
||||
прошлых лет. Legacy годовой API, `--all-years` и их storage не изменены.
|
||||
Фронтенд в эту реализацию не входит.
|
||||
Фактические результаты локальных проверок: [QA report](source-export-catalog-verification.md).
|
||||
Актуальные правила годовых файлов: [year partitions](source-export-year-partitions.md).
|
||||
Фактические результаты локальных проверок: [QA report](source-export-year-partitions-verification.md).
|
||||
|
||||
## Подготовка контура
|
||||
|
||||
@@ -21,12 +22,13 @@
|
||||
синтетических данных не заменяют эту проверку. При необходимости сначала собрать одну группу.
|
||||
4. Запустить сборку. Проверить `last_build`, counts, размеры, контрольные суммы, загрузку
|
||||
одного файла и ZIP через тот же origin `/api`, который использует браузер.
|
||||
5. После проверки включить зарегистрированную миграцией **отключённую по умолчанию** задачу
|
||||
Beat `organizations:source-export-catalog:nightly-msk` (06:30 Europe/Moscow, после annual).
|
||||
5. Миграция `0021` включает Beat задачу `organizations:source-export-catalog:nightly-msk`
|
||||
на 06:30 Europe/Moscow. До применения подготовить shared storage и capacity.
|
||||
`SOURCE_EXPORT_AUTOBUILD=true` дополнительно включает enqueue после публикации snapshot.
|
||||
При изменении данных во время сборки Celery повторяет сборку после завершения текущей.
|
||||
Без Beat использовать command в штатном таймере контура.
|
||||
|
||||
|
||||
```sh
|
||||
python src/manage.py build_source_export_catalog --source-group government_procurements
|
||||
python src/manage.py build_source_export_catalog
|
||||
@@ -37,7 +39,7 @@ python src/manage.py build_source_export_catalog --cleanup-only
|
||||
Команда продолжает остальные группы при ошибке одной и завершается ненулевым кодом,
|
||||
если хотя бы одна группа не обработана. Новый current публикуется транзакционно только
|
||||
после готовых checksums/manifest и atomic rename. Ошибка сохраняет старый current.
|
||||
Сборка сортирует канонический snapshot по `(source,record_type,uid)` на локальном диске
|
||||
Сборка сортирует канонический snapshot по `(year,source,record_type,uid)` на локальном диске
|
||||
SQLite с индексом вместо неограниченного RAM sort/PostgreSQL sort; financial lines
|
||||
упорядочены `(year,form_code,line_code,id)`. Финансы JSON-only; CSV/XLSX fallback в новом API нет.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user