Files
state-corp-backend/docs/all-years-source-exports.md
2026-09-28 12:06:09 +02:00

2.1 KiB
Raw Blame History

Выгрузка за все годы

Годовая задача apps.external_data.tasks.refresh_source_record_export_artifacts сохраняет прежнее поведение.

Новая задача apps.external_data.tasks.refresh_all_years_source_record_export_artifacts собирает все доступные записи каждого поддерживаемого источника без ограничения по году, включая все финансовые строки. Для источников с заменяемыми snapshot выгружается текущее опубликованное состояние: удалённые прежние snapshot не восстанавливаются.

Результат размещается в SOURCE_RECORD_EXPORT_DIRECTORY/all-years. У него отдельные current.json, generations и очистка старых поколений. Публикация атомарна; незавершённая сборка не заменяет опубликованные файлы. Общий lock с годовой задачей ограничивает одновременную нагрузку. Manifest содержит export_scope: all_years и export_year: null; годовой manifest — export_scope: current_year и числовой год. Старые годовые manifest без export_scope продолжают читаться.

Ручной запуск:

python src/manage.py build_source_record_exports --all-years

Периодический запуск настраивается отдельной записью django-celery-beat либо системным таймером на контуре без Beat. Задачу следует ставить после годовой сборки. Имена файлов, группировка JSON по ОКПО и форматы CSV/XLSX/JSON сохраняются. API скачивания продолжает отдавать годовой пакет; доступ к полному пакету предоставляется отдельно.