fix: scope export freshness and retries to each source group
Some checks failed
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been cancelled
Mostovik Backend CI/CD / Deploy dev (push) Has been cancelled
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been cancelled
Mostovik Backend CI/CD / Tests and lint (push) Has been cancelled
Some checks failed
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been cancelled
Mostovik Backend CI/CD / Deploy dev (push) Has been cancelled
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been cancelled
Mostovik Backend CI/CD / Tests and lint (push) Has been cancelled
This commit is contained in:
@@ -25,7 +25,10 @@
|
||||
5. Миграция `0021` включает Beat задачу `organizations:source-export-catalog:nightly-msk`
|
||||
на 06:30 Europe/Moscow. До применения подготовить shared storage и capacity.
|
||||
`SOURCE_EXPORT_AUTOBUILD=true` дополнительно включает enqueue после публикации snapshot.
|
||||
При изменении данных во время сборки Celery повторяет сборку после завершения текущей.
|
||||
При изменении данных **собираемой группы** во время сборки Celery повторяет её после
|
||||
завершения текущей. Ingestion другой группы не запускает повтор и не помечает готовый
|
||||
экспорт stale. Общие агрегаты сохраняют прежнюю глобальную cache version; массовые
|
||||
операции без указанной группы консервативно инвалидируют все экспорты.
|
||||
Без Beat использовать command в штатном таймере контура.
|
||||
|
||||
|
||||
|
||||
@@ -41,3 +41,16 @@ frontend и серверы контуров не изменялись. Перв
|
||||
|
||||
Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции,
|
||||
Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии.
|
||||
# Дополнение: свежесть отдельных групп
|
||||
|
||||
Dev bootstrap выявил лишние повторы крупных экспортов при параллельном ingestion
|
||||
вакансий: использовалась общая версия всех источников. Экспорт и retry теперь
|
||||
сравнивают версию собственной группы. Ingestion продолжает инвалидировать глобальные
|
||||
агрегаты, а операции без указанной группы инвалидируют все экспорты.
|
||||
|
||||
Проверено локально: 58 целевых SQLite-тестов; 60 тестов на изолированном PostgreSQL
|
||||
15 (каталог, ingestion, задачи, конкурентный claim и heartbeat). Регрессии проверяют
|
||||
отсутствие повторов от другой группы, повтор от собственной группы и общий сброс после
|
||||
массовой операции. Runtime-проверки первоначального bootstrap относятся к `2ed39c0`;
|
||||
итоговая приёмка dev оформляется отдельно в deployment evidence контейнерного репозитория.
|
||||
|
||||
|
||||
@@ -68,6 +68,12 @@ Description example ссылается на фактический годово
|
||||
поколения не заменяются годовой выгрузкой. У старых parts/datasets API возвращает year=null.
|
||||
Legacy synchronous annual export и его задачи/storage не изменены.
|
||||
|
||||
Свежесть и повтор Celery-сборки учитывают версию данных конкретной группы:
|
||||
обновление вакансий не пересобирает неизменившиеся госзакупки или арбитраж.
|
||||
Изменение самой группы во время snapshot/render требует повторной сборки;
|
||||
массовая нормализация без указания группы инвалидирует все группы. Старые поколения
|
||||
с глобальной версией остаются доступными и помечаются stale до новой сборки.
|
||||
|
||||
## Проверка и запуск
|
||||
|
||||
Команда и Celery entrypoint прежние — теперь они автоматически готовят годовые части:
|
||||
|
||||
Reference in New Issue
Block a user