From f64bd5f664ea6cb0efc5143309c778f8d20b42a2 Mon Sep 17 00:00:00 2001 From: Aleksandr Meshchryakov Date: Thu, 22 Oct 2026 22:36:43 +0200 Subject: [PATCH] fix: scope export freshness and retries to each source group --- docs/source-export-catalog-operations.md | 5 +- ...rce-export-year-partitions-verification.md | 13 ++++ docs/source-export-year-partitions.md | 6 ++ src/organizations/source_cache.py | 35 +++++++-- src/organizations/source_export_catalog.py | 11 ++- src/organizations/source_ingestion.py | 2 +- src/organizations/tasks.py | 2 +- .../test_source_export_catalog.py | 76 +++++++++++++++++++ .../organizations/test_source_ingestion.py | 15 ++++ 9 files changed, 151 insertions(+), 14 deletions(-) diff --git a/docs/source-export-catalog-operations.md b/docs/source-export-catalog-operations.md index eec6f89..7200435 100644 --- a/docs/source-export-catalog-operations.md +++ b/docs/source-export-catalog-operations.md @@ -25,7 +25,10 @@ 5. Миграция `0021` включает Beat задачу `organizations:source-export-catalog:nightly-msk` на 06:30 Europe/Moscow. До применения подготовить shared storage и capacity. `SOURCE_EXPORT_AUTOBUILD=true` дополнительно включает enqueue после публикации snapshot. - При изменении данных во время сборки Celery повторяет сборку после завершения текущей. + При изменении данных **собираемой группы** во время сборки Celery повторяет её после + завершения текущей. Ingestion другой группы не запускает повтор и не помечает готовый + экспорт stale. Общие агрегаты сохраняют прежнюю глобальную cache version; массовые + операции без указанной группы консервативно инвалидируют все экспорты. Без Beat использовать command в штатном таймере контура. diff --git a/docs/source-export-year-partitions-verification.md b/docs/source-export-year-partitions-verification.md index 5bf34b7..18e2448 100644 --- a/docs/source-export-year-partitions-verification.md +++ b/docs/source-export-year-partitions-verification.md @@ -41,3 +41,16 @@ frontend и серверы контуров не изменялись. Перв Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции, Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии. +# Дополнение: свежесть отдельных групп + +Dev bootstrap выявил лишние повторы крупных экспортов при параллельном ingestion +вакансий: использовалась общая версия всех источников. Экспорт и retry теперь +сравнивают версию собственной группы. Ingestion продолжает инвалидировать глобальные +агрегаты, а операции без указанной группы инвалидируют все экспорты. + +Проверено локально: 58 целевых SQLite-тестов; 60 тестов на изолированном PostgreSQL +15 (каталог, ingestion, задачи, конкурентный claim и heartbeat). Регрессии проверяют +отсутствие повторов от другой группы, повтор от собственной группы и общий сброс после +массовой операции. Runtime-проверки первоначального bootstrap относятся к `2ed39c0`; +итоговая приёмка dev оформляется отдельно в deployment evidence контейнерного репозитория. + diff --git a/docs/source-export-year-partitions.md b/docs/source-export-year-partitions.md index 5068edf..ba9b8eb 100644 --- a/docs/source-export-year-partitions.md +++ b/docs/source-export-year-partitions.md @@ -68,6 +68,12 @@ Description example ссылается на фактический годово поколения не заменяются годовой выгрузкой. У старых parts/datasets API возвращает year=null. Legacy synchronous annual export и его задачи/storage не изменены. +Свежесть и повтор Celery-сборки учитывают версию данных конкретной группы: +обновление вакансий не пересобирает неизменившиеся госзакупки или арбитраж. +Изменение самой группы во время snapshot/render требует повторной сборки; +массовая нормализация без указания группы инвалидирует все группы. Старые поколения +с глобальной версией остаются доступными и помечаются stale до новой сборки. + ## Проверка и запуск Команда и Celery entrypoint прежние — теперь они автоматически готовят годовые части: diff --git a/src/organizations/source_cache.py b/src/organizations/source_cache.py index e5708a9..1dc528d 100644 --- a/src/organizations/source_cache.py +++ b/src/organizations/source_cache.py @@ -2,23 +2,44 @@ from __future__ import annotations +from hashlib import sha256 from uuid import uuid4 from django.core.cache import cache SOURCE_DATA_CACHE_VERSION_KEY = "organizations:source_data:version" +SOURCE_DATA_ALL_GROUPS_VERSION_KEY = "organizations:source_data:all_groups_version" -def get_source_data_cache_version() -> str: - """Return current cache version for aggregates derived from source records.""" +def get_source_data_cache_version(source_group: str | None = None) -> str: + """Return the global aggregate version or one group's export revision.""" + if source_group is not None: + # Bulk maintenance without a known group invalidates every group. Normal + # ingestion changes only its own group, while legacy aggregate readers + # continue to use the global version below. + keys = [SOURCE_DATA_ALL_GROUPS_VERSION_KEY, _group_version_key(source_group)] + versions = cache.get_many(keys) + value = ":".join( + [source_group, *(str(versions.get(k) or "initial") for k in keys)] + ) + return sha256(value.encode()).hexdigest() return str(cache.get(SOURCE_DATA_CACHE_VERSION_KEY) or "initial") -def invalidate_source_data_cache() -> None: - """Invalidate aggregates derived from organization source records.""" +def _group_version_key(source_group: str) -> str: + return f"{SOURCE_DATA_CACHE_VERSION_KEY}:group:{source_group}" + + +def invalidate_source_data_cache(source_group: str | None = None) -> None: + """Invalidate global aggregates and one source group (all when omitted).""" version = uuid4() - cache.set( - SOURCE_DATA_CACHE_VERSION_KEY, - version.hex if hasattr(version, "hex") else str(version), + value = version.hex if hasattr(version, "hex") else str(version) + scope_key = ( + _group_version_key(source_group) + if source_group is not None + else SOURCE_DATA_ALL_GROUPS_VERSION_KEY + ) + cache.set_many( + {SOURCE_DATA_CACHE_VERSION_KEY: value, scope_key: value}, timeout=None, ) diff --git a/src/organizations/source_export_catalog.py b/src/organizations/source_export_catalog.py index 8d3f78f..c9c89ca 100644 --- a/src/organizations/source_export_catalog.py +++ b/src/organizations/source_export_catalog.py @@ -196,7 +196,11 @@ def summary(entry, state=None, generation=None, revision=None): build["state"] == "failed" or generation.created_at < timezone.now() - timedelta(hours=36) or generation.data_revision - != (revision if revision is not None else get_source_data_cache_version()) + != ( + revision + if revision is not None + else get_source_data_cache_version(entry["source_group"]) + ) ) ) return { @@ -242,7 +246,6 @@ def catalog(): ) } entries = registry() - revision = get_source_data_cache_version() sources = [ summary( entry, @@ -250,7 +253,7 @@ def catalog(): generations.get(str(states[group].current_generation)) if group in states else None, - revision, + get_source_data_cache_version(group), ) for group, entry in entries.items() ] @@ -472,7 +475,7 @@ def _spool(group, path): "CREATE TABLE rows (partition TEXT, source TEXT, kind TEXT, uid TEXT, data TEXT)" ) with _source_export_read_snapshot(): - revision = get_source_data_cache_version() + revision = get_source_data_cache_version(group) as_of = _timestamp() queryset = ( OrganizationSourceRecord.objects.filter(extension__source_group=group) diff --git a/src/organizations/source_ingestion.py b/src/organizations/source_ingestion.py index d57eba7..e173592 100644 --- a/src/organizations/source_ingestion.py +++ b/src/organizations/source_ingestion.py @@ -193,7 +193,7 @@ class OrganizationSourceIngestionService: cls._refresh_extension_counters(touched_extension_ids) - invalidate_source_data_cache() + invalidate_source_data_cache(source_group=descriptor.source_group) return OrganizationSourceIngestionResult( scanned=scanned, diff --git a/src/organizations/tasks.py b/src/organizations/tasks.py index 7683844..c5f1c6e 100644 --- a/src/organizations/tasks.py +++ b/src/organizations/tasks.py @@ -178,7 +178,7 @@ def refresh_source_export_catalog(self, source_group=None): cleanup(source_group) from organizations.source_cache import get_source_data_cache_version - if generation.data_revision != get_source_data_cache_version(): + if generation.data_revision != get_source_data_cache_version(source_group): raise self.retry(countdown=30, max_retries=1000) return { "status": "success", diff --git a/tests/apps/organizations/test_source_export_catalog.py b/tests/apps/organizations/test_source_export_catalog.py index 9b84733..9c0fcae 100644 --- a/tests/apps/organizations/test_source_export_catalog.py +++ b/tests/apps/organizations/test_source_export_catalog.py @@ -46,6 +46,82 @@ GROUP = "government_procurements" class SourceExportCatalogTest(APITestCase): + def test_unrelated_ingestion_during_export_does_not_retry_or_mark_stale(self): + from organizations import source_export_catalog + from organizations.source_cache import ( + get_source_data_cache_version, + invalidate_source_data_cache, + ) + from organizations.tasks import refresh_source_export_catalog + + self.records(3) + render = source_export_catalog._render_parts + global_before = get_source_data_cache_version() + + def render_while_vacancies_change(*args, **kwargs): + invalidate_source_data_cache(source_group="vacancies") + return render(*args, **kwargs) + + with patch.object( + source_export_catalog, + "_render_parts", + side_effect=render_while_vacancies_change, + ), patch.object(refresh_source_export_catalog, "retry") as retry: + result = refresh_source_export_catalog.run(source_group=GROUP) + self.assertEqual(result["status"], "success") + retry.assert_not_called() + self.assertNotEqual(global_before, get_source_data_cache_version()) + source = next(s for s in catalog()["sources"] if s["source_group"] == GROUP) + self.assertFalse(source["is_stale"]) + + def test_same_source_change_during_export_retries_after_publishing_snapshot(self): + from celery.exceptions import Retry + from organizations import source_export_catalog + from organizations.source_cache import invalidate_source_data_cache + from organizations.tasks import refresh_source_export_catalog + + self.records(3) + render = source_export_catalog._render_parts + + def render_while_source_changes(*args, **kwargs): + invalidate_source_data_cache(source_group=GROUP) + return render(*args, **kwargs) + + with patch.object( + source_export_catalog, + "_render_parts", + side_effect=render_while_source_changes, + ), patch.object( + refresh_source_export_catalog, "retry", side_effect=Retry() + ) as retry: + with self.assertRaises(Retry): + refresh_source_export_catalog.run(source_group=GROUP) + retry.assert_called_once_with(countdown=30, max_retries=1000) + self.assertEqual(SourceExportGeneration.objects.count(), 1) + source = next(s for s in catalog()["sources"] if s["source_group"] == GROUP) + self.assertEqual(source["state"], "ready") + self.assertTrue(source["is_stale"]) + + def test_bulk_invalidation_stales_all_groups_after_scoped_ingestion(self): + from organizations.source_cache import ( + get_source_data_cache_version, + invalidate_source_data_cache, + ) + + invalidate_source_data_cache(source_group=GROUP) + group_before = get_source_data_cache_version(GROUP) + vacancies_before = get_source_data_cache_version("vacancies") + self.records(3) + build_source(GROUP) + invalidate_source_data_cache() + self.assertNotEqual(group_before, get_source_data_cache_version(GROUP)) + self.assertNotEqual( + vacancies_before, get_source_data_cache_version("vacancies") + ) + self.assertEqual(len(get_source_data_cache_version(GROUP)), 64) + source = next(s for s in catalog()["sources"] if s["source_group"] == GROUP) + self.assertTrue(source["is_stale"]) + def setUp(self): self.directory = TemporaryDirectory() self.addCleanup(self.directory.cleanup) diff --git a/tests/apps/organizations/test_source_ingestion.py b/tests/apps/organizations/test_source_ingestion.py index d343360..dddd942 100644 --- a/tests/apps/organizations/test_source_ingestion.py +++ b/tests/apps/organizations/test_source_ingestion.py @@ -29,6 +29,13 @@ class OrganizationSourceIngestionServiceTest(TestCase): return Organization.objects.create(**kwargs) def test_save_generic_records_writes_source_records_without_legacy_rows(self): + from organizations.source_cache import get_source_data_cache_version + + global_before = get_source_data_cache_version() + source_before = get_source_data_cache_version(SourceGroup.DEFENSE_SUPPLIERS) + other_before = get_source_data_cache_version( + SourceGroup.GOVERNMENT_PROCUREMENTS + ) self._directory_organization( name='ООО "ГОЗ"', inn="7707083803", @@ -54,6 +61,14 @@ class OrganizationSourceIngestionServiceTest(TestCase): ) self.assertEqual(result.scanned, 1) + self.assertNotEqual(global_before, get_source_data_cache_version()) + self.assertNotEqual( + source_before, get_source_data_cache_version(SourceGroup.DEFENSE_SUPPLIERS) + ) + self.assertEqual( + other_before, + get_source_data_cache_version(SourceGroup.GOVERNMENT_PROCUREMENTS), + ) self.assertEqual(result.created_records, 1) self.assertEqual(result.updated_records, 0) self.assertEqual(result.created_extensions, 1)