fix: scope export freshness and retries to each source group
Some checks failed
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been cancelled
Mostovik Backend CI/CD / Deploy dev (push) Has been cancelled
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been cancelled
Mostovik Backend CI/CD / Tests and lint (push) Has been cancelled
Some checks failed
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been cancelled
Mostovik Backend CI/CD / Deploy dev (push) Has been cancelled
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been cancelled
Mostovik Backend CI/CD / Tests and lint (push) Has been cancelled
This commit is contained in:
@@ -25,7 +25,10 @@
|
|||||||
5. Миграция `0021` включает Beat задачу `organizations:source-export-catalog:nightly-msk`
|
5. Миграция `0021` включает Beat задачу `organizations:source-export-catalog:nightly-msk`
|
||||||
на 06:30 Europe/Moscow. До применения подготовить shared storage и capacity.
|
на 06:30 Europe/Moscow. До применения подготовить shared storage и capacity.
|
||||||
`SOURCE_EXPORT_AUTOBUILD=true` дополнительно включает enqueue после публикации snapshot.
|
`SOURCE_EXPORT_AUTOBUILD=true` дополнительно включает enqueue после публикации snapshot.
|
||||||
При изменении данных во время сборки Celery повторяет сборку после завершения текущей.
|
При изменении данных **собираемой группы** во время сборки Celery повторяет её после
|
||||||
|
завершения текущей. Ingestion другой группы не запускает повтор и не помечает готовый
|
||||||
|
экспорт stale. Общие агрегаты сохраняют прежнюю глобальную cache version; массовые
|
||||||
|
операции без указанной группы консервативно инвалидируют все экспорты.
|
||||||
Без Beat использовать command в штатном таймере контура.
|
Без Beat использовать command в штатном таймере контура.
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -41,3 +41,16 @@ frontend и серверы контуров не изменялись. Перв
|
|||||||
|
|
||||||
Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции,
|
Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции,
|
||||||
Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии.
|
Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии.
|
||||||
|
# Дополнение: свежесть отдельных групп
|
||||||
|
|
||||||
|
Dev bootstrap выявил лишние повторы крупных экспортов при параллельном ingestion
|
||||||
|
вакансий: использовалась общая версия всех источников. Экспорт и retry теперь
|
||||||
|
сравнивают версию собственной группы. Ingestion продолжает инвалидировать глобальные
|
||||||
|
агрегаты, а операции без указанной группы инвалидируют все экспорты.
|
||||||
|
|
||||||
|
Проверено локально: 58 целевых SQLite-тестов; 60 тестов на изолированном PostgreSQL
|
||||||
|
15 (каталог, ingestion, задачи, конкурентный claim и heartbeat). Регрессии проверяют
|
||||||
|
отсутствие повторов от другой группы, повтор от собственной группы и общий сброс после
|
||||||
|
массовой операции. Runtime-проверки первоначального bootstrap относятся к `2ed39c0`;
|
||||||
|
итоговая приёмка dev оформляется отдельно в deployment evidence контейнерного репозитория.
|
||||||
|
|
||||||
|
|||||||
@@ -68,6 +68,12 @@ Description example ссылается на фактический годово
|
|||||||
поколения не заменяются годовой выгрузкой. У старых parts/datasets API возвращает year=null.
|
поколения не заменяются годовой выгрузкой. У старых parts/datasets API возвращает year=null.
|
||||||
Legacy synchronous annual export и его задачи/storage не изменены.
|
Legacy synchronous annual export и его задачи/storage не изменены.
|
||||||
|
|
||||||
|
Свежесть и повтор Celery-сборки учитывают версию данных конкретной группы:
|
||||||
|
обновление вакансий не пересобирает неизменившиеся госзакупки или арбитраж.
|
||||||
|
Изменение самой группы во время snapshot/render требует повторной сборки;
|
||||||
|
массовая нормализация без указания группы инвалидирует все группы. Старые поколения
|
||||||
|
с глобальной версией остаются доступными и помечаются stale до новой сборки.
|
||||||
|
|
||||||
## Проверка и запуск
|
## Проверка и запуск
|
||||||
|
|
||||||
Команда и Celery entrypoint прежние — теперь они автоматически готовят годовые части:
|
Команда и Celery entrypoint прежние — теперь они автоматически готовят годовые части:
|
||||||
|
|||||||
@@ -2,23 +2,44 @@
|
|||||||
|
|
||||||
from __future__ import annotations
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from hashlib import sha256
|
||||||
from uuid import uuid4
|
from uuid import uuid4
|
||||||
|
|
||||||
from django.core.cache import cache
|
from django.core.cache import cache
|
||||||
|
|
||||||
SOURCE_DATA_CACHE_VERSION_KEY = "organizations:source_data:version"
|
SOURCE_DATA_CACHE_VERSION_KEY = "organizations:source_data:version"
|
||||||
|
SOURCE_DATA_ALL_GROUPS_VERSION_KEY = "organizations:source_data:all_groups_version"
|
||||||
|
|
||||||
|
|
||||||
def get_source_data_cache_version() -> str:
|
def get_source_data_cache_version(source_group: str | None = None) -> str:
|
||||||
"""Return current cache version for aggregates derived from source records."""
|
"""Return the global aggregate version or one group's export revision."""
|
||||||
|
if source_group is not None:
|
||||||
|
# Bulk maintenance without a known group invalidates every group. Normal
|
||||||
|
# ingestion changes only its own group, while legacy aggregate readers
|
||||||
|
# continue to use the global version below.
|
||||||
|
keys = [SOURCE_DATA_ALL_GROUPS_VERSION_KEY, _group_version_key(source_group)]
|
||||||
|
versions = cache.get_many(keys)
|
||||||
|
value = ":".join(
|
||||||
|
[source_group, *(str(versions.get(k) or "initial") for k in keys)]
|
||||||
|
)
|
||||||
|
return sha256(value.encode()).hexdigest()
|
||||||
return str(cache.get(SOURCE_DATA_CACHE_VERSION_KEY) or "initial")
|
return str(cache.get(SOURCE_DATA_CACHE_VERSION_KEY) or "initial")
|
||||||
|
|
||||||
|
|
||||||
def invalidate_source_data_cache() -> None:
|
def _group_version_key(source_group: str) -> str:
|
||||||
"""Invalidate aggregates derived from organization source records."""
|
return f"{SOURCE_DATA_CACHE_VERSION_KEY}:group:{source_group}"
|
||||||
|
|
||||||
|
|
||||||
|
def invalidate_source_data_cache(source_group: str | None = None) -> None:
|
||||||
|
"""Invalidate global aggregates and one source group (all when omitted)."""
|
||||||
version = uuid4()
|
version = uuid4()
|
||||||
cache.set(
|
value = version.hex if hasattr(version, "hex") else str(version)
|
||||||
SOURCE_DATA_CACHE_VERSION_KEY,
|
scope_key = (
|
||||||
version.hex if hasattr(version, "hex") else str(version),
|
_group_version_key(source_group)
|
||||||
|
if source_group is not None
|
||||||
|
else SOURCE_DATA_ALL_GROUPS_VERSION_KEY
|
||||||
|
)
|
||||||
|
cache.set_many(
|
||||||
|
{SOURCE_DATA_CACHE_VERSION_KEY: value, scope_key: value},
|
||||||
timeout=None,
|
timeout=None,
|
||||||
)
|
)
|
||||||
|
|||||||
@@ -196,7 +196,11 @@ def summary(entry, state=None, generation=None, revision=None):
|
|||||||
build["state"] == "failed"
|
build["state"] == "failed"
|
||||||
or generation.created_at < timezone.now() - timedelta(hours=36)
|
or generation.created_at < timezone.now() - timedelta(hours=36)
|
||||||
or generation.data_revision
|
or generation.data_revision
|
||||||
!= (revision if revision is not None else get_source_data_cache_version())
|
!= (
|
||||||
|
revision
|
||||||
|
if revision is not None
|
||||||
|
else get_source_data_cache_version(entry["source_group"])
|
||||||
|
)
|
||||||
)
|
)
|
||||||
)
|
)
|
||||||
return {
|
return {
|
||||||
@@ -242,7 +246,6 @@ def catalog():
|
|||||||
)
|
)
|
||||||
}
|
}
|
||||||
entries = registry()
|
entries = registry()
|
||||||
revision = get_source_data_cache_version()
|
|
||||||
sources = [
|
sources = [
|
||||||
summary(
|
summary(
|
||||||
entry,
|
entry,
|
||||||
@@ -250,7 +253,7 @@ def catalog():
|
|||||||
generations.get(str(states[group].current_generation))
|
generations.get(str(states[group].current_generation))
|
||||||
if group in states
|
if group in states
|
||||||
else None,
|
else None,
|
||||||
revision,
|
get_source_data_cache_version(group),
|
||||||
)
|
)
|
||||||
for group, entry in entries.items()
|
for group, entry in entries.items()
|
||||||
]
|
]
|
||||||
@@ -472,7 +475,7 @@ def _spool(group, path):
|
|||||||
"CREATE TABLE rows (partition TEXT, source TEXT, kind TEXT, uid TEXT, data TEXT)"
|
"CREATE TABLE rows (partition TEXT, source TEXT, kind TEXT, uid TEXT, data TEXT)"
|
||||||
)
|
)
|
||||||
with _source_export_read_snapshot():
|
with _source_export_read_snapshot():
|
||||||
revision = get_source_data_cache_version()
|
revision = get_source_data_cache_version(group)
|
||||||
as_of = _timestamp()
|
as_of = _timestamp()
|
||||||
queryset = (
|
queryset = (
|
||||||
OrganizationSourceRecord.objects.filter(extension__source_group=group)
|
OrganizationSourceRecord.objects.filter(extension__source_group=group)
|
||||||
|
|||||||
@@ -193,7 +193,7 @@ class OrganizationSourceIngestionService:
|
|||||||
|
|
||||||
cls._refresh_extension_counters(touched_extension_ids)
|
cls._refresh_extension_counters(touched_extension_ids)
|
||||||
|
|
||||||
invalidate_source_data_cache()
|
invalidate_source_data_cache(source_group=descriptor.source_group)
|
||||||
|
|
||||||
return OrganizationSourceIngestionResult(
|
return OrganizationSourceIngestionResult(
|
||||||
scanned=scanned,
|
scanned=scanned,
|
||||||
|
|||||||
@@ -178,7 +178,7 @@ def refresh_source_export_catalog(self, source_group=None):
|
|||||||
cleanup(source_group)
|
cleanup(source_group)
|
||||||
from organizations.source_cache import get_source_data_cache_version
|
from organizations.source_cache import get_source_data_cache_version
|
||||||
|
|
||||||
if generation.data_revision != get_source_data_cache_version():
|
if generation.data_revision != get_source_data_cache_version(source_group):
|
||||||
raise self.retry(countdown=30, max_retries=1000)
|
raise self.retry(countdown=30, max_retries=1000)
|
||||||
return {
|
return {
|
||||||
"status": "success",
|
"status": "success",
|
||||||
|
|||||||
@@ -46,6 +46,82 @@ GROUP = "government_procurements"
|
|||||||
|
|
||||||
|
|
||||||
class SourceExportCatalogTest(APITestCase):
|
class SourceExportCatalogTest(APITestCase):
|
||||||
|
def test_unrelated_ingestion_during_export_does_not_retry_or_mark_stale(self):
|
||||||
|
from organizations import source_export_catalog
|
||||||
|
from organizations.source_cache import (
|
||||||
|
get_source_data_cache_version,
|
||||||
|
invalidate_source_data_cache,
|
||||||
|
)
|
||||||
|
from organizations.tasks import refresh_source_export_catalog
|
||||||
|
|
||||||
|
self.records(3)
|
||||||
|
render = source_export_catalog._render_parts
|
||||||
|
global_before = get_source_data_cache_version()
|
||||||
|
|
||||||
|
def render_while_vacancies_change(*args, **kwargs):
|
||||||
|
invalidate_source_data_cache(source_group="vacancies")
|
||||||
|
return render(*args, **kwargs)
|
||||||
|
|
||||||
|
with patch.object(
|
||||||
|
source_export_catalog,
|
||||||
|
"_render_parts",
|
||||||
|
side_effect=render_while_vacancies_change,
|
||||||
|
), patch.object(refresh_source_export_catalog, "retry") as retry:
|
||||||
|
result = refresh_source_export_catalog.run(source_group=GROUP)
|
||||||
|
self.assertEqual(result["status"], "success")
|
||||||
|
retry.assert_not_called()
|
||||||
|
self.assertNotEqual(global_before, get_source_data_cache_version())
|
||||||
|
source = next(s for s in catalog()["sources"] if s["source_group"] == GROUP)
|
||||||
|
self.assertFalse(source["is_stale"])
|
||||||
|
|
||||||
|
def test_same_source_change_during_export_retries_after_publishing_snapshot(self):
|
||||||
|
from celery.exceptions import Retry
|
||||||
|
from organizations import source_export_catalog
|
||||||
|
from organizations.source_cache import invalidate_source_data_cache
|
||||||
|
from organizations.tasks import refresh_source_export_catalog
|
||||||
|
|
||||||
|
self.records(3)
|
||||||
|
render = source_export_catalog._render_parts
|
||||||
|
|
||||||
|
def render_while_source_changes(*args, **kwargs):
|
||||||
|
invalidate_source_data_cache(source_group=GROUP)
|
||||||
|
return render(*args, **kwargs)
|
||||||
|
|
||||||
|
with patch.object(
|
||||||
|
source_export_catalog,
|
||||||
|
"_render_parts",
|
||||||
|
side_effect=render_while_source_changes,
|
||||||
|
), patch.object(
|
||||||
|
refresh_source_export_catalog, "retry", side_effect=Retry()
|
||||||
|
) as retry:
|
||||||
|
with self.assertRaises(Retry):
|
||||||
|
refresh_source_export_catalog.run(source_group=GROUP)
|
||||||
|
retry.assert_called_once_with(countdown=30, max_retries=1000)
|
||||||
|
self.assertEqual(SourceExportGeneration.objects.count(), 1)
|
||||||
|
source = next(s for s in catalog()["sources"] if s["source_group"] == GROUP)
|
||||||
|
self.assertEqual(source["state"], "ready")
|
||||||
|
self.assertTrue(source["is_stale"])
|
||||||
|
|
||||||
|
def test_bulk_invalidation_stales_all_groups_after_scoped_ingestion(self):
|
||||||
|
from organizations.source_cache import (
|
||||||
|
get_source_data_cache_version,
|
||||||
|
invalidate_source_data_cache,
|
||||||
|
)
|
||||||
|
|
||||||
|
invalidate_source_data_cache(source_group=GROUP)
|
||||||
|
group_before = get_source_data_cache_version(GROUP)
|
||||||
|
vacancies_before = get_source_data_cache_version("vacancies")
|
||||||
|
self.records(3)
|
||||||
|
build_source(GROUP)
|
||||||
|
invalidate_source_data_cache()
|
||||||
|
self.assertNotEqual(group_before, get_source_data_cache_version(GROUP))
|
||||||
|
self.assertNotEqual(
|
||||||
|
vacancies_before, get_source_data_cache_version("vacancies")
|
||||||
|
)
|
||||||
|
self.assertEqual(len(get_source_data_cache_version(GROUP)), 64)
|
||||||
|
source = next(s for s in catalog()["sources"] if s["source_group"] == GROUP)
|
||||||
|
self.assertTrue(source["is_stale"])
|
||||||
|
|
||||||
def setUp(self):
|
def setUp(self):
|
||||||
self.directory = TemporaryDirectory()
|
self.directory = TemporaryDirectory()
|
||||||
self.addCleanup(self.directory.cleanup)
|
self.addCleanup(self.directory.cleanup)
|
||||||
|
|||||||
@@ -29,6 +29,13 @@ class OrganizationSourceIngestionServiceTest(TestCase):
|
|||||||
return Organization.objects.create(**kwargs)
|
return Organization.objects.create(**kwargs)
|
||||||
|
|
||||||
def test_save_generic_records_writes_source_records_without_legacy_rows(self):
|
def test_save_generic_records_writes_source_records_without_legacy_rows(self):
|
||||||
|
from organizations.source_cache import get_source_data_cache_version
|
||||||
|
|
||||||
|
global_before = get_source_data_cache_version()
|
||||||
|
source_before = get_source_data_cache_version(SourceGroup.DEFENSE_SUPPLIERS)
|
||||||
|
other_before = get_source_data_cache_version(
|
||||||
|
SourceGroup.GOVERNMENT_PROCUREMENTS
|
||||||
|
)
|
||||||
self._directory_organization(
|
self._directory_organization(
|
||||||
name='ООО "ГОЗ"',
|
name='ООО "ГОЗ"',
|
||||||
inn="7707083803",
|
inn="7707083803",
|
||||||
@@ -54,6 +61,14 @@ class OrganizationSourceIngestionServiceTest(TestCase):
|
|||||||
)
|
)
|
||||||
|
|
||||||
self.assertEqual(result.scanned, 1)
|
self.assertEqual(result.scanned, 1)
|
||||||
|
self.assertNotEqual(global_before, get_source_data_cache_version())
|
||||||
|
self.assertNotEqual(
|
||||||
|
source_before, get_source_data_cache_version(SourceGroup.DEFENSE_SUPPLIERS)
|
||||||
|
)
|
||||||
|
self.assertEqual(
|
||||||
|
other_before,
|
||||||
|
get_source_data_cache_version(SourceGroup.GOVERNMENT_PROCUREMENTS),
|
||||||
|
)
|
||||||
self.assertEqual(result.created_records, 1)
|
self.assertEqual(result.created_records, 1)
|
||||||
self.assertEqual(result.updated_records, 0)
|
self.assertEqual(result.updated_records, 0)
|
||||||
self.assertEqual(result.created_extensions, 1)
|
self.assertEqual(result.created_extensions, 1)
|
||||||
|
|||||||
Reference in New Issue
Block a user