From 10d6a470005e91af0bb25d52065ac1cb92327533 Mon Sep 17 00:00:00 2001 From: Aleksandr Meshchryakov Date: Sun, 27 Sep 2026 10:27:06 +0200 Subject: [PATCH] fix: group JSON source exports by organization --- docs/source-record-export-matrix-ru.md | 30 +++++-- .../external_data/source_record_export.py | 84 +++++++++++++++++- .../test_source_record_export.py | 88 ++++++++++++++++--- 3 files changed, 180 insertions(+), 22 deletions(-) diff --git a/docs/source-record-export-matrix-ru.md b/docs/source-record-export-matrix-ru.md index f8f4a55..ce7bb4e 100644 --- a/docs/source-record-export-matrix-ru.md +++ b/docs/source-record-export-matrix-ru.md @@ -47,9 +47,20 @@ JavaScript. Ticket не попадает в URL и после первого з Итого формируется 25 логических артефактов. Финансовые показатели всегда выгружаются в JSON с вложенным массивом `financial_lines`. Промышленная группа -объединяет три таблицы, а поле `record_type` различает тип строки. Все строки -используют тот же контракт, что и Mostovik: реквизиты организации, включая ОКПО, -общие поля записи источника и специфичные поля в `payload.*`. +объединяет три таблицы, а поле `record_type` различает тип строки. CSV и XLSX +сохраняют плоские строки с реквизитами организации и полями `payload.*`. +JSON каждого источника использует тот же контракт, что и Mostovik: массив +организаций с `okpo` и массивом записей под ключом группы API. Например: + +```json +[{"okpo":"12345678","bankruptcy":[{"uid":"...","source_group":"bankruptcy","payload.case_number":"..."}]}] +``` + +`ОКПО` переносится из записи в `okpo` оболочки; остальные поля записи остаются +в прежнем виде. Записи одной организации собираются вместе независимо от +порядка чтения таблиц. При отсутствии ОКПО экспортируется `null`, а для +группировки используются ИНН, ОГРН и наименование. При выборе нескольких +источников ZIP содержит отдельный JSON-файл для каждого. Все записи текущего года включаются в публичные файлы, а техническое наименование внешнего поставщика нейтрализуется. Исходные значения в БД @@ -68,8 +79,9 @@ Celery Beat запускает 1. читает каждую нормализованную таблицу один раз без model-level сортировки; предметные даты и fallback по `created_at` индексированы; -2. создаёт компактный JSON-массив и переиспользует его как готовый JSON; -3. потоково формирует CSV и write-only XLSX; +2. создаёт плоский spool и группирует JSON по ОКПО через временный дисковый + индекс SQLite, без загрузки всех строк в память; +3. потоково формирует CSV и write-only XLSX из того же spool; 4. записывает календарный `export_year` в manifest; 5. атомарно публикует `current.json` только после готовности всей матрицы; 6. при ошибке удаляет staging и продолжает отдавать предыдущее поколение того же года; @@ -79,7 +91,10 @@ Web и Celery worker должны использовать общий read-write ## Первый запуск и настройки -Первое поколение можно сформировать вручную: +Первое поколение можно сформировать вручную. После обновления формата JSON +поколения с manifest версии 2 не раздаются: до первой успешной сборки версии 3 +API возвращает `503 source_export_not_ready`. Запустите команду ниже после +развёртывания, чтобы восстановить доступность выгрузок сразу: ```bash PYTHONPATH=src uv run python src/manage.py build_source_record_exports @@ -94,7 +109,8 @@ PYTHONPATH=src uv run python src/manage.py build_source_record_exports | `SOURCE_RECORD_EXPORT_DOWNLOAD_TICKET_TTL_SECONDS` | `300` | Срок действия download-ticket | Для атомарной генерации требуется свободное место не меньше -`(GENERATIONS_TO_KEEP + 1) * размер поколения` плюс запас файловой системы. +`(GENERATIONS_TO_KEEP + 1) * размер поколения` плюс исходный spool, +временная база SQLite размером порядка spool и рабочий запас файловой системы. На локальном снимке от 2026-08-04 поколение за 2026 год содержит 1 962 записи и занимает 4 738 872 байта (4,52 MiB) для всей матрицы. Архив со всеми diff --git a/src/apps/external_data/source_record_export.py b/src/apps/external_data/source_record_export.py index f9adc60..de645c1 100644 --- a/src/apps/external_data/source_record_export.py +++ b/src/apps/external_data/source_record_export.py @@ -8,6 +8,7 @@ import os import re import secrets import shutil +import sqlite3 import zipfile from collections.abc import Iterable, Iterator, Sequence from dataclasses import dataclass @@ -44,7 +45,7 @@ EXPORT_FORMAT_XLSX = "xlsx" EXPORT_FORMAT_JSON = "json" EXPORT_FORMATS = (EXPORT_FORMAT_CSV, EXPORT_FORMAT_XLSX, EXPORT_FORMAT_JSON) FINANCIAL_SOURCE_GROUP = "financial_indicators" -EXPORT_MANIFEST_VERSION = 2 +EXPORT_MANIFEST_VERSION = 3 CURRENT_EXPORT_MANIFEST_FILE_NAME = "current.json" GENERATION_MANIFEST_FILE_NAME = "manifest.json" GENERATION_DIRECTORY_NAME = "generations" @@ -548,6 +549,7 @@ def build_source_record_export_artifacts( file_format=file_format, ) artifact_paths = _render_source_group_artifact( + source_group=source_group, row_spool_path=row_spool_path, output_path=staging_directory / file_name, headers=headers, @@ -964,6 +966,7 @@ def _spool_source_group_rows( def _render_source_group_artifact( *, + source_group: str, row_spool_path: Path, output_path: Path, headers: Sequence[str], @@ -984,10 +987,87 @@ def _render_source_group_artifact( headers=headers, records_count=records_count, ) - os.link(row_spool_path, output_path) + _render_json_file( + source_group=source_group, + row_spool_path=row_spool_path, + output_path=output_path, + ) return (output_path,) +def _render_json_file( + *, + source_group: str, + row_spool_path: Path, + output_path: Path, +) -> None: + grouping_path = output_path.with_name(f".{output_path.name}.grouping.sqlite3") + grouping = sqlite3.connect(grouping_path) + try: + # The published spool can contain millions of unsorted records. Sort on + # local disk instead of sorting the source queryset or loading it in RAM. + grouping.execute("PRAGMA journal_mode=OFF") + grouping.execute( + "CREATE TABLE rows (group_key TEXT, position INTEGER, okpo TEXT, data TEXT)" + ) + batch: list[tuple[str, int, str | None, str]] = [] + for position, row in enumerate(_iter_spooled_rows(row_spool_path)): + raw_okpo = row.pop("ОКПО", None) + okpo = str(raw_okpo) if raw_okpo else None + fallback = [row.get("ИНН"), row.get("ОГРН"), row.get("Наименование")] + if not any(fallback): + fallback.append(row.get("uid")) + group_key = json.dumps( + [okpo] if okpo else [None, *fallback], + ensure_ascii=False, + ) + batch.append( + ( + group_key, + position, + okpo, + json.dumps(row, ensure_ascii=False, separators=(",", ":")), + ) + ) + if len(batch) >= SOURCE_RECORD_EXPORT_ITERATOR_CHUNK_SIZE: + grouping.executemany("INSERT INTO rows VALUES (?, ?, ?, ?)", batch) + batch.clear() + if batch: + grouping.executemany("INSERT INTO rows VALUES (?, ?, ?, ?)", batch) + grouping.commit() + grouping.execute("CREATE INDEX rows_by_group ON rows (group_key, position)") + + with output_path.open("w", encoding="utf-8") as output: + output.write("[") + current_group: str | None = None + first_record = True + for group_key, okpo, data in grouping.execute( + "SELECT group_key, okpo, data FROM rows ORDER BY group_key, position" + ): + if group_key != current_group: + if current_group is not None: + output.write("]},") + output.write( + '{"okpo":' + + json.dumps(okpo, ensure_ascii=False) + + "," + + json.dumps(source_group) + + ":[" + ) + current_group = group_key + first_record = True + if not first_record: + output.write(",") + output.write(data) + first_record = False + if current_group is not None: + output.write("]}") + output.write("]") + finally: + grouping.close() + grouping_path.unlink(missing_ok=True) + + def _iter_spooled_rows(row_spool_path: Path) -> Iterator[dict[str, Any]]: with row_spool_path.open("r", encoding="utf-8") as rows_file: for line in rows_file: diff --git a/tests/apps/external_data/test_source_record_export.py b/tests/apps/external_data/test_source_record_export.py index c04aa32..e39d7bd 100644 --- a/tests/apps/external_data/test_source_record_export.py +++ b/tests/apps/external_data/test_source_record_export.py @@ -4,6 +4,7 @@ import json import zipfile from datetime import UTC, datetime from io import BytesIO, StringIO +from pathlib import Path from tempfile import TemporaryDirectory from unittest.mock import patch @@ -12,6 +13,7 @@ from apps.external_data.source_record_export import ( SOURCE_GROUP_EXPORT_SPECS, SOURCE_RECORD_EXPORT_FIELDS, SourceRecordExportArtifactsUnavailable, + _render_json_file, _source_group_headers, build_source_record_export_artifacts, build_source_records_export_archive, @@ -39,6 +41,40 @@ from tests.apps.organization.factories import OrganizationFactory from tests.apps.user.factories import UserFactory +def _source_records(groups, source_group): + return [record for group in groups for record in group[source_group]] + + +def test_json_groups_interleaved_rows_by_okpo(): + rows = [ + {"ОКПО": "00123456", "ИНН": "111", "uid": "first"}, + {"ОКПО": "87654321", "ИНН": "222", "uid": "other"}, + {"ОКПО": "00123456", "ИНН": "111", "uid": "last"}, + ] + with TemporaryDirectory() as directory: + spool_path = Path(directory) / "rows.json" + output_path = Path(directory) / "output.json" + spool_path.write_text( + "[\n" + ",\n".join(json.dumps(row) for row in rows) + "\n]", + encoding="utf-8", + ) + + _render_json_file( + source_group="bankruptcy", + row_spool_path=spool_path, + output_path=output_path, + ) + + groups = json.loads(output_path.read_text(encoding="utf-8")) + self_groups = {group["okpo"]: group["bankruptcy"] for group in groups} + assert [row["uid"] for row in self_groups["00123456"]] == ["first", "last"] + assert [row["uid"] for row in self_groups["87654321"]] == ["other"] + assert all( + "ОКПО" not in record for record in _source_records(groups, "bankruptcy") + ) + assert not list(Path(directory).glob("*.sqlite3")) + + class SourceRecordExportApiTest(APITestCase): """Check admin access and zero-query delivery of prepared files.""" @@ -121,7 +157,8 @@ class SourceRecordExportApiTest(APITestCase): if artifact.source_group == "industrial_production" and artifact.file_format == "json" ) - industrial_rows = json.loads(industrial_path.read_text(encoding="utf-8")) + industrial_groups = json.loads(industrial_path.read_text(encoding="utf-8")) + industrial_rows = _source_records(industrial_groups, "industrial_production") self.assertEqual( {row["record_type"] for row in industrial_rows}, { @@ -130,11 +167,8 @@ class SourceRecordExportApiTest(APITestCase): "manufacturer_registry_entry", }, ) - self.assertEqual({row["ОКПО"] for row in industrial_rows}, {"12345678"}) - self.assertEqual( - list(industrial_rows[0])[: len(expected_prefix)], - expected_prefix, - ) + self.assertEqual([group["okpo"] for group in industrial_groups], ["12345678"]) + self.assertNotIn("ОКПО", industrial_rows[0]) self.assertNotIn("organization", industrial_rows[0]) self.assertIn("payload.product_name", industrial_rows[0]) @@ -143,7 +177,10 @@ class SourceRecordExportApiTest(APITestCase): for artifact in generation.artifacts if artifact.source_group == "financial_indicators" ) - financial_rows = json.loads(financial_path.read_text(encoding="utf-8")) + financial_rows = _source_records( + json.loads(financial_path.read_text(encoding="utf-8")), + "financial_indicators", + ) self.assertEqual(financial_rows[0]["financial_lines"][0]["line_code"], "1600") arbitration_path = next( @@ -151,7 +188,9 @@ class SourceRecordExportApiTest(APITestCase): for artifact in generation.artifacts if artifact.source_group == "arbitration" and artifact.file_format == "json" ) - arbitration_row = json.loads(arbitration_path.read_text(encoding="utf-8"))[0] + arbitration_row = _source_records( + json.loads(arbitration_path.read_text(encoding="utf-8")), "arbitration" + )[0] self.assertEqual(arbitration_row["source"], "arbitration") self.assertEqual( arbitration_row["external_id"], arbitration_row["payload.case_number"] @@ -219,7 +258,9 @@ class SourceRecordExportApiTest(APITestCase): ) for artifact in artifacts: if artifact.file_format == "json": - exported_values = json.loads(artifact.path.read_text(encoding="utf-8")) + groups = json.loads(artifact.path.read_text(encoding="utf-8")) + self.assertEqual([group["okpo"] for group in groups], ["11223344"]) + exported_values = _source_records(groups, "bankruptcy") self.assertEqual( [key for key in exported_values[0] if key.startswith("payload.")], [ @@ -244,7 +285,8 @@ class SourceRecordExportApiTest(APITestCase): serialized_values = str(exported_values) self.assertIn(str(excluded_record.id), serialized_values) self.assertIn(str(included_record.id), str(exported_values)) - self.assertIn("11223344", str(exported_values)) + if artifact.file_format != "json": + self.assertIn("11223344", str(exported_values)) self.assertNotRegex( serialized_values, r"(?i)(?