Merge pull request 'fix: group JSON source exports by organization (main)' (#42) from hotfix/json-source-export-20260927 into main
All checks were successful
CI/CD Pipeline / Quality Gate (push) Successful in 57s
CI/CD Pipeline / Build and Push Images (push) Successful in 0s
CI/CD Pipeline / Internal Notify (push) Successful in 0s
CI/CD Pipeline / Deploy Dev via Compose (push) Successful in 1s

This commit was merged in pull request #42.
This commit is contained in:
avm
2026-09-27 11:43:35 +03:00
3 changed files with 163 additions and 21 deletions

View File

@@ -53,9 +53,22 @@ XLSX или JSON заново. Он упаковывает файлы после
больше из-за разбиения крупных XLSX. Если финансовые показатели выбраны вместе больше из-за разбиения крупных XLSX. Если финансовые показатели выбраны вместе
с другим форматом, в ZIP для них всё равно включается JSON. с другим форматом, в ZIP для них всё равно включается JSON.
Все форматы начинают строку организации с полей `Наименование`, `ИНН`, `ОГРН`, CSV и XLSX начинают строку организации с полей `Наименование`, `ИНН`, `ОГРН`,
`КПП`, `ОКПО`, после которых следуют поля исходной записи и развёрнутого `КПП`, `ОКПО`, после которых следуют поля исходной записи и развёрнутого
`payload`. Все записи текущего года включаются в публичные файлы, а техническое `payload`. JSON каждого источника — массив организаций с `okpo` и массивом
записей под ключом группы API. Например, `bankruptcy-procedures.json`:
```json
[{"okpo":"12345678","bankruptcy":[{"uid":"...","source_group":"bankruptcy","payload.case_number":"..."}]}]
```
Записи одной организации собираются вместе независимо от порядка чтения из БД.
`ОКПО` переносится из записи в `okpo` оболочки; остальные поля записи остаются
в прежнем виде. При отсутствии ОКПО экспортируется `null`, а для группировки
используются ИНН, ОГРН и наименование, чтобы не смешивать разные организации.
Вложенные финансовые строки `financial_lines` сохраняются внутри финансовой
записи. При выборе нескольких источников ZIP содержит отдельный JSON-файл для
каждого. Все записи текущего года включаются в публичные файлы, а техническое
наименование внешнего поставщика нейтрализуется. Исходные значения в БД наименование внешнего поставщика нейтрализуется. Исходные значения в БД
сохраняются для работы интеграции и дедупликации. сохраняются для работы интеграции и дедупликации.
@@ -71,8 +84,9 @@ Celery Beat запускает
1. читает каждую группу из БД один раз без глобальной сортировки миллионов строк; 1. читает каждую группу из БД один раз без глобальной сортировки миллионов строк;
выборка текущего года использует функциональный индекс по году строковой выборка текущего года использует функциональный индекс по году строковой
`record_date`, а записи без предметной даты — индекс `created_at`; `record_date`, а записи без предметной даты — индекс `created_at`;
2. пишет compact JSON-массив на диск и использует его как готовый JSON без второй копии; 2. пишет плоский spool на диск, затем группирует JSON по ОКПО через временный
3. потоково создаёт CSV и XLSX без накопления всех строк в памяти; дисковый индекс SQLite без накопления всех строк в памяти;
3. потоково создаёт CSV и XLSX из того же spool;
4. разбивает XLSX по умолчанию по 100 000 строк на отдельные файлы, ограничивая временный XML и не превышая лимит Excel; 4. разбивает XLSX по умолчанию по 100 000 строк на отдельные файлы, ограничивая временный XML и не превышая лимит Excel;
5. записывает размеры файлов, номера частей и календарный `export_year` в manifest; 5. записывает размеры файлов, номера частей и календарный `export_year` в manifest;
6. атомарно переключает `current.json` только после готовности всей матрицы; 6. атомарно переключает `current.json` только после готовности всей матрицы;
@@ -84,9 +98,11 @@ Celery Beat запускает
### Расчёт диска ### Расчёт диска
Атомарная публикация требует одновременно хранить уже опубликованные поколения Атомарная публикация требует одновременно хранить уже опубликованные поколения
и одно новое поколение в staging. Минимальный запас под артефакты рассчитывается и одно новое поколение в staging. Во время группировки JSON дополнительно
как `(SOURCE_RECORD_EXPORT_GENERATIONS_TO_KEEP + 1) * размер поколения`, плюс создаётся временная база SQLite размером порядка исходного spool. Минимальный
рабочий запас файловой системы. Исторический снимок dev от 2026-08-03 до запас под артефакты рассчитывается как
`(SOURCE_RECORD_EXPORT_GENERATIONS_TO_KEEP + 1) * размер поколения`, плюс
spool, временная база SQLite и рабочий запас файловой системы. Исторический снимок dev от 2026-08-03 до
ограничения по году занимал 16,55 ГБ (54 физических файла); актуальный размер ограничения по году занимал 16,55 ГБ (54 физических файла); актуальный размер
годового поколения нужно брать из `total_size` результата команды сборки. годового поколения нужно брать из `total_size` результата команды сборки.
Временная копия целого ZIP при скачивании не создаётся. Временная копия целого ZIP при скачивании не создаётся.
@@ -104,7 +120,10 @@ Celery Beat запускает
Celery worker. В Docker Compose используется `./media:/app/media`. Celery worker. В Docker Compose используется `./media:/app/media`.
После первого развёртывания готовое поколение можно создать сразу, не ожидая После первого развёртывания готовое поколение можно создать сразу, не ожидая
ночного расписания: ночного расписания. После обновления формата JSON поколения с manifest версии 2
не раздаются: до первой успешной сборки версии 3 API возвращает
`503 source_export_not_ready`. Запустите команду ниже после развёртывания,
чтобы восстановить доступность выгрузок сразу:
```bash ```bash
PYTHONPATH=src uv run python src/manage.py build_source_record_exports PYTHONPATH=src uv run python src/manage.py build_source_record_exports

View File

@@ -8,6 +8,7 @@ import os
import re import re
import secrets import secrets
import shutil import shutil
import sqlite3
import zipfile import zipfile
from collections.abc import Iterable, Iterator, Sequence from collections.abc import Iterable, Iterator, Sequence
from dataclasses import dataclass from dataclasses import dataclass
@@ -38,7 +39,7 @@ EXPORT_FORMAT_XLSX = "xlsx"
EXPORT_FORMAT_JSON = "json" EXPORT_FORMAT_JSON = "json"
EXPORT_FORMATS = (EXPORT_FORMAT_CSV, EXPORT_FORMAT_XLSX, EXPORT_FORMAT_JSON) EXPORT_FORMATS = (EXPORT_FORMAT_CSV, EXPORT_FORMAT_XLSX, EXPORT_FORMAT_JSON)
FINANCIAL_SOURCE_GROUP = SourceGroup.FINANCIAL_INDICATORS.value FINANCIAL_SOURCE_GROUP = SourceGroup.FINANCIAL_INDICATORS.value
EXPORT_MANIFEST_VERSION = 2 EXPORT_MANIFEST_VERSION = 3
CURRENT_EXPORT_MANIFEST_FILE_NAME = "current.json" CURRENT_EXPORT_MANIFEST_FILE_NAME = "current.json"
GENERATION_MANIFEST_FILE_NAME = "manifest.json" GENERATION_MANIFEST_FILE_NAME = "manifest.json"
GENERATION_DIRECTORY_NAME = "generations" GENERATION_DIRECTORY_NAME = "generations"
@@ -233,6 +234,7 @@ def build_source_record_export_artifacts(
file_format=file_format, file_format=file_format,
) )
artifact_paths = _render_source_group_artifact( artifact_paths = _render_source_group_artifact(
source_group=source_group,
row_spool_path=row_spool_path, row_spool_path=row_spool_path,
output_path=staging_directory / file_name, output_path=staging_directory / file_name,
headers=headers, headers=headers,
@@ -645,6 +647,7 @@ def _spool_source_group_rows(
def _render_source_group_artifact( def _render_source_group_artifact(
*, *,
source_group: str,
row_spool_path: Path, row_spool_path: Path,
output_path: Path, output_path: Path,
headers: Sequence[str], headers: Sequence[str],
@@ -665,7 +668,11 @@ def _render_source_group_artifact(
headers=headers, headers=headers,
records_count=records_count, records_count=records_count,
) )
_render_json_file(row_spool_path=row_spool_path, output_path=output_path) _render_json_file(
source_group=source_group,
row_spool_path=row_spool_path,
output_path=output_path,
)
return (output_path,) return (output_path,)
@@ -767,10 +774,75 @@ def _build_xlsx_part_path(
def _render_json_file( def _render_json_file(
*, *,
source_group: str,
row_spool_path: Path, row_spool_path: Path,
output_path: Path, output_path: Path,
) -> None: ) -> None:
os.link(row_spool_path, output_path) grouping_path = output_path.with_name(f".{output_path.name}.grouping.sqlite3")
grouping = sqlite3.connect(grouping_path)
try:
# The published spool can contain millions of unsorted records. Sort on
# local disk instead of sorting the source queryset or loading it in RAM.
grouping.execute("PRAGMA journal_mode=OFF")
grouping.execute(
"CREATE TABLE rows (group_key TEXT, position INTEGER, okpo TEXT, data TEXT)"
)
batch: list[tuple[str, int, str | None, str]] = []
for position, row in enumerate(_iter_spooled_rows(row_spool_path)):
raw_okpo = row.pop("ОКПО", None)
okpo = str(raw_okpo) if raw_okpo else None
fallback = [row.get("ИНН"), row.get("ОГРН"), row.get("Наименование")]
if not any(fallback):
fallback.append(row.get("uid"))
group_key = json.dumps(
[okpo] if okpo else [None, *fallback],
ensure_ascii=False,
)
batch.append(
(
group_key,
position,
okpo,
json.dumps(row, ensure_ascii=False, separators=(",", ":")),
)
)
if len(batch) >= SOURCE_RECORD_EXPORT_ITERATOR_CHUNK_SIZE:
grouping.executemany("INSERT INTO rows VALUES (?, ?, ?, ?)", batch)
batch.clear()
if batch:
grouping.executemany("INSERT INTO rows VALUES (?, ?, ?, ?)", batch)
grouping.commit()
grouping.execute("CREATE INDEX rows_by_group ON rows (group_key, position)")
with output_path.open("w", encoding="utf-8") as output:
output.write("[")
current_group: str | None = None
first_record = True
for group_key, okpo, data in grouping.execute(
"SELECT group_key, okpo, data FROM rows ORDER BY group_key, position"
):
if group_key != current_group:
if current_group is not None:
output.write("]},")
output.write(
'{"okpo":'
+ json.dumps(okpo, ensure_ascii=False)
+ ","
+ json.dumps(source_group)
+ ":["
)
current_group = group_key
first_record = True
if not first_record:
output.write(",")
output.write(data)
first_record = False
if current_group is not None:
output.write("]}")
output.write("]")
finally:
grouping.close()
grouping_path.unlink(missing_ok=True)
def _build_record_row( def _build_record_row(

View File

@@ -38,6 +38,10 @@ from rest_framework.test import APITestCase
from tests.apps.user.factories import UserFactory from tests.apps.user.factories import UserFactory
def _source_records(groups, source_group):
return [record for group in groups for record in group[source_group]]
class OrganizationSourceRecordExportApiV2Test(APITestCase): class OrganizationSourceRecordExportApiV2Test(APITestCase):
"""Checks admin-only source-record export contract.""" """Checks admin-only source-record export contract."""
@@ -95,6 +99,17 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
self.assertEqual(generation.export_year, timezone.localdate().year) self.assertEqual(generation.export_year, timezone.localdate().year)
self.assertIn('"artifacts_count": 25', command_output.getvalue()) self.assertIn('"artifacts_count": 25', command_output.getvalue())
def test_previous_json_generation_requires_rebuild(self):
build_source_record_export_artifacts()
manifest_path = Path(self.export_directory.name) / "current.json"
manifest = json.loads(manifest_path.read_text(encoding="utf-8"))
self.assertEqual(manifest["version"], 3)
manifest["version"] = 2
manifest_path.write_text(json.dumps(manifest), encoding="utf-8")
with self.assertRaises(SourceRecordExportArtifactsUnavailable):
load_current_source_record_export_generation()
def test_generation_contains_only_records_from_its_calendar_year(self): def test_generation_contains_only_records_from_its_calendar_year(self):
export_year = 2026 export_year = 2026
generated_at = datetime(export_year, 8, 4, 6, 0, tzinfo=UTC) generated_at = datetime(export_year, 8, 4, 6, 0, tzinfo=UTC)
@@ -174,7 +189,10 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
if artifact.source_group == SourceGroup.PLANNED_INSPECTIONS.value if artifact.source_group == SourceGroup.PLANNED_INSPECTIONS.value
and artifact.file_format == "json" and artifact.file_format == "json"
) )
inspection_rows = json.loads(inspection_path.read_text(encoding="utf-8")) inspection_rows = _source_records(
json.loads(inspection_path.read_text(encoding="utf-8")),
SourceGroup.PLANNED_INSPECTIONS.value,
)
self.assertEqual( self.assertEqual(
{row["uid"] for row in inspection_rows}, {row["uid"] for row in inspection_rows},
{str(current_record.pk), str(dateless_current_record.pk)}, {str(current_record.pk), str(dateless_current_record.pk)},
@@ -185,7 +203,10 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
for artifact in generation.artifacts for artifact in generation.artifacts
if artifact.source_group == SourceGroup.FINANCIAL_INDICATORS.value if artifact.source_group == SourceGroup.FINANCIAL_INDICATORS.value
) )
financial_rows = json.loads(financial_path.read_text(encoding="utf-8")) financial_rows = _source_records(
json.loads(financial_path.read_text(encoding="utf-8")),
SourceGroup.FINANCIAL_INDICATORS.value,
)
self.assertEqual( self.assertEqual(
[row["uid"] for row in financial_rows], [row["uid"] for row in financial_rows],
[str(current_financial_record.pk)], [str(current_financial_record.pk)],
@@ -308,8 +329,12 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
self.assertIn("payload.risk.score", rows[0]) self.assertIn("payload.risk.score", rows[0])
self.assertIn("payload.tags", rows[0]) self.assertIn("payload.tags", rows[0])
financial_rows = json.loads( financial_groups = json.loads(
archive.read("financial-indicators.json").decode("utf-8"), archive.read("financial-indicators.json").decode("utf-8")
)
self.assertEqual(financial_groups[0]["okpo"], "12345678")
financial_rows = _source_records(
financial_groups, SourceGroup.FINANCIAL_INDICATORS.value
) )
self.assertEqual(financial_rows[0]["Наименование"], organization.full_name) self.assertEqual(financial_rows[0]["Наименование"], organization.full_name)
self.assertEqual( self.assertEqual(
@@ -582,6 +607,7 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
for file_format in ("json", "csv", "xlsx"): for file_format in ("json", "csv", "xlsx"):
artifact_path = export_directory / f"artifact.{file_format}" artifact_path = export_directory / f"artifact.{file_format}"
_render_source_group_artifact( _render_source_group_artifact(
source_group=SourceGroup.PLANNED_INSPECTIONS.value,
row_spool_path=spool_path, row_spool_path=spool_path,
output_path=artifact_path, output_path=artifact_path,
headers=headers, headers=headers,
@@ -623,18 +649,30 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
self.assertFalse(queryset.ordered) self.assertFalse(queryset.ordered)
self.assertFalse(queryset.query.default_ordering) self.assertFalse(queryset.query.default_ordering)
def test_json_artifact_reuses_valid_canonical_spool_without_copying_it(self): def test_json_artifact_groups_nonadjacent_records_by_okpo(self):
organization = Organization.objects.create( organization = Organization.objects.create(
name='ООО "JSON без копии"', name='ООО "JSON без копии"',
inn="7707083813", inn="7707083813",
okpo="00123456",
)
other_organization = Organization.objects.create(
name='ООО "Вторая организация"',
inn="7707083814",
okpo="87654321",
) )
extension = PlannedInspectionExtension.objects.create( extension = PlannedInspectionExtension.objects.create(
organization=organization, organization=organization,
title="Плановые проверки Генпрокуратуры России", title="Плановые проверки Генпрокуратуры России",
) )
for index in range(2): other_extension = PlannedInspectionExtension.objects.create(
organization=other_organization,
title="Плановые проверки Генпрокуратуры России",
)
for index, record_extension in enumerate(
(extension, other_extension, extension)
):
OrganizationSourceRecord.objects.create( OrganizationSourceRecord.objects.create(
extension=extension, extension=record_extension,
record_type="inspection", record_type="inspection",
source="inspections", source="inspections",
external_id=f"INSP-JSON-{index}", external_id=f"INSP-JSON-{index}",
@@ -652,6 +690,7 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
) )
_render_source_group_artifact( _render_source_group_artifact(
source_group=SourceGroup.PLANNED_INSPECTIONS.value,
row_spool_path=spool_path, row_spool_path=spool_path,
output_path=artifact_path, output_path=artifact_path,
headers=headers, headers=headers,
@@ -659,9 +698,21 @@ class OrganizationSourceRecordExportApiV2Test(APITestCase):
records_count=records_count, records_count=records_count,
) )
self.assertEqual(records_count, 2) self.assertEqual(records_count, 3)
self.assertEqual(len(json.loads(spool_path.read_text())), 2) self.assertEqual(len(json.loads(spool_path.read_text())), 3)
self.assertTrue(os.path.samefile(spool_path, artifact_path)) groups = json.loads(artifact_path.read_text(encoding="utf-8"))
self.assertEqual(
{group["okpo"] for group in groups}, {"00123456", "87654321"}
)
grouped = {
group["okpo"]: group[SourceGroup.PLANNED_INSPECTIONS.value]
for group in groups
}
self.assertEqual(len(grouped["00123456"]), 2)
self.assertEqual(len(grouped["87654321"]), 1)
self.assertNotIn("ОКПО", grouped["00123456"][0])
self.assertFalse(os.path.samefile(spool_path, artifact_path))
self.assertFalse(list(Path(temporary_directory).glob("*.sqlite3")))
def test_generation_publishes_complete_matrix_and_keeps_previous_on_failure(self): def test_generation_publishes_complete_matrix_and_keeps_previous_on_failure(self):
first_generation = build_source_record_export_artifacts() first_generation = build_source_record_export_artifacts()