fix: group JSON source exports by organization
All checks were successful
CI/CD Pipeline / Quality Gate (pull_request) Successful in 1m17s
CI/CD Pipeline / Build and Push Images (pull_request) Successful in 0s
CI/CD Pipeline / Internal Notify (pull_request) Successful in 0s
CI/CD Pipeline / Deploy Dev via Compose (pull_request) Successful in 1s
All checks were successful
CI/CD Pipeline / Quality Gate (pull_request) Successful in 1m17s
CI/CD Pipeline / Build and Push Images (pull_request) Successful in 0s
CI/CD Pipeline / Internal Notify (pull_request) Successful in 0s
CI/CD Pipeline / Deploy Dev via Compose (pull_request) Successful in 1s
This commit is contained in:
@@ -53,9 +53,22 @@ XLSX или JSON заново. Он упаковывает файлы после
|
||||
больше из-за разбиения крупных XLSX. Если финансовые показатели выбраны вместе
|
||||
с другим форматом, в ZIP для них всё равно включается JSON.
|
||||
|
||||
Все форматы начинают строку организации с полей `Наименование`, `ИНН`, `ОГРН`,
|
||||
CSV и XLSX начинают строку организации с полей `Наименование`, `ИНН`, `ОГРН`,
|
||||
`КПП`, `ОКПО`, после которых следуют поля исходной записи и развёрнутого
|
||||
`payload`. Все записи текущего года включаются в публичные файлы, а техническое
|
||||
`payload`. JSON каждого источника — массив организаций с `okpo` и массивом
|
||||
записей под ключом группы API. Например, `bankruptcy-procedures.json`:
|
||||
|
||||
```json
|
||||
[{"okpo":"12345678","bankruptcy":[{"uid":"...","source_group":"bankruptcy","payload.case_number":"..."}]}]
|
||||
```
|
||||
|
||||
Записи одной организации собираются вместе независимо от порядка чтения из БД.
|
||||
`ОКПО` переносится из записи в `okpo` оболочки; остальные поля записи остаются
|
||||
в прежнем виде. При отсутствии ОКПО экспортируется `null`, а для группировки
|
||||
используются ИНН, ОГРН и наименование, чтобы не смешивать разные организации.
|
||||
Вложенные финансовые строки `financial_lines` сохраняются внутри финансовой
|
||||
записи. При выборе нескольких источников ZIP содержит отдельный JSON-файл для
|
||||
каждого. Все записи текущего года включаются в публичные файлы, а техническое
|
||||
наименование внешнего поставщика нейтрализуется. Исходные значения в БД
|
||||
сохраняются для работы интеграции и дедупликации.
|
||||
|
||||
@@ -71,8 +84,9 @@ Celery Beat запускает
|
||||
1. читает каждую группу из БД один раз без глобальной сортировки миллионов строк;
|
||||
выборка текущего года использует функциональный индекс по году строковой
|
||||
`record_date`, а записи без предметной даты — индекс `created_at`;
|
||||
2. пишет compact JSON-массив на диск и использует его как готовый JSON без второй копии;
|
||||
3. потоково создаёт CSV и XLSX без накопления всех строк в памяти;
|
||||
2. пишет плоский spool на диск, затем группирует JSON по ОКПО через временный
|
||||
дисковый индекс SQLite без накопления всех строк в памяти;
|
||||
3. потоково создаёт CSV и XLSX из того же spool;
|
||||
4. разбивает XLSX по умолчанию по 100 000 строк на отдельные файлы, ограничивая временный XML и не превышая лимит Excel;
|
||||
5. записывает размеры файлов, номера частей и календарный `export_year` в manifest;
|
||||
6. атомарно переключает `current.json` только после готовности всей матрицы;
|
||||
@@ -84,9 +98,11 @@ Celery Beat запускает
|
||||
### Расчёт диска
|
||||
|
||||
Атомарная публикация требует одновременно хранить уже опубликованные поколения
|
||||
и одно новое поколение в staging. Минимальный запас под артефакты рассчитывается
|
||||
как `(SOURCE_RECORD_EXPORT_GENERATIONS_TO_KEEP + 1) * размер поколения`, плюс
|
||||
рабочий запас файловой системы. Исторический снимок dev от 2026-08-03 до
|
||||
и одно новое поколение в staging. Во время группировки JSON дополнительно
|
||||
создаётся временная база SQLite размером порядка исходного spool. Минимальный
|
||||
запас под артефакты рассчитывается как
|
||||
`(SOURCE_RECORD_EXPORT_GENERATIONS_TO_KEEP + 1) * размер поколения`, плюс
|
||||
spool, временная база SQLite и рабочий запас файловой системы. Исторический снимок dev от 2026-08-03 до
|
||||
ограничения по году занимал 16,55 ГБ (54 физических файла); актуальный размер
|
||||
годового поколения нужно брать из `total_size` результата команды сборки.
|
||||
Временная копия целого ZIP при скачивании не создаётся.
|
||||
@@ -104,7 +120,10 @@ Celery Beat запускает
|
||||
Celery worker. В Docker Compose используется `./media:/app/media`.
|
||||
|
||||
После первого развёртывания готовое поколение можно создать сразу, не ожидая
|
||||
ночного расписания:
|
||||
ночного расписания. После обновления формата JSON поколения с manifest версии 2
|
||||
не раздаются: до первой успешной сборки версии 3 API возвращает
|
||||
`503 source_export_not_ready`. Запустите команду ниже после развёртывания,
|
||||
чтобы восстановить доступность выгрузок сразу:
|
||||
|
||||
```bash
|
||||
PYTHONPATH=src uv run python src/manage.py build_source_record_exports
|
||||
|
||||
Reference in New Issue
Block a user