fix: group JSON source exports by organization
This commit is contained in:
@@ -47,9 +47,20 @@ JavaScript. Ticket не попадает в URL и после первого з
|
||||
|
||||
Итого формируется 25 логических артефактов. Финансовые показатели всегда
|
||||
выгружаются в JSON с вложенным массивом `financial_lines`. Промышленная группа
|
||||
объединяет три таблицы, а поле `record_type` различает тип строки. Все строки
|
||||
используют тот же контракт, что и Mostovik: реквизиты организации, включая ОКПО,
|
||||
общие поля записи источника и специфичные поля в `payload.*`.
|
||||
объединяет три таблицы, а поле `record_type` различает тип строки. CSV и XLSX
|
||||
сохраняют плоские строки с реквизитами организации и полями `payload.*`.
|
||||
JSON каждого источника использует тот же контракт, что и Mostovik: массив
|
||||
организаций с `okpo` и массивом записей под ключом группы API. Например:
|
||||
|
||||
```json
|
||||
[{"okpo":"12345678","bankruptcy":[{"uid":"...","source_group":"bankruptcy","payload.case_number":"..."}]}]
|
||||
```
|
||||
|
||||
`ОКПО` переносится из записи в `okpo` оболочки; остальные поля записи остаются
|
||||
в прежнем виде. Записи одной организации собираются вместе независимо от
|
||||
порядка чтения таблиц. При отсутствии ОКПО экспортируется `null`, а для
|
||||
группировки используются ИНН, ОГРН и наименование. При выборе нескольких
|
||||
источников ZIP содержит отдельный JSON-файл для каждого.
|
||||
|
||||
Все записи текущего года включаются в публичные файлы, а техническое
|
||||
наименование внешнего поставщика нейтрализуется. Исходные значения в БД
|
||||
@@ -68,8 +79,9 @@ Celery Beat запускает
|
||||
|
||||
1. читает каждую нормализованную таблицу один раз без model-level сортировки;
|
||||
предметные даты и fallback по `created_at` индексированы;
|
||||
2. создаёт компактный JSON-массив и переиспользует его как готовый JSON;
|
||||
3. потоково формирует CSV и write-only XLSX;
|
||||
2. создаёт плоский spool и группирует JSON по ОКПО через временный дисковый
|
||||
индекс SQLite, без загрузки всех строк в память;
|
||||
3. потоково формирует CSV и write-only XLSX из того же spool;
|
||||
4. записывает календарный `export_year` в manifest;
|
||||
5. атомарно публикует `current.json` только после готовности всей матрицы;
|
||||
6. при ошибке удаляет staging и продолжает отдавать предыдущее поколение того же года;
|
||||
@@ -79,7 +91,10 @@ Web и Celery worker должны использовать общий read-write
|
||||
|
||||
## Первый запуск и настройки
|
||||
|
||||
Первое поколение можно сформировать вручную:
|
||||
Первое поколение можно сформировать вручную. После обновления формата JSON
|
||||
поколения с manifest версии 2 не раздаются: до первой успешной сборки версии 3
|
||||
API возвращает `503 source_export_not_ready`. Запустите команду ниже после
|
||||
развёртывания, чтобы восстановить доступность выгрузок сразу:
|
||||
|
||||
```bash
|
||||
PYTHONPATH=src uv run python src/manage.py build_source_record_exports
|
||||
@@ -94,7 +109,8 @@ PYTHONPATH=src uv run python src/manage.py build_source_record_exports
|
||||
| `SOURCE_RECORD_EXPORT_DOWNLOAD_TICKET_TTL_SECONDS` | `300` | Срок действия download-ticket |
|
||||
|
||||
Для атомарной генерации требуется свободное место не меньше
|
||||
`(GENERATIONS_TO_KEEP + 1) * размер поколения` плюс запас файловой системы.
|
||||
`(GENERATIONS_TO_KEEP + 1) * размер поколения` плюс исходный spool,
|
||||
временная база SQLite размером порядка spool и рабочий запас файловой системы.
|
||||
|
||||
На локальном снимке от 2026-08-04 поколение за 2026 год содержит 1 962 записи
|
||||
и занимает 4 738 872 байта (4,52 MiB) для всей матрицы. Архив со всеми
|
||||
|
||||
Reference in New Issue
Block a user