fix: implement backend testing amendments and atomic source publication
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m16s
Mostovik Backend CI/CD / Deploy dev (push) Has been cancelled
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been cancelled
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been cancelled

This commit is contained in:
Aleksandr Meshchryakov
2026-10-12 09:47:28 +02:00
parent 2eeb237a47
commit 9b3da5b505
46 changed files with 2918 additions and 335 deletions

View File

@@ -1,4 +1,4 @@
# Карточки, задачи, история и готовые выгрузки — 14.09.2026
# Карточки, задачи, история и готовые выгрузки — 12.10.2026
Этот документ уточняет общий runtime-контракт по новому
[source-records-backend-improvements.md](source-integration/source-records-backend-improvements.md).
@@ -58,10 +58,26 @@ GET `/api/v1/jobs/{task_id}/` для этих трёх источников ра
счётчики HTTP/parse ошибок и nullable дата реестра. В публичный meta входят только
разрешённые счётчики, без конфигурации loader или raw responses. Те же счётчики
доступны в log meta; terminal result имеет aliases `records_count` / `organizations_count`.
Legacy jobs сохраняют прежние значения
статуса и прежний result. Общая схема допускает legacy `error`, deprecated raw aliases
`pending|started|retry|failure|revoked` и дополнительные
поля result. Generic parser results list имеет уникальный operationId
Все jobs возвращают канонические статусы; data migration переводит сохранённые
`pending|started|retry|failure|error|revoked` в `queued|running|retrying|failed|cancelled`.
Приём legacy status в фильтре списка сохранён. `skipped` — terminal результат
задачи с `result.status=skipped`, сохранённый как status=skipped; он не сдвигает дату успешной публикации.
Активный progress ограничен 99; complete устанавливает 100. Карточки и dashboard
показывают `failed` вместо `error`, исключают terminal задачи из active_tasks.
Публичные ошибки jobs, карточек, истории и CSV используют безопасное описание;
исходная диагностика остаётся в базе и серверных логах.
Составные обновления Минпромторга и поставщиков ГОЗ сохраняют подготовленные
входные данные в приватных таблицах `ParserRefreshRun`/`ParserRefreshStage`.
До готовности всех частей публичные записи и успешная история не меняются;
подготовленные задачи остаются running с progress до 99. Последняя часть одной
транзакцией публикует записи, логи и success/skipped всех частей. Ошибка, отмена
или cleanup просроченной задачи закрывает весь запуск и удаляет staging; старые
записи сохраняются. Повторная доставка не заменяет staging и не открывает terminal
запуск. Те же правила применяются к `parse_all_minpromtorg` и его вызову из
`parse_all_sources`. Отдельные вызовы одиночных парсеров сохраняют прежний scope.
Generic parser results list имеет уникальный operationId
`api_v1_parsers_results_list`; detail сохраняет прежний `api_v1_parsers_results_read`.
Dashboard сохраняет operationId `api_v1_parsers_dashboard_list` и tag `api`,
чтобы generated client оставался в прежнем модуле.
@@ -70,9 +86,13 @@ Dashboard сохраняет operationId `api_v1_parsers_dashboard_list` и tag
POST `/api/v2/organization-source-records/export-ticket/` с `sources` и `format`
возвращает HTTP 201 `{ticket, file_name, expires_in}`. Ticket одноразовый,
TTL по умолчанию 300 секунд. POST `/export-download/` с form field `ticket`
возвращает ZIP HTTP 200; истёкший, неизвестный или использованный ticket —
HTTP 410 `{detail, code: "ticket_expired"}`. Capability позволяет native form
TTL по умолчанию 300 секунд. В cache ticket закреплены user_id, sources, format и
immutable generation; download использует ticket как bearer capability. POST `/export-download/` с form field `ticket`
возвращает ZIP HTTP 200 с `Cache-Control: no-store`; неверный или неизвестный
ticket — HTTP 400 `{detail, code: "invalid_ticket"}`, истёкший или использованный —
HTTP 410 `{detail, code: "ticket_expired"}`. Маркер выпуска сохраняется ещё сутки
после TTL для различения неизвестного и истёкшего ticket. Временная недоступность
архива даёт 503 и не расходует ticket. Capability позволяет native form
без передачи JWT в URL. Для выпуска ticket нужны прежние admin permissions.
Публикация любого из трёх снимков запрашивает существующую фоновую сборку
@@ -101,3 +121,9 @@ payload требуется запустить существующую кома
Локальные контрактные тесты не подтверждают живой upstream СРО или принятие
frontend UI. Доступ к upstream по умолчанию выключен; включение требует отдельного
согласованного основания. Настоящие адреса/секреты стендов в эти проверки не входят.
## Поправки проверки от 8 октября
Реализованный query, правила нормализации, проверки upload и порядок применения:
[backend-testing-amendments-2026-10.md](backend-testing-amendments-2026-10.md).