fix: implement backend testing amendments and atomic source publication
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m16s
Mostovik Backend CI/CD / Deploy dev (push) Has been cancelled
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been cancelled
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been cancelled
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m16s
Mostovik Backend CI/CD / Deploy dev (push) Has been cancelled
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been cancelled
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been cancelled
This commit is contained in:
121
docs/backend-testing-amendments-2026-10.md
Normal file
121
docs/backend-testing-amendments-2026-10.md
Normal file
@@ -0,0 +1,121 @@
|
||||
# Поправки backend после проверки 8 октября
|
||||
|
||||
Основание: файл `backend-testing-8-10-amendments.md`, полученный от Глеба в Telegram
|
||||
9 октября 2026, сообщение 395926. Этот документ описывает реализацию и её локальную
|
||||
приёмку; применение к dev/production и нормализация рабочих данных сюда не входят.
|
||||
|
||||
## Записи и фильтры
|
||||
|
||||
- `organization__is_branch`: boolean ordering, false/true/null по возрастанию,
|
||||
true/false/null по убыванию; uid обеспечивает стабильную пагинацию.
|
||||
- `payload__issue_date_normalized`, `payload__expiry_date_normalized` для industrial,
|
||||
`payload__term_date` для ФСТЭК, `payload__valid_from` для лицензий: ISO dates,
|
||||
null/пустое значение в конце в обоих направлениях.
|
||||
- Inclusive ranges `first_event_date_from/to` применяются к
|
||||
`payload.structure.first_event_date`, `license_valid_from_from/to` — к
|
||||
`payload.valid_from`, `traded_on_from/to` — к `payload.trading.traded_on` обеих бирж.
|
||||
Неверная дата, обратный диапазон и несовместимая группа дают HTTP 400.
|
||||
- GET `/api/v2/organization-source-records/filter-options/` принимает
|
||||
`source_group=leasing|company_messages`, `field=message_type`, optional `search`
|
||||
до 200 символов. Возвращает уникальные value/label/records_count из той же
|
||||
видимой таблицы, что list, с сортировкой label/value. Авторизация как у list.
|
||||
- Числовое ordering amount в закупках и арбитраже сохранено и проверяется отдельно.
|
||||
|
||||
Нормализация выполняется при ingestion и legacy backfill. Для ФСТЭК три raw-ключа
|
||||
`Срок действия сертификата`, `Срок действия лицензии`, `Срок действия` (в таком
|
||||
порядке приоритета) дают `term_raw` и nullable ISO `term_date`. Для industrial
|
||||
нормализуются issue_date/expiry_date. Непарсируемый raw сохраняется, дата становится
|
||||
null и записывается warning без upstream body.
|
||||
|
||||
Миграционное правило филиалов: известное `Organization.is_branch` имеет приоритет;
|
||||
затем legacy `Organization.filial`; при отсутствии обоих используется единственное
|
||||
согласованное значение payload.is_branch/filial. `.T./true/1` и `.F./false/0`
|
||||
распознаются без учёта регистра. При конфликтах сохраняется каноническое значение
|
||||
и выдаётся warning. Если неизвестная организация встречается в нескольких старых
|
||||
записях, первым закрепляется значение при обходе по uid; дальнейшие конфликты
|
||||
логируются. Payload.is_branch сверяется с организацией, raw filial сохраняется.
|
||||
Экспорт добавляет `organization.is_branch`, а raw остаётся доступным как raw.
|
||||
|
||||
## Задачи и общая публикация
|
||||
|
||||
Канонические API statuses: queued/running/retrying/success/skipped/failed/cancelled.
|
||||
Активный progress не достигает 100; terminal событие нельзя заменить поздним
|
||||
success/failure/retry. Политика skipped: дата последней успешной публикации и
|
||||
latest_success_load сохраняются; latest_load показывает пропуск.
|
||||
|
||||
Составные карточки `manufacturers-and-products` и `defense-unreliable-suppliers`
|
||||
создают durable run до отправки первой задачи. Сетевые запросы выполняются вне
|
||||
транзакции публикации. Подготовленные inputs хранятся приватными чанками по 500
|
||||
записей, без записи в публичные таблицы. Последняя часть берёт row locks запуска
|
||||
и jobs и публикует все части, логи и terminal статусы одной транзакцией.
|
||||
При любой ошибке публикации транзакция откатывается целиком. Failure/cancellation
|
||||
одной части закрывает остальные и удаляет staging; поздние workers не публикуют
|
||||
данные. Повторная доставка уже принятой части не запускает fetch повторно.
|
||||
Cleanup просроченных jobs использует тот же abort. Worker, потерявший процесс,
|
||||
остаётся до существующего stale cleanup; возобновление такого запуска требует
|
||||
нового refresh. Метаданные завершённых запусков сохраняются, inputs удаляются.
|
||||
|
||||
Публичные сообщения jobs/cards/history/CSV используют безопасный фиксированный
|
||||
текст ошибки; внутренняя диагностика сохраняется в БД и server logs. Поиск по
|
||||
административному журналу продолжает находить исходный диагностический текст.
|
||||
|
||||
## Экспорт и upload
|
||||
|
||||
Export-ticket по-прежнему принимает JSON. Export-download канонически принимает
|
||||
`application/x-www-form-urlencoded` с ticket и выдаёт ZIP, attachment filename,
|
||||
`Cache-Control: no-store`. Старые JSON/multipart вызовы совместимы. Invalid/unknown
|
||||
400, expired/reused 410, unavailable 503; 503 не расходует capability. Ticket
|
||||
закрепляет пользователя, sources, format и generation. All-sources filename короткий.
|
||||
|
||||
Действующий upload интегрированных структур уже принимает ZIP до 125 МиБ с XLSX
|
||||
до 20 МиБ и RTF до 5 МиБ каждый/100 МиБ суммарно, не более 500 RTF. Контракт санкций
|
||||
РОПК — XLSX до 25 МиБ. Эти лимиты и отрицательные случаи покрыты существующими
|
||||
upload tests; [инструкция ИС](integrated-structures-import.md) соответствует runtime.
|
||||
Canonical OpenAPI строится из DRF; ZIP success и JSON errors описаны разными
|
||||
media types. Orval/TypeScript и runtime Zod fixtures входят в локальную проверку.
|
||||
|
||||
## Применение к рабочей базе
|
||||
|
||||
Сначала резервная копия БД и остановка writers/workers/beat и выдачи новых tickets.
|
||||
Нельзя смешивать старые workers со схемой канонических статусов. Из каталога backend,
|
||||
с явным settings окружения, выполнить:
|
||||
|
||||
```sh
|
||||
python src/manage.py migrate --noinput
|
||||
python src/manage.py normalize_testing_amendments
|
||||
python src/manage.py normalize_testing_amendments --apply
|
||||
python src/manage.py build_source_record_exports
|
||||
```
|
||||
|
||||
Первый вызов нормализации — dry run с количествами предполагаемых изменений.
|
||||
Перед `--apply` проверить warnings и правило конфликтов. Apply не меняет uid,
|
||||
created_at, updated_at записей и raw; увеличивает revision затронутых published
|
||||
артефактов и инвалидирует cache. Для legacy sources без artifact revision нет:
|
||||
выдача tickets должна оставаться остановленной до обязательной пересборки exports.
|
||||
Ранее выданные capabilities сохраняют pinned generation до своего TTL.
|
||||
После проверки list/detail/card/job/form download можно возобновить traffic/workers.
|
||||
Для отката статусов остановить новые workers перед обратной миграцией core;
|
||||
изменённые payload/филиалы восстанавливаются из резервной копии.
|
||||
|
||||
## Локальная проверка 12 октября 2026
|
||||
|
||||
- Полный `PYTHONPATH=src uv run --no-sync pytest -q --disable-warnings --tb=short`:
|
||||
**2045 passed, 46 skipped, 13 warnings**, 85.47 s. Skipped не считаются пройденными.
|
||||
- Отдельный запуск с `--ds=settings.test_postgres` на временном PostgreSQL 16:
|
||||
**67 passed**. Включены `test_aggregate_publication.py`,
|
||||
`test_job_acceptance_lifecycle.py`, `test_testing_amendments.py`,
|
||||
`test_job_control_race.py` и `test_source_export_snapshot_contract.py`.
|
||||
Применены реальные миграции; проверены row locks, одновременное завершение частей,
|
||||
независимый читатель до commit, rollback, cancellation и повторная доставка.
|
||||
Временный контейнер удалён после проверки.
|
||||
- Django `check`: ошибок нет. `makemigrations core parsers --check --dry-run`
|
||||
с включёнными миграциями: изменений моделей без миграции нет.
|
||||
- Ruff check и format check: прошли для всех 41 изменённых/новых Python-файлов;
|
||||
`git diff --check` прошёл.
|
||||
- Swagger и canonical OpenAPI пересозданы, `bun build.mjs --check` прошёл:
|
||||
101 path, 192 schemas. Orval generation и `bun run type-check` прошли.
|
||||
Генерация runtime fixtures отдельным pytest прошла;
|
||||
`bun run contract-check /absolute/runtime-fixtures.json` проверил **48 ответов API**.
|
||||
|
||||
Это локальные backend/contract проверки на тестовых данных. Выкладка, применение
|
||||
backfill к рабочей БД и приёмка через рабочий frontend не выполнялись.
|
||||
@@ -1,4 +1,4 @@
|
||||
# Карточки, задачи, история и готовые выгрузки — 14.09.2026
|
||||
# Карточки, задачи, история и готовые выгрузки — 12.10.2026
|
||||
|
||||
Этот документ уточняет общий runtime-контракт по новому
|
||||
[source-records-backend-improvements.md](source-integration/source-records-backend-improvements.md).
|
||||
@@ -58,10 +58,26 @@ GET `/api/v1/jobs/{task_id}/` для этих трёх источников ра
|
||||
счётчики HTTP/parse ошибок и nullable дата реестра. В публичный meta входят только
|
||||
разрешённые счётчики, без конфигурации loader или raw responses. Те же счётчики
|
||||
доступны в log meta; terminal result имеет aliases `records_count` / `organizations_count`.
|
||||
Legacy jobs сохраняют прежние значения
|
||||
статуса и прежний result. Общая схема допускает legacy `error`, deprecated raw aliases
|
||||
`pending|started|retry|failure|revoked` и дополнительные
|
||||
поля result. Generic parser results list имеет уникальный operationId
|
||||
Все jobs возвращают канонические статусы; data migration переводит сохранённые
|
||||
`pending|started|retry|failure|error|revoked` в `queued|running|retrying|failed|cancelled`.
|
||||
Приём legacy status в фильтре списка сохранён. `skipped` — terminal результат
|
||||
задачи с `result.status=skipped`, сохранённый как status=skipped; он не сдвигает дату успешной публикации.
|
||||
Активный progress ограничен 99; complete устанавливает 100. Карточки и dashboard
|
||||
показывают `failed` вместо `error`, исключают terminal задачи из active_tasks.
|
||||
Публичные ошибки jobs, карточек, истории и CSV используют безопасное описание;
|
||||
исходная диагностика остаётся в базе и серверных логах.
|
||||
|
||||
Составные обновления Минпромторга и поставщиков ГОЗ сохраняют подготовленные
|
||||
входные данные в приватных таблицах `ParserRefreshRun`/`ParserRefreshStage`.
|
||||
До готовности всех частей публичные записи и успешная история не меняются;
|
||||
подготовленные задачи остаются running с progress до 99. Последняя часть одной
|
||||
транзакцией публикует записи, логи и success/skipped всех частей. Ошибка, отмена
|
||||
или cleanup просроченной задачи закрывает весь запуск и удаляет staging; старые
|
||||
записи сохраняются. Повторная доставка не заменяет staging и не открывает terminal
|
||||
запуск. Те же правила применяются к `parse_all_minpromtorg` и его вызову из
|
||||
`parse_all_sources`. Отдельные вызовы одиночных парсеров сохраняют прежний scope.
|
||||
|
||||
Generic parser results list имеет уникальный operationId
|
||||
`api_v1_parsers_results_list`; detail сохраняет прежний `api_v1_parsers_results_read`.
|
||||
Dashboard сохраняет operationId `api_v1_parsers_dashboard_list` и tag `api`,
|
||||
чтобы generated client оставался в прежнем модуле.
|
||||
@@ -70,9 +86,13 @@ Dashboard сохраняет operationId `api_v1_parsers_dashboard_list` и tag
|
||||
|
||||
POST `/api/v2/organization-source-records/export-ticket/` с `sources` и `format`
|
||||
возвращает HTTP 201 `{ticket, file_name, expires_in}`. Ticket одноразовый,
|
||||
TTL по умолчанию 300 секунд. POST `/export-download/` с form field `ticket`
|
||||
возвращает ZIP HTTP 200; истёкший, неизвестный или использованный ticket —
|
||||
HTTP 410 `{detail, code: "ticket_expired"}`. Capability позволяет native form
|
||||
TTL по умолчанию 300 секунд. В cache ticket закреплены user_id, sources, format и
|
||||
immutable generation; download использует ticket как bearer capability. POST `/export-download/` с form field `ticket`
|
||||
возвращает ZIP HTTP 200 с `Cache-Control: no-store`; неверный или неизвестный
|
||||
ticket — HTTP 400 `{detail, code: "invalid_ticket"}`, истёкший или использованный —
|
||||
HTTP 410 `{detail, code: "ticket_expired"}`. Маркер выпуска сохраняется ещё сутки
|
||||
после TTL для различения неизвестного и истёкшего ticket. Временная недоступность
|
||||
архива даёт 503 и не расходует ticket. Capability позволяет native form
|
||||
без передачи JWT в URL. Для выпуска ticket нужны прежние admin permissions.
|
||||
|
||||
Публикация любого из трёх снимков запрашивает существующую фоновую сборку
|
||||
@@ -101,3 +121,9 @@ payload требуется запустить существующую кома
|
||||
Локальные контрактные тесты не подтверждают живой upstream СРО или принятие
|
||||
frontend UI. Доступ к upstream по умолчанию выключен; включение требует отдельного
|
||||
согласованного основания. Настоящие адреса/секреты стендов в эти проверки не входят.
|
||||
|
||||
|
||||
## Поправки проверки от 8 октября
|
||||
|
||||
Реализованный query, правила нормализации, проверки upload и порядок применения:
|
||||
[backend-testing-amendments-2026-10.md](backend-testing-amendments-2026-10.md).
|
||||
|
||||
Reference in New Issue
Block a user