Files
mostovik-backend/docs/backend-testing-amendments-2026-10.md
Aleksandr Meshchryakov 1ffdcd0aaf
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Successful in 2m43s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Failing after 1m17s
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
perf: batch acceptance backfill for deployed source volume
2026-10-12 09:52:06 +02:00

128 lines
11 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Поправки backend после проверки 8 октября
Основание: файл `backend-testing-8-10-amendments.md`, полученный от Глеба в Telegram
9 октября 2026, сообщение 395926. Этот документ описывает реализацию и её локальную
приёмку; применение к dev/production и нормализация рабочих данных сюда не входят.
## Записи и фильтры
- `organization__is_branch`: boolean ordering, false/true/null по возрастанию,
true/false/null по убыванию; uid обеспечивает стабильную пагинацию.
- `payload__issue_date_normalized`, `payload__expiry_date_normalized` для industrial,
`payload__term_date` для ФСТЭК, `payload__valid_from` для лицензий: ISO dates,
null/пустое значение в конце в обоих направлениях.
- Inclusive ranges `first_event_date_from/to` применяются к
`payload.structure.first_event_date`, `license_valid_from_from/to` — к
`payload.valid_from`, `traded_on_from/to` — к `payload.trading.traded_on` обеих бирж.
Неверная дата, обратный диапазон и несовместимая группа дают HTTP 400.
- GET `/api/v2/organization-source-records/filter-options/` принимает
`source_group=leasing|company_messages`, `field=message_type`, optional `search`
до 200 символов. Возвращает уникальные value/label/records_count из той же
видимой таблицы, что list, с сортировкой label/value. Авторизация как у list.
- Числовое ordering amount в закупках и арбитраже сохранено и проверяется отдельно.
Нормализация выполняется при ingestion и legacy backfill. Для ФСТЭК три raw-ключа
`Срок действия сертификата`, `Срок действия лицензии`, `Срок действия` (в таком
порядке приоритета) дают `term_raw` и nullable ISO `term_date`. Для industrial
нормализуются issue_date/expiry_date. Непарсируемый raw сохраняется, дата становится
null и записывается warning без upstream body.
Миграционное правило филиалов: известное `Organization.is_branch` имеет приоритет;
затем legacy `Organization.filial`; при отсутствии обоих используется единственное
согласованное значение payload.is_branch/filial. `.T./true/1` и `.F./false/0`
распознаются без учёта регистра. При конфликтах сохраняется каноническое значение
и выдаётся warning. Если неизвестная организация встречается в нескольких старых
записях, первым закрепляется значение при обходе по uid; дальнейшие конфликты
логируются. Payload.is_branch сверяется с организацией, raw filial сохраняется.
Экспорт добавляет `organization.is_branch`, а raw остаётся доступным как raw.
## Задачи и общая публикация
Канонические API statuses: queued/running/retrying/success/skipped/failed/cancelled.
Активный progress не достигает 100; terminal событие нельзя заменить поздним
success/failure/retry. Политика skipped: дата последней успешной публикации и
latest_success_load сохраняются; latest_load показывает пропуск.
Составные карточки `manufacturers-and-products` и `defense-unreliable-suppliers`
создают durable run до отправки первой задачи. Сетевые запросы выполняются вне
транзакции публикации. Подготовленные inputs хранятся приватными чанками по 500
записей, без записи в публичные таблицы. Последняя часть берёт row locks запуска
и jobs и публикует все части, логи и terminal статусы одной транзакцией.
При любой ошибке публикации транзакция откатывается целиком. Failure/cancellation
одной части закрывает остальные и удаляет staging; поздние workers не публикуют
данные. Повторная доставка уже принятой части не запускает fetch повторно.
Cleanup просроченных jobs использует тот же abort. Worker, потерявший процесс,
остаётся до существующего stale cleanup; возобновление такого запуска требует
нового refresh. Метаданные завершённых запусков сохраняются, inputs удаляются.
Публичные сообщения jobs/cards/history/CSV используют безопасный фиксированный
текст ошибки; внутренняя диагностика сохраняется в БД и server logs. Поиск по
административному журналу продолжает находить исходный диагностический текст.
## Экспорт и upload
Export-ticket по-прежнему принимает JSON. Export-download канонически принимает
`application/x-www-form-urlencoded` с ticket и выдаёт ZIP, attachment filename,
`Cache-Control: no-store`. Старые JSON/multipart вызовы совместимы. Invalid/unknown
400, expired/reused 410, unavailable 503; 503 не расходует capability. Ticket
закрепляет пользователя, sources, format и generation. All-sources filename короткий.
Действующий upload интегрированных структур уже принимает ZIP до 125 МиБ с XLSX
до 20 МиБ и RTF до 5 МиБ каждый/100 МиБ суммарно, не более 500 RTF. Контракт санкций
РОПК — XLSX до 25 МиБ. Эти лимиты и отрицательные случаи покрыты существующими
upload tests; [инструкция ИС](integrated-structures-import.md) соответствует runtime.
Canonical OpenAPI строится из DRF; ZIP success и JSON errors описаны разными
media types. Orval/TypeScript и runtime Zod fixtures входят в локальную проверку.
## Применение к рабочей базе
Сначала резервная копия БД и остановка writers/workers/beat и выдачи новых tickets.
Нельзя смешивать старые workers со схемой канонических статусов. Из каталога backend,
с явным settings окружения, выполнить:
```sh
python src/manage.py migrate --noinput
python src/manage.py normalize_testing_amendments
python src/manage.py normalize_testing_amendments --apply
python src/manage.py build_source_record_exports
```
Первый вызов нормализации — dry run с количествами предполагаемых изменений.
Перед `--apply` проверить warnings и правило конфликтов. Нормализация пропускает записи без затронутых полей при уже известном филиале,
читает и блокирует каждую организацию один раз и обновляет payload пакетами.
Apply не меняет uid,
created_at, updated_at записей и raw; увеличивает revision затронутых published
артефактов и инвалидирует cache. Для legacy sources без artifact revision нет:
выдача tickets должна оставаться остановленной до обязательной пересборки exports.
Ранее выданные capabilities сохраняют pinned generation до своего TTL.
После проверки list/detail/card/job/form download можно возобновить traffic/workers.
Для отката статусов остановить новые workers перед обратной миграцией core;
изменённые payload/филиалы восстанавливаются из резервной копии.
## Локальная проверка 12 октября 2026
- Полный `PYTHONPATH=src uv run --no-sync pytest -q --disable-warnings --tb=short`:
**2045 passed, 46 skipped, 13 warnings**, 85.47 s. Skipped не считаются пройденными.
- Отдельный запуск с `--ds=settings.test_postgres` на временном PostgreSQL 16:
**67 passed**. Включены `test_aggregate_publication.py`,
`test_job_acceptance_lifecycle.py`, `test_testing_amendments.py`,
`test_job_control_race.py` и `test_source_export_snapshot_contract.py`.
Применены реальные миграции; проверены row locks, одновременное завершение частей,
независимый читатель до commit, rollback, cancellation и повторная доставка.
Временный контейнер удалён после проверки.
- Django `check`: ошибок нет. `makemigrations core parsers --check --dry-run`
с включёнными миграциями: изменений моделей без миграции нет.
- Ruff check и format check: прошли для всех 41 изменённых/новых Python-файлов;
`git diff --check` прошёл.
- Swagger и canonical OpenAPI пересозданы, `bun build.mjs --check` прошёл:
101 path, 192 schemas. Orval generation и `bun run type-check` прошли.
Генерация runtime fixtures отдельным pytest прошла;
`bun run contract-check /absolute/runtime-fixtures.json` проверил **48 ответов API**.
Это локальные backend/contract проверки на тестовых данных. Выкладка, применение
backfill к рабочей БД и приёмка через рабочий frontend не выполнялись.
При подготовке выкладки на dev обнаружено 3,86 млн записей. Добавлена проверка
пакетной нормализации 1001 записи одной организации с бюджетом менее 30 SQL
запросов; весь `test_testing_amendments.py` после оптимизации: **32 passed**.