Files
mostovik-backend/docs/backend-testing-amendments-2026-10.md
Aleksandr Meshchryakov 1ffdcd0aaf
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Successful in 2m43s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Failing after 1m17s
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
perf: batch acceptance backfill for deployed source volume
2026-10-12 09:52:06 +02:00

11 KiB
Raw Permalink Blame History

Поправки backend после проверки 8 октября

Основание: файл backend-testing-8-10-amendments.md, полученный от Глеба в Telegram 9 октября 2026, сообщение 395926. Этот документ описывает реализацию и её локальную приёмку; применение к dev/production и нормализация рабочих данных сюда не входят.

Записи и фильтры

  • organization__is_branch: boolean ordering, false/true/null по возрастанию, true/false/null по убыванию; uid обеспечивает стабильную пагинацию.
  • payload__issue_date_normalized, payload__expiry_date_normalized для industrial, payload__term_date для ФСТЭК, payload__valid_from для лицензий: ISO dates, null/пустое значение в конце в обоих направлениях.
  • Inclusive ranges first_event_date_from/to применяются к payload.structure.first_event_date, license_valid_from_from/to — к payload.valid_from, traded_on_from/to — к payload.trading.traded_on обеих бирж. Неверная дата, обратный диапазон и несовместимая группа дают HTTP 400.
  • GET /api/v2/organization-source-records/filter-options/ принимает source_group=leasing|company_messages, field=message_type, optional search до 200 символов. Возвращает уникальные value/label/records_count из той же видимой таблицы, что list, с сортировкой label/value. Авторизация как у list.
  • Числовое ordering amount в закупках и арбитраже сохранено и проверяется отдельно.

Нормализация выполняется при ingestion и legacy backfill. Для ФСТЭК три raw-ключа Срок действия сертификата, Срок действия лицензии, Срок действия (в таком порядке приоритета) дают term_raw и nullable ISO term_date. Для industrial нормализуются issue_date/expiry_date. Непарсируемый raw сохраняется, дата становится null и записывается warning без upstream body.

Миграционное правило филиалов: известное Organization.is_branch имеет приоритет; затем legacy Organization.filial; при отсутствии обоих используется единственное согласованное значение payload.is_branch/filial. .T./true/1 и .F./false/0 распознаются без учёта регистра. При конфликтах сохраняется каноническое значение и выдаётся warning. Если неизвестная организация встречается в нескольких старых записях, первым закрепляется значение при обходе по uid; дальнейшие конфликты логируются. Payload.is_branch сверяется с организацией, raw filial сохраняется. Экспорт добавляет organization.is_branch, а raw остаётся доступным как raw.

Задачи и общая публикация

Канонические API statuses: queued/running/retrying/success/skipped/failed/cancelled. Активный progress не достигает 100; terminal событие нельзя заменить поздним success/failure/retry. Политика skipped: дата последней успешной публикации и latest_success_load сохраняются; latest_load показывает пропуск.

Составные карточки manufacturers-and-products и defense-unreliable-suppliers создают durable run до отправки первой задачи. Сетевые запросы выполняются вне транзакции публикации. Подготовленные inputs хранятся приватными чанками по 500 записей, без записи в публичные таблицы. Последняя часть берёт row locks запуска и jobs и публикует все части, логи и terminal статусы одной транзакцией. При любой ошибке публикации транзакция откатывается целиком. Failure/cancellation одной части закрывает остальные и удаляет staging; поздние workers не публикуют данные. Повторная доставка уже принятой части не запускает fetch повторно. Cleanup просроченных jobs использует тот же abort. Worker, потерявший процесс, остаётся до существующего stale cleanup; возобновление такого запуска требует нового refresh. Метаданные завершённых запусков сохраняются, inputs удаляются.

Публичные сообщения jobs/cards/history/CSV используют безопасный фиксированный текст ошибки; внутренняя диагностика сохраняется в БД и server logs. Поиск по административному журналу продолжает находить исходный диагностический текст.

Экспорт и upload

Export-ticket по-прежнему принимает JSON. Export-download канонически принимает application/x-www-form-urlencoded с ticket и выдаёт ZIP, attachment filename, Cache-Control: no-store. Старые JSON/multipart вызовы совместимы. Invalid/unknown 400, expired/reused 410, unavailable 503; 503 не расходует capability. Ticket закрепляет пользователя, sources, format и generation. All-sources filename короткий.

Действующий upload интегрированных структур уже принимает ZIP до 125 МиБ с XLSX до 20 МиБ и RTF до 5 МиБ каждый/100 МиБ суммарно, не более 500 RTF. Контракт санкций РОПК — XLSX до 25 МиБ. Эти лимиты и отрицательные случаи покрыты существующими upload tests; инструкция ИС соответствует runtime. Canonical OpenAPI строится из DRF; ZIP success и JSON errors описаны разными media types. Orval/TypeScript и runtime Zod fixtures входят в локальную проверку.

Применение к рабочей базе

Сначала резервная копия БД и остановка writers/workers/beat и выдачи новых tickets. Нельзя смешивать старые workers со схемой канонических статусов. Из каталога backend, с явным settings окружения, выполнить:

python src/manage.py migrate --noinput
python src/manage.py normalize_testing_amendments
python src/manage.py normalize_testing_amendments --apply
python src/manage.py build_source_record_exports

Первый вызов нормализации — dry run с количествами предполагаемых изменений. Перед --apply проверить warnings и правило конфликтов. Нормализация пропускает записи без затронутых полей при уже известном филиале, читает и блокирует каждую организацию один раз и обновляет payload пакетами. Apply не меняет uid, created_at, updated_at записей и raw; увеличивает revision затронутых published артефактов и инвалидирует cache. Для legacy sources без artifact revision нет: выдача tickets должна оставаться остановленной до обязательной пересборки exports. Ранее выданные capabilities сохраняют pinned generation до своего TTL. После проверки list/detail/card/job/form download можно возобновить traffic/workers. Для отката статусов остановить новые workers перед обратной миграцией core; изменённые payload/филиалы восстанавливаются из резервной копии.

Локальная проверка 12 октября 2026

  • Полный PYTHONPATH=src uv run --no-sync pytest -q --disable-warnings --tb=short: 2045 passed, 46 skipped, 13 warnings, 85.47 s. Skipped не считаются пройденными.
  • Отдельный запуск с --ds=settings.test_postgres на временном PostgreSQL 16: 67 passed. Включены test_aggregate_publication.py, test_job_acceptance_lifecycle.py, test_testing_amendments.py, test_job_control_race.py и test_source_export_snapshot_contract.py. Применены реальные миграции; проверены row locks, одновременное завершение частей, независимый читатель до commit, rollback, cancellation и повторная доставка. Временный контейнер удалён после проверки.
  • Django check: ошибок нет. makemigrations core parsers --check --dry-run с включёнными миграциями: изменений моделей без миграции нет.
  • Ruff check и format check: прошли для всех 41 изменённых/новых Python-файлов; git diff --check прошёл.
  • Swagger и canonical OpenAPI пересозданы, bun build.mjs --check прошёл: 101 path, 192 schemas. Orval generation и bun run type-check прошли. Генерация runtime fixtures отдельным pytest прошла; bun run contract-check /absolute/runtime-fixtures.json проверил 48 ответов API.

Это локальные backend/contract проверки на тестовых данных. Выкладка, применение backfill к рабочей БД и приёмка через рабочий frontend не выполнялись.

При подготовке выкладки на dev обнаружено 3,86 млн записей. Добавлена проверка пакетной нормализации 1001 записи одной организации с бюджетом менее 30 SQL запросов; весь test_testing_amendments.py после оптимизации: 32 passed.