Files
mostovik-backend/docs/sources/2026-10-05-implementation-handoff.md
Aleksandr Meshchryakov af02d1ce8a
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
feat: enable requested source collection schedules
2026-10-05 18:31:13 +02:00

13 KiB
Raw Permalink Blame History

Передача пяти источников, 5 октября 2026

Локальная реализация в mostovik-backend/dev завершена. Пользователь 05.10.2026 явно разрешил push и включение всех пяти расписаний. Forward migration 0048 включает существующие интервалы: ФССП/биржи ежедневно, Checko каждые 30 дней. Включённое расписание не доказывает успешное наполнение dev. Frontend обновлён из Git ранее в этой работе, его код не менялся. StateCorp, root repo, env и submodule pointers не коммитились.

Источник Карточка source_group record_type
fssp_enforcement_proceedings fssp-enforcement-proceedings enforcement_proceedings enforcement_proceeding
checko_leasing checko-leasing leasing leasing_contract
checko_messages checko-messages company_messages company_message
checko_licenses checko-licenses company_licenses company_license
stock_exchange_activity stock-exchange-activity stock_exchange_activity exchange_instrument

СПБ и MOEX — одна карточка/источник; поле payload.exchange=spb|moex различает записи. ФССП последняя карточка, item code fssp_inn_search. Привязка только к каноническому справочнику по точным реквизитам; организации не создаются.

Контракт для frontend

  • GET /api/v1/sources/ и /api/v1/sources/<slug>/: карточки, счётчики, последний job/load и последний полный успешный snapshot.
  • POST /api/v1/sources/<slug>/refresh/: только администратор, пустой JSON; 202 принят, 400 некорректные параметры, 403 нет прав, 404 карточка отсутствует, 409 этот источник уже запущен. File URLs от пользователя не принимаются.
  • GET /api/v2/organization-source-records/?source_group=<group>; detail /api/v2/organization-source-records/<uid>/. Общие фильтры source, record_type, organization, search, date_from/date_to, ordering, page/page_size. Поля payload и ordering перечислены в документах каждого источника.
  • Биржи: exchange=moex|spb, instrument_kind; номинал, yield, duration — отдельные nullable metrics, amount=null. MOEX effectiveyield сохранён под своим именем в provenance, его unit пока null; duration unit=days.
  • ФССП: amount=debt_amount, signed decimal string; claim отдельно. Отрицательное значение и ноль не заменяются null. Будущие даты сохраняются с warnings. Выход за последнюю страницу возвращает 200/пустой массив.
  • Checko: суммы договоров и полный текст сообщения не выдумываются; amount null. Истечение даты лицензии не используется как доказательство её прекращения.
  • CSV/XLSX/JSON через существующие export-ticket/generation API сохраняют текущий snapshot независимо от года ИП, выдачи лицензии или listing. UUID совпадают с list/detail; ранее выданный ticket привязан к своей generation.

Canonical contract: src/core/openapi.json; generator и инструкции — tools/openapi/README.md. Новые SourceRefresh error DTO отражают реальный envelope, включая произвольные details. 43 синтетических отрендеренных HTTP-ответа проверены generated Orval/Zod без изменения/потери полей. Frontend генерация не запускалась.

Публикация и отказы

ФССП требует два полных файла, биржи — оба полных входа. Staging batches ≤500, публикация атомарна; ошибка сохраняет прежний snapshot и last-success. Raw/manifest приватны. Повторяющиеся биржевые vendor IDs отвергают весь snapshot.

Checko использует один необратимый месячный claim на organization/source до первого HTTP. Полная пагинация проверяет одновременно количество полученных строк и уникальных GUID до фильтра лизинга. Пересечение страниц при заявленном total не считается полным результатом; прежние записи такой организации сохраняются, attempt failed. Partial job показывает counters, но не двигает полный last-success.

Итоговая локальная проверка

Один независимый whole-branch reviewer: 0 Critical, 3 Important, 0 Minor. Все три Important воспроизведены тестами RED и исправлены GREEN: пересечение страниц Checko, завершение MOEX cursor pagination на TOTAL и экспорт ФССП с предыдущим/будущим годом начала ИП. Повторный reviewer не запускался.

  • Полный suite, кроме отдельно проверенного API inventory: 1922 passed, 44 skipped, 13 warnings. Пропуски не считаются успешными проверками.
  • PostgreSQL с --migrations: исправления и связанные сценарии 72 passed, 0 skipped. Ранее отдельный --migrations --create-db: 66 passed, граф применён до parsers 0047 / organizations 0018; admission/export 64 passed.
  • API inventory: 9 passed с явно подменённым async dispatch. Это проверка HTTP surface, а не выполнение настоящих Celery задач/полный CI без подмены.
  • Ruff src и format всех 235 src файлов, Django check, canonical OpenAPI, strict TypeScript, Zod 43 responses, git diff --check — PASS.
  • Обычные настройки pytest содержат --nomigrations: прежние утверждения о применении графа в этих прогонах были неточны; фактическое применение доказано отдельными указанными выше прогонами с --migrations.

Полные публичные ФССП inputs: 7 066 820 строк, 4 695 702 827 байт, оба EOF/SHA проверены. СПБ: 2287 строк, 251 с корректным ИНН. MOEX reference: shares 526, bonds 3175; dated durations 2478; одна реальная бумага проверена по parameters и primary-board trading. MOEX probe использовал дату из ранее проверенного HTML: повторная загрузка самой страницы вернула 403. Это не полный worker acceptance. Подробные hashes и ограничения — в ФССП, Checko, биржах.

Конкретный следующий этап: dev acceptance

Push/dev deployment и включение пяти расписаний теперь явно разрешены пользователем. Ниже остаются критерии фактической data readiness; ручная платная ограниченная проба и расширение TLS trust не выполнялись. Push dev запускает CI/CD из .gitea/workflows/ci-cd.yml, включая web/celery release. Следовать актуальному root DEPLOYMENT.md и deploy/ecos-dev/README.md, а не его историческим privileged SSH процедурам. Проверить точные commit/digests, CI и соответствие web/celery, migrations через штатный release wrapper.

  1. Только Mostovik backend; миграция 0048 включает ровно пять новых schedules. Предыдущие seed migrations сохраняются неизменными; reverse 0048 выключает эти пять schedules, не удаляя их и не меняя остальные. До записи проверить текущий private storage и свободное место: raw ФССП уже 4.7 GB, staging/manifest/exports требуют дополнительного измеренного запаса. Проверить worker limits и однозначность canonical directory. Сделать согласованный backup затрагиваемых published records/artifacts.
  2. Один ручной полный ФССП refresh через admin API, без переданных URL. Зафиксировать job, оба SHA/версии, matched/skipped/quarantine/published counts, сохранение UID, list/detail signed/null fields и prepared export generation. Обрыв/отказ не должен менять старую публикацию; сравнивать с backup.
  3. Checko: сначала согласовать аккаунт/тариф и денежный лимит, затем одна однозначная eligible canonical организация, три раздела. Предлагаемый потолок пробы 11 HTTP: 1 company + ≤5 messages pages + ≤5 leasing pages. Это ограничение будущего transport wrapper, не существующий CLI параметр: обычный refresh проходит весь eligible scope и до 100 pages/source/org, его нельзя использовать для этой ограниченной пробы. При исчерпании бюджета отказ до следующего HTTP, staging discard, claim остаётся; полный обход отдельно после оценки всей eligible population. Денежная стоимость неизвестна.
  4. Биржи: runtime trust СПБ отдельно согласовать; имеющееся разрешение CA касается только уже проведённой публичной проверки/загрузки. Сначала подтвердить доступность MOEX durations HTML из worker и единицу effectiveyield официальным field-specific источником. Затем один полный combined refresh, отдельные counters входов, единый publish/list/detail/export. Не обходить TLS/WAF.
  5. Только после этой приёмки источники можно объявлять ready. Расписания включены отдельным указанием пользователя; ошибка коллектора сохраняет старый snapshot. Frontend изменения, StateCorp, main и Telegram sends вне этапа.

Header-only CSV с подтверждёнными headers трактуется как пустой по согласованному плану. Независимого publisher row count нет: semantic truncation до одних headers не доказуем существующим каналом и может очистить записи при формально полном пустом snapshot. Это сохраняемый предел проверки, не установленный live факт.

Проверка изменения расписаний

Forward migration 0048 проверена на полной PostgreSQL migration graph: пять задач enabled=true, интервалы 1/30 days сохранены. Тест покрывает повторный запуск, обратное выключение и сохранение unrelated schedule. Старые seed migrations проверяются отдельно для своих задач; они по-прежнему создают disabled templates. Реальный rollout и job outcomes фиксируются отдельно от локальной проверки.