Files
mostovik-backend/docs/sources/fssp.md
Aleksandr Meshchryakov af02d1ce8a
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
feat: enable requested source collection schedules
2026-10-05 18:31:13 +02:00

9.4 KiB
Raw Blame History

ФССП: два открытых набора

Проверено 5 октября 2026 напрямую на официальном сайте и по meta.csv.

Набор Паспорт Последний файл Структура Размер
Общедоступные ИП юрлиц https://opendata.fssp.gov.ru/7709576929-iplegallist data-20261005T0655-structure-20260820T2100.csv 17 колонок, 20260820T2100 1 971 503 738 байт
Оконченные ИП юрлиц https://opendata.fssp.gov.ru/7709576929-iplegallistcomplete data-20261005T0704-structure-20220620T2006.csv 16 колонок, 20220620T2006 2 724 199 089 байт

Полные inputs скачаны до заявленного размера и прочитаны до EOF 5 октября 2026. Checksums и результаты ниже; публикация на полном каноническом населении dev пока не проверена. UTF-8, CSV comma/quoted multiline. Разрешённый HTTPS host: opendata.fssp.gov.ru. Паспорта скачиваются по /meta.csv; актуальный файл выбирается по verified data timestamp, не порядку links. Максимальный размер каждого файла 4 GiB (4 294 967 296 байт), паспорт/структура 1 MiB; при превышении явный отказ.

Mapping

Официальные structure CSV и обезличенные meta CSV сохранены в tests/fixtures/fssp. Обе версии используют общие названия полей должника, адресов, номера/даты ИП, сводного ИП, типа/даты/номера/предмета документа, предмета исполнения, отдела/адреса отдела, Debtor TIN и TIN of the organization collector.

  • The name of the debtor → debtor_name; Address of the debtor organization → debtor_legal_address (исходный смысл «Адрес организации-должника» сохраняется в raw); Actual address → debtor_actual_address.
  • The number of enforcement proceeding → proceeding_number; Date of the institution of proceeding → initiated_on/record_date; The number of the consolidated enforcement proceedings → consolidated_proceeding_number.
  • The executive document type/date/number → document_type/document_date/document_number; The object of executive documents → document_subject_raw (не issuer); The object of the execution → subject.
  • Amount due → claim_amount; Debt remaining balance → debt_amount/amount (signed Decimal); только общий набор.
  • Date, complete IP reason → termination_raw и при распознавании terminated_on/article/part/point; только набор оконченных ИП. Суммы в нём отсутствуют и равны null, не нулю.
  • Departments of bailiffs → department_name; Address of departments of bailiff → department_address.
  • Debtor TIN → debtor_inn/exact canonical organization; TIN of the organization collector → creditor_inn. Ведущие нули сохраняются; контрольная цифра юридического ИНН проверяется.

General status unknown. Completed status ended обоснован областью паспорта: пункты 3/4 части 1 статьи 46 и пункты 6/7 части 1 статьи 47. Конкретное основание не заполняется из общей области — только из raw поля.

Пересечение и идентичность

Identity: Debtor TIN + номер ИП, UUID5 существующего publisher. Одинаковое наблюдение дедуплицируется. Для одного ИП в обоих наборах оконченный набор имеет приоритет только если дата его публикации >= общей; сохранить оба наблюдения/provenance. Это более конкретная подтверждённая область, а не вывод из имени файла. Конфликт внутри одного набора или более новая общая запись против окончания блокирует общий publish. Ничего не выбирать по порядку обхода.

Режим работы

Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются.

Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Миграция 0048 включает суточное расписание по явному указанию пользователя от 05.10.2026. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.

Проверка полных файлов 5 октября 2026

Это локальная потоковая проверка реальных выгрузок: SHA-256, CSV до EOF и нормализация всех строк. Она не публиковала данные в удалённую БД и не измеряет память полного canonical index или работу БД staging.

Набор Строк Некорректных ИНН Время чтения/hash Peak RSS процесса
7709576929-iplegallist 2,945,317 19,171 48.7 s 127,991,808 bytes
7709576929-iplegallistcomplete 4,121,503 40,277 79.83 s 128,188,416 bytes

Checksums:

  • 7709576929-iplegallist: a16b518c5412deb4cf08663239a8c3d009ae458e06fd523c501ff454d5e1d919 (1,971,503,738 bytes).

  • 7709576929-iplegallistcomplete: 5351437c1592dd263b009e78e78c6c9068b323731374f7f2a6d77bcf7346915a (2,724,199,089 bytes).

Общий набор: 253 отрицательных остатка долга, 13 113 сумм долга выше исходного взыскания, 247 будущих дат документов. Оконченный: 175 будущих дат. Сохраняются исходные значения и warnings. У всех 4 121 503 оконченных строк причина использует формулировку publisher ст. … п. … п.п. …; ISO дата и статья извлекаются, неоднозначные part/point остаются null с unparsed_termination. Raw не меняется; статус ended подтверждён паспортом набора.

Потоковый reader не удерживает строки; staging ограничен 500. Некорректные ИНН проходят coordinator quarantine, совпадения/неоднозначность определяются только по canonical index. Количества matched/skipped/published зависят от полного реестра dev и пока не установлены.

Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API.

Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule включается миграцией 0048 по явному указанию пользователя. Readiness требует полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.

Итоговые проверки после независимого ревью — в передаче реализации. Экспорт текущего snapshot теперь включает ИП прежних и будущих лет начала, как list/detail: год initiation не определяет наличие ИП в актуальной выгрузке. Canonical OGRN/OKPO проверяются на 13/8 цифр; неполные/неоднозначные реквизиты не исправляются парсером. Реальное применение migrations доказано отдельным pytest с --migrations; обычный test profile использует --nomigrations.