8.5 KiB
ФССП: два открытых набора
Проверено 5 октября 2026 напрямую на официальном сайте и по meta.csv.
| Набор | Паспорт | Последний файл | Структура | Размер |
|---|---|---|---|---|
| Общедоступные ИП юрлиц | https://opendata.fssp.gov.ru/7709576929-iplegallist | data-20261005T0655-structure-20260820T2100.csv | 17 колонок, 20260820T2100 | 1 971 503 738 байт |
| Оконченные ИП юрлиц | https://opendata.fssp.gov.ru/7709576929-iplegallistcomplete | data-20261005T0704-structure-20220620T2006.csv | 16 колонок, 20220620T2006 | 2 724 199 089 байт |
Полные inputs скачаны до заявленного размера и прочитаны до EOF 5 октября 2026. Checksums и результаты ниже; публикация на полном каноническом населении dev пока не проверена. UTF-8, CSV comma/quoted multiline. Разрешённый HTTPS host: opendata.fssp.gov.ru. Паспорта скачиваются по /meta.csv; актуальный файл выбирается по verified data timestamp, не порядку links. Максимальный размер каждого файла 4 GiB (4 294 967 296 байт), паспорт/структура 1 MiB; при превышении явный отказ.
Mapping
Официальные structure CSV и обезличенные meta CSV сохранены в tests/fixtures/fssp. Обе версии используют общие названия полей должника, адресов, номера/даты ИП, сводного ИП, типа/даты/номера/предмета документа, предмета исполнения, отдела/адреса отдела, Debtor TIN и TIN of the organization collector.
- The name of the debtor → debtor_name; Address of the debtor organization → debtor_legal_address (исходный смысл «Адрес организации-должника» сохраняется в raw); Actual address → debtor_actual_address.
- The number of enforcement proceeding → proceeding_number; Date of the institution of proceeding → initiated_on/record_date; The number of the consolidated enforcement proceedings → consolidated_proceeding_number.
- The executive document type/date/number → document_type/document_date/document_number; The object of executive documents → document_subject_raw (не issuer); The object of the execution → subject.
- Amount due → claim_amount; Debt remaining balance → debt_amount/amount (signed Decimal); только общий набор.
- Date, complete IP reason → termination_raw и при распознавании terminated_on/article/part/point; только набор оконченных ИП. Суммы в нём отсутствуют и равны null, не нулю.
- Departments of bailiffs → department_name; Address of departments of bailiff → department_address.
- Debtor TIN → debtor_inn/exact canonical organization; TIN of the organization collector → creditor_inn. Ведущие нули сохраняются; контрольная цифра юридического ИНН проверяется.
General status unknown. Completed status ended обоснован областью паспорта: пункты 3/4 части 1 статьи 46 и пункты 6/7 части 1 статьи 47. Конкретное основание не заполняется из общей области — только из raw поля.
Пересечение и идентичность
Identity: Debtor TIN + номер ИП, UUID5 существующего publisher. Одинаковое наблюдение дедуплицируется. Для одного ИП в обоих наборах оконченный набор имеет приоритет только если дата его публикации >= общей; сохранить оба наблюдения/provenance. Это более конкретная подтверждённая область, а не вывод из имени файла. Конфликт внутри одного набора или более новая общая запись против окончания блокирует общий publish. Ничего не выбирать по порядку обхода.
Режим работы
Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются.
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Новое расписание disabled. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
Проверка полных файлов 5 октября 2026
Это локальная потоковая проверка реальных выгрузок: SHA-256, CSV до EOF и нормализация всех строк. Она не публиковала данные в удалённую БД и не измеряет память полного canonical index или работу БД staging.
| Набор | Строк | Некорректных ИНН | Время чтения/hash | Peak RSS процесса |
|---|---|---|---|---|
| 7709576929-iplegallist | 2,945,317 | 19,171 | 48.7 s | 127,991,808 bytes |
| 7709576929-iplegallistcomplete | 4,121,503 | 40,277 | 79.83 s | 128,188,416 bytes |
Checksums:
-
7709576929-iplegallist:a16b518c5412deb4cf08663239a8c3d009ae458e06fd523c501ff454d5e1d919(1,971,503,738 bytes). -
7709576929-iplegallistcomplete:5351437c1592dd263b009e78e78c6c9068b323731374f7f2a6d77bcf7346915a(2,724,199,089 bytes).
Общий набор: 253 отрицательных остатка долга, 13 113 сумм долга выше исходного взыскания, 247 будущих дат документов. Оконченный: 175 будущих дат. Сохраняются исходные значения и warnings. У всех 4 121 503 оконченных строк причина использует формулировку publisher ст. … п. … п.п. …; ISO дата и статья извлекаются, неоднозначные part/point остаются null с unparsed_termination. Raw не меняется; статус ended подтверждён паспортом набора.
Потоковый reader не удерживает строки; staging ограничен 500. Некорректные ИНН проходят coordinator quarantine, совпадения/неоднозначность определяются только по canonical index. Количества matched/skipped/published зависят от полного реестра dev и пока не установлены.
Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API.
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule disabled. Нельзя включать расписание до согласованного полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.