Files
Aleksandr Meshchryakov af02d1ce8a
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
feat: enable requested source collection schedules
2026-10-05 18:31:13 +02:00

66 lines
9.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# ФССП: два открытых набора
Проверено 5 октября 2026 напрямую на официальном сайте и по meta.csv.
| Набор | Паспорт | Последний файл | Структура | Размер |
| --- | --- | --- | --- | --- |
| Общедоступные ИП юрлиц | https://opendata.fssp.gov.ru/7709576929-iplegallist | data-20261005T0655-structure-20260820T2100.csv | 17 колонок, 20260820T2100 | 1 971 503 738 байт |
| Оконченные ИП юрлиц | https://opendata.fssp.gov.ru/7709576929-iplegallistcomplete | data-20261005T0704-structure-20220620T2006.csv | 16 колонок, 20220620T2006 | 2 724 199 089 байт |
Полные inputs скачаны до заявленного размера и прочитаны до EOF 5 октября 2026. Checksums и результаты ниже; публикация на полном каноническом населении dev пока не проверена. UTF-8, CSV comma/quoted multiline. Разрешённый HTTPS host: opendata.fssp.gov.ru. Паспорта скачиваются по <dataset>/meta.csv; актуальный файл выбирается по verified data timestamp, не порядку links. Максимальный размер каждого файла 4 GiB (4 294 967 296 байт), паспорт/структура 1 MiB; при превышении явный отказ.
## Mapping
Официальные structure CSV и обезличенные meta CSV сохранены в tests/fixtures/fssp. Обе версии используют общие названия полей должника, адресов, номера/даты ИП, сводного ИП, типа/даты/номера/предмета документа, предмета исполнения, отдела/адреса отдела, Debtor TIN и TIN of the organization collector.
- The name of the debtor → debtor_name; Address of the debtor organization → debtor_legal_address (исходный смысл «Адрес организации-должника» сохраняется в raw); Actual address → debtor_actual_address.
- The number of enforcement proceeding → proceeding_number; Date of the institution of proceeding → initiated_on/record_date; The number of the consolidated enforcement proceedings → consolidated_proceeding_number.
- The executive document type/date/number → document_type/document_date/document_number; The object of executive documents → document_subject_raw (не issuer); The object of the execution → subject.
- Amount due → claim_amount; Debt remaining balance → debt_amount/amount (signed Decimal); только общий набор.
- Date, complete IP reason → termination_raw и при распознавании terminated_on/article/part/point; только набор оконченных ИП. Суммы в нём отсутствуют и равны null, не нулю.
- Departments of bailiffs → department_name; Address of departments of bailiff → department_address.
- Debtor TIN → debtor_inn/exact canonical organization; TIN of the organization collector → creditor_inn. Ведущие нули сохраняются; контрольная цифра юридического ИНН проверяется.
General status unknown. Completed status ended обоснован областью паспорта: пункты 3/4 части 1 статьи 46 и пункты 6/7 части 1 статьи 47. Конкретное основание не заполняется из общей области — только из raw поля.
## Пересечение и идентичность
Identity: Debtor TIN + номер ИП, UUID5 существующего publisher. Одинаковое наблюдение дедуплицируется. Для одного ИП в обоих наборах оконченный набор имеет приоритет только если дата его публикации >= общей; сохранить оба наблюдения/provenance. Это более конкретная подтверждённая область, а не вывод из имени файла. Конфликт внутри одного набора или более новая общая запись против окончания блокирует общий publish. Ничего не выбирать по порядку обхода.
## Режим работы
Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются.
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Миграция 0048 включает суточное расписание по явному указанию пользователя от 05.10.2026. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
## Проверка полных файлов 5 октября 2026
Это локальная потоковая проверка реальных выгрузок: SHA-256, CSV до EOF и нормализация всех строк. Она не публиковала данные в удалённую БД и не измеряет память полного canonical index или работу БД staging.
| Набор | Строк | Некорректных ИНН | Время чтения/hash | Peak RSS процесса |
| --- | ---: | ---: | ---: | ---: |
| 7709576929-iplegallist | 2,945,317 | 19,171 | 48.7 s | 127,991,808 bytes |
| 7709576929-iplegallistcomplete | 4,121,503 | 40,277 | 79.83 s | 128,188,416 bytes |
Checksums:
- `7709576929-iplegallist`: `a16b518c5412deb4cf08663239a8c3d009ae458e06fd523c501ff454d5e1d919` (1,971,503,738 bytes).
- `7709576929-iplegallistcomplete`: `5351437c1592dd263b009e78e78c6c9068b323731374f7f2a6d77bcf7346915a` (2,724,199,089 bytes).
Общий набор: 253 отрицательных остатка долга, 13 113 сумм долга выше исходного взыскания, 247 будущих дат документов. Оконченный: 175 будущих дат. Сохраняются исходные значения и warnings. У всех 4 121 503 оконченных строк причина использует формулировку publisher `ст. … п. … п.п. …`; ISO дата и статья извлекаются, неоднозначные part/point остаются null с `unparsed_termination`. Raw не меняется; статус ended подтверждён паспортом набора.
Потоковый reader не удерживает строки; staging ограничен 500. Некорректные ИНН проходят coordinator quarantine, совпадения/неоднозначность определяются только по canonical index. Количества matched/skipped/published зависят от полного реестра dev и пока не установлены.
Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API.
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule включается миграцией 0048 по явному указанию пользователя. Readiness требует полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
Итоговые проверки после независимого ревью — в [передаче реализации](2026-10-05-implementation-handoff.md).
Экспорт текущего snapshot теперь включает ИП прежних и будущих лет начала, как
list/detail: год initiation не определяет наличие ИП в актуальной выгрузке.
Canonical OGRN/OKPO проверяются на 13/8 цифр; неполные/неоднозначные реквизиты
не исправляются парсером. Реальное применение migrations доказано отдельным
pytest с `--migrations`; обычный test profile использует `--nomigrations`.