Files
mostovik-backend/docs/sources/leasing-details.md
Aleksandr Meshchryakov 70dfc55f3d
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m2s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 3m14s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m57s
fix: continue leasing enrichment after missing Fedresurs messages
2026-10-06 15:48:34 +02:00

6.5 KiB
Raw Blame History

Детали лизинга из публичных сообщений Федресурса

Checko /fedresurs остаётся источником списка событий и их GUID. Отдельный режим details дополняет уже сохранённые события из публичной страницы сообщения: номер и дата договора, сроки аренды, лизингодатели/лизингополучатели, предметы (описание, классификатор и опубликованный идентификатор), причина/дата прекращения и ссылки на связанные публикации. Стоимость и отсутствующие идентификаторы не вычисляются. Связанные страницы автоматически не обходятся.

Запуск и API

Для администратора:

POST /api/v1/sources/checko-leasing/refresh/
Content-Type: application/json

{"params":{"mode":"details"}}

Также поддерживается POST /api/v1/parsers/run/checko_leasing/ с тем же телом. Ответ 202 содержит task_id; статус и счётчики — в /api/v1/jobs/<task_id>/. Пустое тело сохраняет прежний режим collection: месячный сбор списка Checko. Режим details не обращается к Checko, не сбрасывает месячные claims, не создаёт ParserLoadLog и не подменяет дату полного успешного сбора списка.

Для точечной проверки одной существующей записи или порции:

PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 1 --record-uid <record-uuid>
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 25

Новые необязательные поля payload.lease_details и payload.lease_details_status выдаются в list/detail /api/v2/organization-source-records/; прежний payload без этих полей остаётся допустимым. Успех — status=loaded; отказ — failed, error_code, checked_at, next_retry_at. Предыдущие детали при отказе сохраняются. UID, load_batch, количество событий и данные Checko при дополнении не меняются. Следующий штатный сбор списка сохраняет детали события с тем же external_id.

Ограничение нагрузки

  • FEDRESURS_LEASING_MAX_PAGES: по умолчанию 25 уникальных страниц за запуск, абсолютный потолок 100; командный --max-pages не может превысить настройку.
  • Успешные детали сохраняются в БД. Повторный запуск пропускает их; одно сообщение с несколькими организациями загружается один раз и проверяется для каждой организации по точной паре ИНН/ОГРН стороны договора.
  • Между страницами не менее двух секунд; увеличивается существующей настройкой FEDRESURS_MIN_INTERVAL_SECONDS. Браузер переиспользуется внутри порции.
  • Ошибка страницы откладывает её повтор на 24 часа. 403, challenge, timeout или ошибка браузера останавливают порцию; отказ источника включает общий cooldown на 24 часа. Техническая ошибка не становится пустым договором.
  • Публичная страница «404 / Страница не найдена» (Федресурс возвращает HTTP 200) даёт leasing_message_not_found для конкретной записи. Такая публикация пропускается до следующей попытки, сбор продолжается без общего cooldown.
  • Сбор ограничен 30 минутами и защищён общим cache-lock; одновременно запущенный collector возвращает enrichment_already_running до загрузки страницы.

Лимит считает навигации к сообщениям, а не все HTTP-запросы браузера: ресурсы приложения требуют дополнительных запросов. Повторного платного сбора Checko нет. Данные дозаполняются явными порциями; нового автоматического расписания нет.

FEDRESURS_LEASING_USER_AGENT задаёт обычный браузерный User-Agent с обозначением ECOS-LeasingCollector/1.0. Значение по умолчанию соответствует Chrome 154 в текущем release image. Cookies пользователя, stealth-флаги, private API и обход challenge не используются; TLS-проверки остаются включёнными.

Сборщик сверяет заявленное число предметов с полученной таблицей. Неполная таблица (в том числе ещё не загруженные страницы длинной таблицы) даёт явную incomplete_leasing_subjects и не публикуется как полный договор. Старые данные сохраняются. Подписи/сертификаты не собираются; исходный текст содержит только публичный блок договора.

Проверка 6 октября 2026: dev browser с заданным User-Agent открыл сообщение 39082892 из пользовательского примера; текущий парсер прочитал договор 5429, два предмета, обе стороны, сроки и ссылку на исходное сообщение. Это проверка транспорта/разбора; публикация и развёртывание проверяются отдельно.