6.5 KiB
Детали лизинга из публичных сообщений Федресурса
Checko /fedresurs остаётся источником списка событий и их GUID. Отдельный
режим details дополняет уже сохранённые события из публичной страницы сообщения:
номер и дата договора, сроки аренды, лизингодатели/лизингополучатели, предметы
(описание, классификатор и опубликованный идентификатор), причина/дата прекращения
и ссылки на связанные публикации. Стоимость и отсутствующие идентификаторы не
вычисляются. Связанные страницы автоматически не обходятся.
Запуск и API
Для администратора:
POST /api/v1/sources/checko-leasing/refresh/
Content-Type: application/json
{"params":{"mode":"details"}}
Также поддерживается POST /api/v1/parsers/run/checko_leasing/ с тем же телом.
Ответ 202 содержит task_id; статус и счётчики — в /api/v1/jobs/<task_id>/.
Пустое тело сохраняет прежний режим collection: месячный сбор списка Checko.
Режим details не обращается к Checko, не сбрасывает месячные claims, не создаёт
ParserLoadLog и не подменяет дату полного успешного сбора списка.
Для точечной проверки одной существующей записи или порции:
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 1 --record-uid <record-uuid>
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 25
Новые необязательные поля payload.lease_details и payload.lease_details_status
выдаются в list/detail /api/v2/organization-source-records/; прежний payload
без этих полей остаётся допустимым. Успех — status=loaded; отказ — failed,
error_code, checked_at, next_retry_at. Предыдущие детали при отказе сохраняются.
UID, load_batch, количество событий и данные Checko при дополнении не меняются.
Следующий штатный сбор списка сохраняет детали события с тем же external_id.
Ограничение нагрузки
FEDRESURS_LEASING_MAX_PAGES: по умолчанию 25 уникальных страниц за запуск, абсолютный потолок 100; командный--max-pagesне может превысить настройку.- Успешные детали сохраняются в БД. Повторный запуск пропускает их; одно сообщение с несколькими организациями загружается один раз и проверяется для каждой организации по точной паре ИНН/ОГРН стороны договора.
- Между страницами не менее двух секунд; увеличивается существующей настройкой
FEDRESURS_MIN_INTERVAL_SECONDS. Браузер переиспользуется внутри порции. - Ошибка страницы откладывает её повтор на 24 часа. 403, challenge, timeout или ошибка браузера останавливают порцию; отказ источника включает общий cooldown на 24 часа. Техническая ошибка не становится пустым договором.
- Публичная страница «404 / Страница не найдена» (Федресурс возвращает HTTP 200)
даёт
leasing_message_not_foundдля конкретной записи. Такая публикация пропускается до следующей попытки, сбор продолжается без общего cooldown. - Сбор ограничен 30 минутами и защищён общим cache-lock; одновременно запущенный
collector возвращает
enrichment_already_runningдо загрузки страницы.
Лимит считает навигации к сообщениям, а не все HTTP-запросы браузера: ресурсы приложения требуют дополнительных запросов. Повторного платного сбора Checko нет. Данные дозаполняются явными порциями; нового автоматического расписания нет.
FEDRESURS_LEASING_USER_AGENT задаёт обычный браузерный User-Agent с обозначением
ECOS-LeasingCollector/1.0. Значение по умолчанию соответствует Chrome 154 в
текущем release image. Cookies пользователя, stealth-флаги, private API и
обход challenge не используются; TLS-проверки остаются включёнными.
Сборщик сверяет заявленное число предметов с полученной таблицей. Неполная таблица
(в том числе ещё не загруженные страницы длинной таблицы) даёт явную
incomplete_leasing_subjects и не публикуется как полный договор. Старые данные
сохраняются. Подписи/сертификаты не собираются; исходный текст содержит только
публичный блок договора.
Проверка 6 октября 2026: dev browser с заданным User-Agent открыл сообщение 39082892 из пользовательского примера; текущий парсер прочитал договор 5429, два предмета, обе стороны, сроки и ссылку на исходное сообщение. Это проверка транспорта/разбора; публикация и развёртывание проверяются отдельно.