Files
mostovik-backend/docs/sources/leasing-details.md
Aleksandr Meshchryakov 70dfc55f3d
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m2s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 3m14s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m57s
fix: continue leasing enrichment after missing Fedresurs messages
2026-10-06 15:48:34 +02:00

78 lines
6.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Детали лизинга из публичных сообщений Федресурса
Checko `/fedresurs` остаётся источником списка событий и их GUID. Отдельный
режим `details` дополняет уже сохранённые события из публичной страницы сообщения:
номер и дата договора, сроки аренды, лизингодатели/лизингополучатели, предметы
(описание, классификатор и опубликованный идентификатор), причина/дата прекращения
и ссылки на связанные публикации. Стоимость и отсутствующие идентификаторы не
вычисляются. Связанные страницы автоматически не обходятся.
## Запуск и API
Для администратора:
```http
POST /api/v1/sources/checko-leasing/refresh/
Content-Type: application/json
{"params":{"mode":"details"}}
```
Также поддерживается `POST /api/v1/parsers/run/checko_leasing/` с тем же телом.
Ответ 202 содержит task_id; статус и счётчики — в `/api/v1/jobs/<task_id>/`.
Пустое тело сохраняет прежний режим `collection`: месячный сбор списка Checko.
Режим `details` не обращается к Checko, не сбрасывает месячные claims, не создаёт
ParserLoadLog и не подменяет дату полного успешного сбора списка.
Для точечной проверки одной существующей записи или порции:
```sh
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 1 --record-uid <record-uuid>
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 25
```
Новые необязательные поля `payload.lease_details` и `payload.lease_details_status`
выдаются в list/detail `/api/v2/organization-source-records/`; прежний payload
без этих полей остаётся допустимым. Успех — `status=loaded`; отказ — `failed`,
`error_code`, `checked_at`, `next_retry_at`. Предыдущие детали при отказе сохраняются.
UID, load_batch, количество событий и данные Checko при дополнении не меняются.
Следующий штатный сбор списка сохраняет детали события с тем же external_id.
## Ограничение нагрузки
- `FEDRESURS_LEASING_MAX_PAGES`: по умолчанию 25 уникальных страниц за запуск,
абсолютный потолок 100; командный `--max-pages` не может превысить настройку.
- Успешные детали сохраняются в БД. Повторный запуск пропускает их; одно сообщение
с несколькими организациями загружается один раз и проверяется для каждой
организации по точной паре ИНН/ОГРН стороны договора.
- Между страницами не менее двух секунд; увеличивается существующей настройкой
`FEDRESURS_MIN_INTERVAL_SECONDS`. Браузер переиспользуется внутри порции.
- Ошибка страницы откладывает её повтор на 24 часа. 403, challenge, timeout или
ошибка браузера останавливают порцию; отказ источника включает общий cooldown
на 24 часа. Техническая ошибка не становится пустым договором.
- Публичная страница «404 / Страница не найдена» (Федресурс возвращает HTTP 200)
даёт `leasing_message_not_found` для конкретной записи. Такая публикация
пропускается до следующей попытки, сбор продолжается без общего cooldown.
- Сбор ограничен 30 минутами и защищён общим cache-lock; одновременно запущенный
collector возвращает `enrichment_already_running` до загрузки страницы.
Лимит считает навигации к сообщениям, а не все HTTP-запросы браузера: ресурсы
приложения требуют дополнительных запросов. Повторного платного сбора Checko нет.
Данные дозаполняются явными порциями; нового автоматического расписания нет.
`FEDRESURS_LEASING_USER_AGENT` задаёт обычный браузерный User-Agent с обозначением
`ECOS-LeasingCollector/1.0`. Значение по умолчанию соответствует Chrome 154 в
текущем release image. Cookies пользователя, stealth-флаги, private API и
обход challenge не используются; TLS-проверки остаются включёнными.
Сборщик сверяет заявленное число предметов с полученной таблицей. Неполная таблица
(в том числе ещё не загруженные страницы длинной таблицы) даёт явную
`incomplete_leasing_subjects` и не публикуется как полный договор. Старые данные
сохраняются. Подписи/сертификаты не собираются; исходный текст содержит только
публичный блок договора.
Проверка 6 октября 2026: dev browser с заданным User-Agent открыл сообщение
39082892 из пользовательского примера; текущий парсер прочитал договор 5429,
два предмета, обе стороны, сроки и ссылку на исходное сообщение. Это проверка
транспорта/разбора; публикация и развёртывание проверяются отдельно.