All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m2s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 3m14s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m57s
78 lines
6.5 KiB
Markdown
78 lines
6.5 KiB
Markdown
# Детали лизинга из публичных сообщений Федресурса
|
||
|
||
Checko `/fedresurs` остаётся источником списка событий и их GUID. Отдельный
|
||
режим `details` дополняет уже сохранённые события из публичной страницы сообщения:
|
||
номер и дата договора, сроки аренды, лизингодатели/лизингополучатели, предметы
|
||
(описание, классификатор и опубликованный идентификатор), причина/дата прекращения
|
||
и ссылки на связанные публикации. Стоимость и отсутствующие идентификаторы не
|
||
вычисляются. Связанные страницы автоматически не обходятся.
|
||
|
||
## Запуск и API
|
||
|
||
Для администратора:
|
||
|
||
```http
|
||
POST /api/v1/sources/checko-leasing/refresh/
|
||
Content-Type: application/json
|
||
|
||
{"params":{"mode":"details"}}
|
||
```
|
||
|
||
Также поддерживается `POST /api/v1/parsers/run/checko_leasing/` с тем же телом.
|
||
Ответ 202 содержит task_id; статус и счётчики — в `/api/v1/jobs/<task_id>/`.
|
||
Пустое тело сохраняет прежний режим `collection`: месячный сбор списка Checko.
|
||
Режим `details` не обращается к Checko, не сбрасывает месячные claims, не создаёт
|
||
ParserLoadLog и не подменяет дату полного успешного сбора списка.
|
||
|
||
Для точечной проверки одной существующей записи или порции:
|
||
|
||
```sh
|
||
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 1 --record-uid <record-uuid>
|
||
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 25
|
||
```
|
||
|
||
Новые необязательные поля `payload.lease_details` и `payload.lease_details_status`
|
||
выдаются в list/detail `/api/v2/organization-source-records/`; прежний payload
|
||
без этих полей остаётся допустимым. Успех — `status=loaded`; отказ — `failed`,
|
||
`error_code`, `checked_at`, `next_retry_at`. Предыдущие детали при отказе сохраняются.
|
||
UID, load_batch, количество событий и данные Checko при дополнении не меняются.
|
||
Следующий штатный сбор списка сохраняет детали события с тем же external_id.
|
||
|
||
## Ограничение нагрузки
|
||
|
||
- `FEDRESURS_LEASING_MAX_PAGES`: по умолчанию 25 уникальных страниц за запуск,
|
||
абсолютный потолок 100; командный `--max-pages` не может превысить настройку.
|
||
- Успешные детали сохраняются в БД. Повторный запуск пропускает их; одно сообщение
|
||
с несколькими организациями загружается один раз и проверяется для каждой
|
||
организации по точной паре ИНН/ОГРН стороны договора.
|
||
- Между страницами не менее двух секунд; увеличивается существующей настройкой
|
||
`FEDRESURS_MIN_INTERVAL_SECONDS`. Браузер переиспользуется внутри порции.
|
||
- Ошибка страницы откладывает её повтор на 24 часа. 403, challenge, timeout или
|
||
ошибка браузера останавливают порцию; отказ источника включает общий cooldown
|
||
на 24 часа. Техническая ошибка не становится пустым договором.
|
||
- Публичная страница «404 / Страница не найдена» (Федресурс возвращает HTTP 200)
|
||
даёт `leasing_message_not_found` для конкретной записи. Такая публикация
|
||
пропускается до следующей попытки, сбор продолжается без общего cooldown.
|
||
- Сбор ограничен 30 минутами и защищён общим cache-lock; одновременно запущенный
|
||
collector возвращает `enrichment_already_running` до загрузки страницы.
|
||
|
||
Лимит считает навигации к сообщениям, а не все HTTP-запросы браузера: ресурсы
|
||
приложения требуют дополнительных запросов. Повторного платного сбора Checko нет.
|
||
Данные дозаполняются явными порциями; нового автоматического расписания нет.
|
||
|
||
`FEDRESURS_LEASING_USER_AGENT` задаёт обычный браузерный User-Agent с обозначением
|
||
`ECOS-LeasingCollector/1.0`. Значение по умолчанию соответствует Chrome 154 в
|
||
текущем release image. Cookies пользователя, stealth-флаги, private API и
|
||
обход challenge не используются; TLS-проверки остаются включёнными.
|
||
|
||
Сборщик сверяет заявленное число предметов с полученной таблицей. Неполная таблица
|
||
(в том числе ещё не загруженные страницы длинной таблицы) даёт явную
|
||
`incomplete_leasing_subjects` и не публикуется как полный договор. Старые данные
|
||
сохраняются. Подписи/сертификаты не собираются; исходный текст содержит только
|
||
публичный блок договора.
|
||
|
||
Проверка 6 октября 2026: dev browser с заданным User-Agent открыл сообщение
|
||
39082892 из пользовательского примера; текущий парсер прочитал договор 5429,
|
||
два предмета, обе стороны, сроки и ссылку на исходное сообщение. Это проверка
|
||
транспорта/разбора; публикация и развёртывание проверяются отдельно.
|