feat: enrich saved leasing events with bounded Fedresurs details
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m26s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 3m28s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m3s

This commit is contained in:
Aleksandr Meshchryakov
2026-10-06 14:43:21 +02:00
parent 897941583e
commit ccb7f45c7e
15 changed files with 1418 additions and 4 deletions

View File

@@ -1,5 +1,8 @@
# Разделы Checko: проверенные методы API 2.5
Предметы и реквизиты договоров дополняются отдельным режимом без повторных
запросов Checko: [детали лизинга](leasing-details.md).
Проверено 5 октября 2026 по официальным страницам [API](https://checko.ru/integration/api), [company](https://checko.ru/integration/api/company), [fedresurs](https://checko.ru/integration/api/fedresurs) и [справочнику типов](https://checko.ru/uploads/datasets/message_types.xlsx). Старые /api адреса возвращают 404. Публичная документация подтверждает все методы на всех тарифах; фактический доступ выбранного аккаунта ещё не проверен. Ключи/личный кабинет не читались, платных запросов не было.
## Транспорт и полнота

View File

@@ -0,0 +1,74 @@
# Детали лизинга из публичных сообщений Федресурса
Checko `/fedresurs` остаётся источником списка событий и их GUID. Отдельный
режим `details` дополняет уже сохранённые события из публичной страницы сообщения:
номер и дата договора, сроки аренды, лизингодатели/лизингополучатели, предметы
(описание, классификатор и опубликованный идентификатор), причина/дата прекращения
и ссылки на связанные публикации. Стоимость и отсутствующие идентификаторы не
вычисляются. Связанные страницы автоматически не обходятся.
## Запуск и API
Для администратора:
```http
POST /api/v1/sources/checko-leasing/refresh/
Content-Type: application/json
{"params":{"mode":"details"}}
```
Также поддерживается `POST /api/v1/parsers/run/checko_leasing/` с тем же телом.
Ответ 202 содержит task_id; статус и счётчики — в `/api/v1/jobs/<task_id>/`.
Пустое тело сохраняет прежний режим `collection`: месячный сбор списка Checko.
Режим `details` не обращается к Checko, не сбрасывает месячные claims, не создаёт
ParserLoadLog и не подменяет дату полного успешного сбора списка.
Для точечной проверки одной существующей записи или порции:
```sh
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 1 --record-uid <record-uuid>
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 25
```
Новые необязательные поля `payload.lease_details` и `payload.lease_details_status`
выдаются в list/detail `/api/v2/organization-source-records/`; прежний payload
без этих полей остаётся допустимым. Успех — `status=loaded`; отказ — `failed`,
`error_code`, `checked_at`, `next_retry_at`. Предыдущие детали при отказе сохраняются.
UID, load_batch, количество событий и данные Checko при дополнении не меняются.
Следующий штатный сбор списка сохраняет детали события с тем же external_id.
## Ограничение нагрузки
- `FEDRESURS_LEASING_MAX_PAGES`: по умолчанию 25 уникальных страниц за запуск,
абсолютный потолок 100; командный `--max-pages` не может превысить настройку.
- Успешные детали сохраняются в БД. Повторный запуск пропускает их; одно сообщение
с несколькими организациями загружается один раз и проверяется для каждой
организации по точной паре ИНН/ОГРН стороны договора.
- Между страницами не менее двух секунд; увеличивается существующей настройкой
`FEDRESURS_MIN_INTERVAL_SECONDS`. Браузер переиспользуется внутри порции.
- Ошибка страницы откладывает её повтор на 24 часа. 403, challenge, timeout или
ошибка браузера останавливают порцию; отказ источника включает общий cooldown
на 24 часа. Техническая ошибка не становится пустым договором.
- Сбор ограничен 30 минутами и защищён общим cache-lock; одновременно запущенный
collector возвращает `enrichment_already_running` до загрузки страницы.
Лимит считает навигации к сообщениям, а не все HTTP-запросы браузера: ресурсы
приложения требуют дополнительных запросов. Повторного платного сбора Checko нет.
Данные дозаполняются явными порциями; нового автоматического расписания нет.
`FEDRESURS_LEASING_USER_AGENT` задаёт обычный браузерный User-Agent с обозначением
`ECOS-LeasingCollector/1.0`. Значение по умолчанию соответствует Chrome 154 в
текущем release image. Cookies пользователя, stealth-флаги, private API и
обход challenge не используются; TLS-проверки остаются включёнными.
Сборщик сверяет заявленное число предметов с полученной таблицей. Неполная таблица
(в том числе ещё не загруженные страницы длинной таблицы) даёт явную
`incomplete_leasing_subjects` и не публикуется как полный договор. Старые данные
сохраняются. Подписи/сертификаты не собираются; исходный текст содержит только
публичный блок договора.
Проверка 6 октября 2026: dev browser с заданным User-Agent открыл сообщение
39082892 из пользовательского примера; текущий парсер прочитал договор 5429,
два предмета, обе стороны, сроки и ссылку на исходное сообщение. Это проверка
транспорта/разбора; публикация и развёртывание проверяются отдельно.