feat: enrich saved leasing events with bounded Fedresurs details
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m26s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 3m28s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m3s
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m26s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 3m28s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m3s
This commit is contained in:
@@ -1,5 +1,8 @@
|
||||
# Разделы Checko: проверенные методы API 2.5
|
||||
|
||||
Предметы и реквизиты договоров дополняются отдельным режимом без повторных
|
||||
запросов Checko: [детали лизинга](leasing-details.md).
|
||||
|
||||
Проверено 5 октября 2026 по официальным страницам [API](https://checko.ru/integration/api), [company](https://checko.ru/integration/api/company), [fedresurs](https://checko.ru/integration/api/fedresurs) и [справочнику типов](https://checko.ru/uploads/datasets/message_types.xlsx). Старые /api адреса возвращают 404. Публичная документация подтверждает все методы на всех тарифах; фактический доступ выбранного аккаунта ещё не проверен. Ключи/личный кабинет не читались, платных запросов не было.
|
||||
|
||||
## Транспорт и полнота
|
||||
|
||||
74
docs/sources/leasing-details.md
Normal file
74
docs/sources/leasing-details.md
Normal file
@@ -0,0 +1,74 @@
|
||||
# Детали лизинга из публичных сообщений Федресурса
|
||||
|
||||
Checko `/fedresurs` остаётся источником списка событий и их GUID. Отдельный
|
||||
режим `details` дополняет уже сохранённые события из публичной страницы сообщения:
|
||||
номер и дата договора, сроки аренды, лизингодатели/лизингополучатели, предметы
|
||||
(описание, классификатор и опубликованный идентификатор), причина/дата прекращения
|
||||
и ссылки на связанные публикации. Стоимость и отсутствующие идентификаторы не
|
||||
вычисляются. Связанные страницы автоматически не обходятся.
|
||||
|
||||
## Запуск и API
|
||||
|
||||
Для администратора:
|
||||
|
||||
```http
|
||||
POST /api/v1/sources/checko-leasing/refresh/
|
||||
Content-Type: application/json
|
||||
|
||||
{"params":{"mode":"details"}}
|
||||
```
|
||||
|
||||
Также поддерживается `POST /api/v1/parsers/run/checko_leasing/` с тем же телом.
|
||||
Ответ 202 содержит task_id; статус и счётчики — в `/api/v1/jobs/<task_id>/`.
|
||||
Пустое тело сохраняет прежний режим `collection`: месячный сбор списка Checko.
|
||||
Режим `details` не обращается к Checko, не сбрасывает месячные claims, не создаёт
|
||||
ParserLoadLog и не подменяет дату полного успешного сбора списка.
|
||||
|
||||
Для точечной проверки одной существующей записи или порции:
|
||||
|
||||
```sh
|
||||
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 1 --record-uid <record-uuid>
|
||||
PYTHONPATH=src uv run python src/manage.py enrich_leasing_details --max-pages 25
|
||||
```
|
||||
|
||||
Новые необязательные поля `payload.lease_details` и `payload.lease_details_status`
|
||||
выдаются в list/detail `/api/v2/organization-source-records/`; прежний payload
|
||||
без этих полей остаётся допустимым. Успех — `status=loaded`; отказ — `failed`,
|
||||
`error_code`, `checked_at`, `next_retry_at`. Предыдущие детали при отказе сохраняются.
|
||||
UID, load_batch, количество событий и данные Checko при дополнении не меняются.
|
||||
Следующий штатный сбор списка сохраняет детали события с тем же external_id.
|
||||
|
||||
## Ограничение нагрузки
|
||||
|
||||
- `FEDRESURS_LEASING_MAX_PAGES`: по умолчанию 25 уникальных страниц за запуск,
|
||||
абсолютный потолок 100; командный `--max-pages` не может превысить настройку.
|
||||
- Успешные детали сохраняются в БД. Повторный запуск пропускает их; одно сообщение
|
||||
с несколькими организациями загружается один раз и проверяется для каждой
|
||||
организации по точной паре ИНН/ОГРН стороны договора.
|
||||
- Между страницами не менее двух секунд; увеличивается существующей настройкой
|
||||
`FEDRESURS_MIN_INTERVAL_SECONDS`. Браузер переиспользуется внутри порции.
|
||||
- Ошибка страницы откладывает её повтор на 24 часа. 403, challenge, timeout или
|
||||
ошибка браузера останавливают порцию; отказ источника включает общий cooldown
|
||||
на 24 часа. Техническая ошибка не становится пустым договором.
|
||||
- Сбор ограничен 30 минутами и защищён общим cache-lock; одновременно запущенный
|
||||
collector возвращает `enrichment_already_running` до загрузки страницы.
|
||||
|
||||
Лимит считает навигации к сообщениям, а не все HTTP-запросы браузера: ресурсы
|
||||
приложения требуют дополнительных запросов. Повторного платного сбора Checko нет.
|
||||
Данные дозаполняются явными порциями; нового автоматического расписания нет.
|
||||
|
||||
`FEDRESURS_LEASING_USER_AGENT` задаёт обычный браузерный User-Agent с обозначением
|
||||
`ECOS-LeasingCollector/1.0`. Значение по умолчанию соответствует Chrome 154 в
|
||||
текущем release image. Cookies пользователя, stealth-флаги, private API и
|
||||
обход challenge не используются; TLS-проверки остаются включёнными.
|
||||
|
||||
Сборщик сверяет заявленное число предметов с полученной таблицей. Неполная таблица
|
||||
(в том числе ещё не загруженные страницы длинной таблицы) даёт явную
|
||||
`incomplete_leasing_subjects` и не публикуется как полный договор. Старые данные
|
||||
сохраняются. Подписи/сертификаты не собираются; исходный текст содержит только
|
||||
публичный блок договора.
|
||||
|
||||
Проверка 6 октября 2026: dev browser с заданным User-Agent открыл сообщение
|
||||
39082892 из пользовательского примера; текущий парсер прочитал договор 5429,
|
||||
два предмета, обе стороны, сроки и ссылку на исходное сообщение. Это проверка
|
||||
транспорта/разбора; публикация и развёртывание проверяются отдельно.
|
||||
Reference in New Issue
Block a user