Files
mostovik-backend/docs/fedresurs-company-profile.md
Aleksandr Meshchryakov 85a3c0650e
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6m35s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
feat: add Fedresurs profiles and integrated structures sources
2026-09-24 14:14:01 +02:00

3.3 KiB
Raw Permalink Blame History

Публичная карточка Федресурса

Источник fedresurs-company-profile (fedresurs_company_profile) открывает новую анонимную сессию Selenium с закреплённой парой Chrome for Testing и chromedriver. Поиск идёт через публичную форму по ИНН, подтверждается точным совпадением ИНН и ОГРН, затем браузер читает /companies/{guid}. Код не обращается к /backend, не переносит cookies пользователей и не обходит CAPTCHA/Qrator.

Для каждой карточки сохраняется вся отрендеренная страница и каждый обнаруженный раздел, включая новые разделы с неизвестным заранее именем: полный текст, иерархия DOM без нестабильных Angular/CSS-атрибутов, пары label/value и публичные ссылки. Адаптер проходит обнаруженные ссылки полного списка публикаций и правопередач, проверяет заявленное число записей и открывает каждое обнаруженное публичное сообщение. Полный текст, поля и ссылки этих страниц входят в detail API. Бинарные документы не скачиваются; их метаданные и ссылки сохраняются. Неизвестный подраздел, неполная выдача, challenge, таймаут или превышение лимита страницы являются технической ошибкой: batch не публикуется и предыдущий snapshot остаётся доступен.

В XLSX длинные значения (в том числе полный текст страницы) не обрезаются: основная ячейка ссылается на листы overflow_values_N. Их строки с теми же record_uid и field_name нужно упорядочить по part, убрать префикс b64: у каждого chunk, склеить части и декодировать как base64/UTF-8. JSON-выгрузка содержит значение непосредственно.

POST /api/v1/parsers/run/fedresurs_company_profile/ запускает full по всему активному каноническому реестру или targeted с массивом до 500 organization_uids. Организации обрабатываются последовательно. Параметры FEDRESURS_* задают feature flag, браузер, timeout, паузу и retries. Ежедневная задача 02:30 Europe/Moscow устанавливается миграцией выключенной; её можно включить только после полного успешного ручного запуска на dev. No-match и неоднозначные результаты фиксируются в quarantine, а не трактуются как ошибки транспорта. Upload для этого источника возвращает HTTP 405.