feat: add Fedresurs profiles and integrated structures sources
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6m35s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped

This commit is contained in:
Aleksandr Meshchryakov
2026-09-24 14:14:01 +02:00
parent 4c869b856c
commit 85a3c0650e
42 changed files with 3166 additions and 49 deletions

View File

@@ -0,0 +1,35 @@
# Публичная карточка Федресурса
Источник `fedresurs-company-profile` (`fedresurs_company_profile`) открывает
новую анонимную сессию Selenium с закреплённой парой Chrome for Testing и
chromedriver. Поиск идёт через публичную форму по ИНН, подтверждается точным
совпадением ИНН и ОГРН, затем браузер читает `/companies/{guid}`. Код не
обращается к `/backend`, не переносит cookies пользователей и не обходит
CAPTCHA/Qrator.
Для каждой карточки сохраняется вся отрендеренная страница и каждый
обнаруженный раздел, включая новые разделы с неизвестным заранее именем:
полный текст,
иерархия DOM без нестабильных Angular/CSS-атрибутов, пары `label/value` и
публичные ссылки. Адаптер проходит обнаруженные ссылки полного списка
публикаций и правопередач, проверяет заявленное число записей и открывает
каждое обнаруженное публичное сообщение. Полный текст, поля и ссылки этих
страниц входят в detail API. Бинарные документы не скачиваются; их метаданные
и ссылки сохраняются. Неизвестный подраздел, неполная выдача, challenge,
таймаут или превышение лимита страницы являются технической ошибкой: batch не
публикуется и предыдущий snapshot остаётся доступен.
В XLSX длинные значения (в том числе полный текст страницы) не обрезаются:
основная ячейка ссылается на листы `overflow_values_N`. Их строки с теми же
`record_uid` и `field_name` нужно упорядочить по `part`, убрать префикс `b64:`
у каждого `chunk`, склеить части и декодировать как base64/UTF-8. JSON-выгрузка
содержит значение непосредственно.
`POST /api/v1/parsers/run/fedresurs_company_profile/` запускает `full` по всему
активному каноническому реестру или `targeted` с массивом до 500
`organization_uids`. Организации обрабатываются последовательно. Параметры
`FEDRESURS_*` задают feature flag, браузер, timeout, паузу и retries.
Ежедневная задача `02:30 Europe/Moscow` устанавливается миграцией выключенной;
её можно включить только после полного успешного ручного запуска на dev.
No-match и неоднозначные результаты фиксируются в quarantine, а не трактуются
как ошибки транспорта. Upload для этого источника возвращает HTTP 405.