Files
mostovik-backend/docs/fedresurs-company-profile.md
Aleksandr Meshchryakov 85a3c0650e
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6m35s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
feat: add Fedresurs profiles and integrated structures sources
2026-09-24 14:14:01 +02:00

36 lines
3.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Публичная карточка Федресурса
Источник `fedresurs-company-profile` (`fedresurs_company_profile`) открывает
новую анонимную сессию Selenium с закреплённой парой Chrome for Testing и
chromedriver. Поиск идёт через публичную форму по ИНН, подтверждается точным
совпадением ИНН и ОГРН, затем браузер читает `/companies/{guid}`. Код не
обращается к `/backend`, не переносит cookies пользователей и не обходит
CAPTCHA/Qrator.
Для каждой карточки сохраняется вся отрендеренная страница и каждый
обнаруженный раздел, включая новые разделы с неизвестным заранее именем:
полный текст,
иерархия DOM без нестабильных Angular/CSS-атрибутов, пары `label/value` и
публичные ссылки. Адаптер проходит обнаруженные ссылки полного списка
публикаций и правопередач, проверяет заявленное число записей и открывает
каждое обнаруженное публичное сообщение. Полный текст, поля и ссылки этих
страниц входят в detail API. Бинарные документы не скачиваются; их метаданные
и ссылки сохраняются. Неизвестный подраздел, неполная выдача, challenge,
таймаут или превышение лимита страницы являются технической ошибкой: batch не
публикуется и предыдущий snapshot остаётся доступен.
В XLSX длинные значения (в том числе полный текст страницы) не обрезаются:
основная ячейка ссылается на листы `overflow_values_N`. Их строки с теми же
`record_uid` и `field_name` нужно упорядочить по `part`, убрать префикс `b64:`
у каждого `chunk`, склеить части и декодировать как base64/UTF-8. JSON-выгрузка
содержит значение непосредственно.
`POST /api/v1/parsers/run/fedresurs_company_profile/` запускает `full` по всему
активному каноническому реестру или `targeted` с массивом до 500
`organization_uids`. Организации обрабатываются последовательно. Параметры
`FEDRESURS_*` задают feature flag, браузер, timeout, паузу и retries.
Ежедневная задача `02:30 Europe/Moscow` устанавливается миграцией выключенной;
её можно включить только после полного успешного ручного запуска на dev.
No-match и неоднозначные результаты фиксируются в quarantine, а не трактуются
как ошибки транспорта. Upload для этого источника возвращает HTTP 405.