3.3 KiB
Публичная карточка Федресурса
Источник fedresurs-company-profile (fedresurs_company_profile) открывает
новую анонимную сессию Selenium с закреплённой парой Chrome for Testing и
chromedriver. Поиск идёт через публичную форму по ИНН, подтверждается точным
совпадением ИНН и ОГРН, затем браузер читает /companies/{guid}. Код не
обращается к /backend, не переносит cookies пользователей и не обходит
CAPTCHA/Qrator.
Для каждой карточки сохраняется вся отрендеренная страница и каждый
обнаруженный раздел, включая новые разделы с неизвестным заранее именем:
полный текст,
иерархия DOM без нестабильных Angular/CSS-атрибутов, пары label/value и
публичные ссылки. Адаптер проходит обнаруженные ссылки полного списка
публикаций и правопередач, проверяет заявленное число записей и открывает
каждое обнаруженное публичное сообщение. Полный текст, поля и ссылки этих
страниц входят в detail API. Бинарные документы не скачиваются; их метаданные
и ссылки сохраняются. Неизвестный подраздел, неполная выдача, challenge,
таймаут или превышение лимита страницы являются технической ошибкой: batch не
публикуется и предыдущий snapshot остаётся доступен.
В XLSX длинные значения (в том числе полный текст страницы) не обрезаются:
основная ячейка ссылается на листы overflow_values_N. Их строки с теми же
record_uid и field_name нужно упорядочить по part, убрать префикс b64:
у каждого chunk, склеить части и декодировать как base64/UTF-8. JSON-выгрузка
содержит значение непосредственно.
POST /api/v1/parsers/run/fedresurs_company_profile/ запускает full по всему
активному каноническому реестру или targeted с массивом до 500
organization_uids. Организации обрабатываются последовательно. Параметры
FEDRESURS_* задают feature flag, браузер, timeout, паузу и retries.
Ежедневная задача 02:30 Europe/Moscow устанавливается миграцией выключенной;
её можно включить только после полного успешного ручного запуска на dev.
No-match и неоднозначные результаты фиксируются в quarantine, а не трактуются
как ошибки транспорта. Upload для этого источника возвращает HTTP 405.