Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6m35s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
36 lines
3.3 KiB
Markdown
36 lines
3.3 KiB
Markdown
# Публичная карточка Федресурса
|
||
|
||
Источник `fedresurs-company-profile` (`fedresurs_company_profile`) открывает
|
||
новую анонимную сессию Selenium с закреплённой парой Chrome for Testing и
|
||
chromedriver. Поиск идёт через публичную форму по ИНН, подтверждается точным
|
||
совпадением ИНН и ОГРН, затем браузер читает `/companies/{guid}`. Код не
|
||
обращается к `/backend`, не переносит cookies пользователей и не обходит
|
||
CAPTCHA/Qrator.
|
||
|
||
Для каждой карточки сохраняется вся отрендеренная страница и каждый
|
||
обнаруженный раздел, включая новые разделы с неизвестным заранее именем:
|
||
полный текст,
|
||
иерархия DOM без нестабильных Angular/CSS-атрибутов, пары `label/value` и
|
||
публичные ссылки. Адаптер проходит обнаруженные ссылки полного списка
|
||
публикаций и правопередач, проверяет заявленное число записей и открывает
|
||
каждое обнаруженное публичное сообщение. Полный текст, поля и ссылки этих
|
||
страниц входят в detail API. Бинарные документы не скачиваются; их метаданные
|
||
и ссылки сохраняются. Неизвестный подраздел, неполная выдача, challenge,
|
||
таймаут или превышение лимита страницы являются технической ошибкой: batch не
|
||
публикуется и предыдущий snapshot остаётся доступен.
|
||
|
||
В XLSX длинные значения (в том числе полный текст страницы) не обрезаются:
|
||
основная ячейка ссылается на листы `overflow_values_N`. Их строки с теми же
|
||
`record_uid` и `field_name` нужно упорядочить по `part`, убрать префикс `b64:`
|
||
у каждого `chunk`, склеить части и декодировать как base64/UTF-8. JSON-выгрузка
|
||
содержит значение непосредственно.
|
||
|
||
`POST /api/v1/parsers/run/fedresurs_company_profile/` запускает `full` по всему
|
||
активному каноническому реестру или `targeted` с массивом до 500
|
||
`organization_uids`. Организации обрабатываются последовательно. Параметры
|
||
`FEDRESURS_*` задают feature flag, браузер, timeout, паузу и retries.
|
||
Ежедневная задача `02:30 Europe/Moscow` устанавливается миграцией выключенной;
|
||
её можно включить только после полного успешного ручного запуска на dev.
|
||
No-match и неоднозначные результаты фиксируются в quarantine, а не трактуются
|
||
как ошибки транспорта. Upload для этого источника возвращает HTTP 405.
|