feat: add Fedresurs profiles and integrated structures sources
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6m35s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6m35s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
This commit is contained in:
35
docs/fedresurs-company-profile.md
Normal file
35
docs/fedresurs-company-profile.md
Normal file
@@ -0,0 +1,35 @@
|
||||
# Публичная карточка Федресурса
|
||||
|
||||
Источник `fedresurs-company-profile` (`fedresurs_company_profile`) открывает
|
||||
новую анонимную сессию Selenium с закреплённой парой Chrome for Testing и
|
||||
chromedriver. Поиск идёт через публичную форму по ИНН, подтверждается точным
|
||||
совпадением ИНН и ОГРН, затем браузер читает `/companies/{guid}`. Код не
|
||||
обращается к `/backend`, не переносит cookies пользователей и не обходит
|
||||
CAPTCHA/Qrator.
|
||||
|
||||
Для каждой карточки сохраняется вся отрендеренная страница и каждый
|
||||
обнаруженный раздел, включая новые разделы с неизвестным заранее именем:
|
||||
полный текст,
|
||||
иерархия DOM без нестабильных Angular/CSS-атрибутов, пары `label/value` и
|
||||
публичные ссылки. Адаптер проходит обнаруженные ссылки полного списка
|
||||
публикаций и правопередач, проверяет заявленное число записей и открывает
|
||||
каждое обнаруженное публичное сообщение. Полный текст, поля и ссылки этих
|
||||
страниц входят в detail API. Бинарные документы не скачиваются; их метаданные
|
||||
и ссылки сохраняются. Неизвестный подраздел, неполная выдача, challenge,
|
||||
таймаут или превышение лимита страницы являются технической ошибкой: batch не
|
||||
публикуется и предыдущий snapshot остаётся доступен.
|
||||
|
||||
В XLSX длинные значения (в том числе полный текст страницы) не обрезаются:
|
||||
основная ячейка ссылается на листы `overflow_values_N`. Их строки с теми же
|
||||
`record_uid` и `field_name` нужно упорядочить по `part`, убрать префикс `b64:`
|
||||
у каждого `chunk`, склеить части и декодировать как base64/UTF-8. JSON-выгрузка
|
||||
содержит значение непосредственно.
|
||||
|
||||
`POST /api/v1/parsers/run/fedresurs_company_profile/` запускает `full` по всему
|
||||
активному каноническому реестру или `targeted` с массивом до 500
|
||||
`organization_uids`. Организации обрабатываются последовательно. Параметры
|
||||
`FEDRESURS_*` задают feature flag, браузер, timeout, паузу и retries.
|
||||
Ежедневная задача `02:30 Europe/Moscow` устанавливается миграцией выключенной;
|
||||
её можно включить только после полного успешного ручного запуска на dev.
|
||||
No-match и неоднозначные результаты фиксируются в quarantine, а не трактуются
|
||||
как ошибки транспорта. Upload для этого источника возвращает HTTP 405.
|
||||
Reference in New Issue
Block a user