Files
mostovik-backend/src/apps/parsers/source_registry.py
2026-10-05 17:33:33 +02:00

486 lines
23 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Каталог парсеров и источников данных."""
from dataclasses import dataclass
from apps.parsers.models import ParserLoadLog
@dataclass(frozen=True)
class ParserSourceDescriptor:
"""Описание источника для API и запуска задач."""
key: str
source: str
title: str
agency: str
data_scope: str
task_name: str
is_existing: bool = False
requires_file_url: bool = False
mode: str = "native_api"
status: str = "implemented"
owner: str = ""
upstream_url: str = ""
access_method: str = "api"
parser_strategy: str = "native"
source_notes: str = ""
supports_file_upload: bool = False
api_route: str = ""
upload_route: str = ""
supports_refresh: bool = True
admin_only: bool = False
@property
def result_list_url(self) -> str:
"""Frontend/API URL для списка результата источника."""
return f"/api/v1/parsers/results/{self.key}/" if self.api_route else ""
@property
def result_detail_url(self) -> str:
"""Frontend/API URL для карточки результата источника."""
return f"/api/v1/parsers/results/{self.key}/{{id}}/" if self.api_route else ""
@property
def upload_url(self) -> str:
"""Frontend/API URL ручной загрузки файла источника."""
if not self.supports_file_upload:
return ""
return f"/api/v1/{self.upload_api_route}/"
@property
def upload_api_route(self) -> str:
"""API route ручной загрузки без prefix /api/v1."""
if self.upload_route:
return self.upload_route
return f"{self.api_route}/upload"
PARSER_SOURCES: dict[str, ParserSourceDescriptor] = {
"stock_exchange_activity": ParserSourceDescriptor(
key="stock_exchange_activity",
source=ParserLoadLog.Source.STOCK_EXCHANGE_ACTIVITY,
title="Биржевая активность",
agency="СПБ Биржа и Московская биржа",
data_scope="Инструменты канонических эмитентов двух бирж",
task_name="parsers.stock_exchange_activity.refresh",
mode="public_registry",
access_method="verified_https",
parser_strategy="two_exchange_snapshot",
admin_only=True,
),
"checko_licenses": ParserSourceDescriptor(
key="checko_licenses",
source=ParserLoadLog.Source.CHECKO_LICENSES,
title="Лицензии организаций",
agency="Внешний реестр",
data_scope="Лицензии организаций канонических организаций",
task_name="parsers.checko_licenses.refresh",
mode="organization_api",
access_method="monthly_claim_api",
parser_strategy="scoped_organization_snapshot",
admin_only=True,
),
"checko_messages": ParserSourceDescriptor(
key="checko_messages",
source=ParserLoadLog.Source.CHECKO_MESSAGES,
title="Сообщения организаций",
agency="Внешний реестр",
data_scope="Сообщения организаций канонических организаций",
task_name="parsers.checko_messages.refresh",
mode="organization_api",
access_method="monthly_claim_api",
parser_strategy="scoped_organization_snapshot",
admin_only=True,
),
"checko_leasing": ParserSourceDescriptor(
key="checko_leasing",
source=ParserLoadLog.Source.CHECKO_LEASING,
title="Лизинг",
agency="Внешний реестр",
data_scope="Лизинг канонических организаций",
task_name="parsers.checko_leasing.refresh",
mode="organization_api",
access_method="monthly_claim_api",
parser_strategy="scoped_organization_snapshot",
admin_only=True,
),
"fssp_enforcement_proceedings": ParserSourceDescriptor(
key="fssp_enforcement_proceedings",
source=ParserLoadLog.Source.FSSP_ENFORCEMENT_PROCEEDINGS,
title="ФССП: Банк данных исполнительных производств",
agency="ФССП России",
data_scope="Исполнительные производства организаций канонического реестра",
task_name="parsers.fssp_enforcement_proceedings.refresh",
mode="open_data_csv",
upstream_url="https://opendata.fssp.gov.ru/",
access_method="open_data",
parser_strategy="streaming_two_dataset_snapshot",
admin_only=True,
),
"fedresurs_company_profile": ParserSourceDescriptor(
key="fedresurs_company_profile",
source=ParserLoadLog.Source.FEDRESURS_COMPANY_PROFILE,
title="Федресурс: сведения о юридических лицах",
agency="Федресурс",
data_scope="Публичные карточки организаций канонического реестра",
task_name="parsers.fedresurs_company_profile.refresh",
mode="public_browser",
upstream_url="https://fedresurs.ru/",
access_method="public_selenium",
parser_strategy="exact_identity_sequential_snapshot",
admin_only=True,
),
"integrated_structure_documents": ParserSourceDescriptor(
key="integrated_structure_documents",
source=ParserLoadLog.Source.INTEGRATED_STRUCTURE_DOCUMENTS,
title="Документы интегрированных структур",
agency="Реестр интегрированных структур",
data_scope="События и документы интегрированных структур",
task_name="parsers.integrated_structure_documents.import",
mode="manual_upload",
access_method="xlsx_rtf_upload",
parser_strategy="atomic_two_sheet_import",
supports_file_upload=True,
supports_refresh=False,
admin_only=True,
upload_route="parsers/upload/integrated_structure_documents",
),
"sro_membership_check": ParserSourceDescriptor(
key="sro_membership_check",
source=ParserLoadLog.Source.SRO_MEMBERSHIP_CHECK,
title="Проверка членства в СРО",
agency="Реестр СРО",
data_scope="Членства организаций канонического реестра в СРО",
task_name="parsers.sro_membership_check.refresh",
upstream_url="https://www.reestr-sro.ru/proverka_dopuska/",
access_method="approved_html",
parser_strategy="same_site_membership_lookup",
source_notes="Внешний сбор требует документированного разрешения владельца сайта.",
admin_only=True,
),
"fns_sme_support_recipients": ParserSourceDescriptor(
key="fns_sme_support_recipients",
source=ParserLoadLog.Source.FNS_SME_SUPPORT_RECIPIENTS,
title="Реестр субъектов МСП — получателей поддержки",
agency="ФНС России",
data_scope="Меры поддержки организаций канонического реестра",
task_name="parsers.fns_sme_support_recipients.refresh",
upstream_url="https://www.nalog.gov.ru/opendata/7707329152-rsmppp/",
access_method="open_data",
parser_strategy="streaming_xml_snapshot",
admin_only=True,
),
"budget_ubpandnubp": ParserSourceDescriptor(
key="budget_ubpandnubp",
source=ParserLoadLog.Source.BUDGET_UBPANDNUBP,
title="Реестр участников бюджетного процесса",
agency="Федеральное казначейство",
data_scope="Бюджетные сведения организаций канонического реестра",
task_name="parsers.budget_ubpandnubp.refresh",
upstream_url="https://budget.gov.ru/epbs/registry/ubpandnubp/data",
access_method="official_api",
parser_strategy="paginated_own_organizations_snapshot",
admin_only=True,
),
"industrial": ParserSourceDescriptor(
key="industrial",
source=ParserLoadLog.Source.INDUSTRIAL,
title="Сертификаты промышленного производства",
agency="Минпромторг России",
data_scope="Заключения о подтверждении производства промышленной продукции",
task_name="apps.parsers.tasks.parse_industrial_production",
is_existing=True,
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
parser_strategy="minpromtorg_excel_discovery",
source_notes=(
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
"fragment=Заключения о подтверждении производства промышленной продукции."
),
api_route="minpromtorg/certificates",
),
"manufactures": ParserSourceDescriptor(
key="manufactures",
source=ParserLoadLog.Source.MANUFACTURES,
title="Реестр производителей",
agency="Минпромторг России",
data_scope="Производители промышленной продукции",
task_name="apps.parsers.tasks.parse_manufactures",
is_existing=True,
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
parser_strategy="minpromtorg_excel_discovery",
source_notes=(
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
"fragment=Производители промышленной продукции."
),
api_route="minpromtorg/manufacturers",
),
"inspections": ParserSourceDescriptor(
key="inspections",
source=ParserLoadLog.Source.INSPECTIONS,
title="Проверки Генпрокуратуры",
agency="Генпрокуратура РФ",
data_scope="Плановые и внеплановые проверки",
task_name="apps.parsers.tasks.parse_inspections",
is_existing=True,
upstream_url="https://proverki.gov.ru/portal/public-open-data",
access_method="open_data_portal",
parser_strategy="proverki_open_data",
api_route="proverki",
),
"sync_inspections": ParserSourceDescriptor(
key="sync_inspections",
source=ParserLoadLog.Source.INSPECTIONS,
title="Синхронизация проверок",
agency="Генпрокуратура РФ",
data_scope="Помесячная синхронизация проверок",
task_name="apps.parsers.tasks.sync_inspections",
is_existing=True,
upstream_url="https://proverki.gov.ru/portal/public-open-data/check",
access_method="open_data_portal",
parser_strategy="proverki_open_data_sync",
api_route="proverki",
),
"mpt_products": ParserSourceDescriptor(
key="mpt_products",
source=ParserLoadLog.Source.INDUSTRIAL_PRODUCTS,
title="Продукция Минпромторга",
agency="Минпромторг России",
data_scope="Продукция российских производителей",
task_name="apps.parsers.tasks.parse_industrial_products",
mode="official_api",
status="implemented",
upstream_url="https://gisp.gov.ru/pp719v2/pub/prod/",
access_method="official_registry_api",
parser_strategy="gisp_product_registry",
source_notes="Реестр промышленной продукции РФ опубликован в ГИСП.",
api_route="minpromtorg/products",
),
"procurements_44fz": ParserSourceDescriptor(
key="procurements_44fz",
source=ParserLoadLog.Source.PROCUREMENTS_44FZ,
title="Закупки 44-ФЗ",
agency="Федеральное казначейство",
data_scope="Извещения и закупочные процедуры 44-ФЗ",
task_name="apps.parsers.tasks.parse_procurements_44fz",
mode="official_api",
status="implemented",
upstream_url=(
"https://zakupki.gov.ru/epz/order/extendedsearch/results.html?fz44=on"
),
access_method="eis_official_api",
parser_strategy="eis_44fz_search",
source_notes="Официальный поиск ЕИС; XML-выгрузки ЕИС требуют отдельного discovery по реестрам.",
api_route="eis/procurements-44fz",
),
"procurements_223fz": ParserSourceDescriptor(
key="procurements_223fz",
source=ParserLoadLog.Source.PROCUREMENTS_223FZ,
title="Закупки 223-ФЗ",
agency="Федеральное казначейство",
data_scope="Извещения и закупочные процедуры 223-ФЗ",
task_name="apps.parsers.tasks.parse_procurements_223fz",
mode="official_api",
status="implemented",
upstream_url=(
"https://zakupki.gov.ru/epz/order/extendedsearch/results.html?fz223=on"
),
access_method="eis_official_api",
parser_strategy="eis_223fz_search",
source_notes="Официальный поиск закупочных процедур 223-ФЗ в ЕИС.",
api_route="eis/procurements-223fz",
),
"contracts": ParserSourceDescriptor(
key="contracts",
source=ParserLoadLog.Source.CONTRACTS,
title="Контракты ЕИС",
agency="Федеральное казначейство",
data_scope="Государственные и корпоративные контракты",
task_name="apps.parsers.tasks.parse_contracts",
mode="official_api",
status="implemented",
upstream_url="https://zakupki.gov.ru/epz/contract/search/results.html",
access_method="eis_official_api",
parser_strategy="eis_contract_registry",
api_route="eis/contracts",
),
"unfair_suppliers": ParserSourceDescriptor(
key="unfair_suppliers",
source=ParserLoadLog.Source.UNFAIR_SUPPLIERS,
title="Недобросовестные поставщики",
agency="ФАС России / ЕИС Закупки",
data_scope="Реестр недобросовестных поставщиков",
task_name="apps.parsers.tasks.parse_unfair_suppliers",
mode="official_api",
status="implemented",
upstream_url="https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html",
access_method="eis_official_api",
parser_strategy="eis_unfair_supplier_registry",
api_route="fas/unfair-suppliers",
),
"fas_goz": ParserSourceDescriptor(
key="fas_goz",
source=ParserLoadLog.Source.FAS_GOZ,
title="Уклонение от ГОЗ",
agency="ФАС России",
data_scope="Юрлица, привлеченные за отказ или уклонение от ГОЗ",
task_name="apps.parsers.tasks.parse_fas_goz_evasion",
mode="official_api",
status="implemented",
upstream_url="https://fas.gov.ru/pages/activity/reestr-uridicheskih-lic",
access_method="official_registry_api",
parser_strategy="fas_goz_registry",
api_route="fas/goz",
),
"fns_financial": ParserSourceDescriptor(
key="fns_financial",
source=ParserLoadLog.Source.FNS_REPORTS,
title="Финансово-экономические показатели",
agency="ФНС России",
data_scope="Финансово-экономическая выгрузка",
task_name="apps.parsers.tasks.sync_fns_financial_reports",
mode="official_api",
status="implemented",
owner="Сергей",
upstream_url="https://bo.nalog.gov.ru/advanced-search/organizations/search",
access_method="public_web_api",
parser_strategy="fns_bfo_bounded_registry_sync",
source_notes=(
"ГИР БО: точечная загрузка по ИНН/ID ФНС или ограниченному набору "
"активных организаций реестров; общий каталог не сканируется. "
"Ручная загрузка файлов и файловый scanner сохранены."
),
supports_file_upload=True,
api_route="fns/reports",
upload_route="fns/upload",
),
"arbitration": ParserSourceDescriptor(
key="arbitration",
source=ParserLoadLog.Source.ARBITRATION,
title="Арбитражные дела",
agency="Верховный суд РФ / КАД Арбитр",
data_scope="Арбитражные дела по организациям",
task_name="apps.parsers.tasks.parse_arbitration_cases",
mode="official_api",
status="implemented",
upstream_url="https://kad.arbitr.ru/",
access_method="official_search_api",
parser_strategy="external_legal_cases_by_inn_ogrn",
source_notes=(
"Поиск дел выполняется по ИНН/ОГРН активных организаций из реестров. "
"Внешний сервис данных отдаёт карточки со ссылками на КАД Арбитр."
),
api_route="arbitration/cases",
),
"fedresurs_bankruptcy": ParserSourceDescriptor(
key="fedresurs_bankruptcy",
source=ParserLoadLog.Source.FEDRESURS_BANKRUPTCY,
title="Банкротства Федресурс",
agency="Федресурс",
data_scope="Сведения о процедурах банкротства",
task_name="apps.parsers.tasks.parse_fedresurs_bankruptcy",
mode="official_api",
status="implemented",
owner="Сергей",
upstream_url="https://bankrot.fedresurs.ru/",
access_method="official_registry_api",
parser_strategy="fedresurs_bankruptcy_search",
source_notes=(
"Официальный ЕФРСБ; может отдавать anti-bot challenge worker'ам. "
"Если официальный портал недоступен, используется внешний сервис данных по "
"организациям из реестров. "
"Ручная загрузка разрешена только для выгрузок, переданных Сергеем."
),
supports_file_upload=True,
api_route="fedresurs/bankruptcy",
),
"fstec": ParserSourceDescriptor(
key="fstec",
source=ParserLoadLog.Source.FSTEC,
title="Реестры ФСТЭК",
agency="ФСТЭК России",
data_scope="Реестры по информационной безопасности",
task_name="apps.parsers.tasks.parse_fstec_registers",
mode="official_api",
status="implemented",
upstream_url="https://reestr.fstec.ru/reg3",
access_method="official_registry_api",
parser_strategy="fstec_registry_table",
api_route="fstec/registers",
),
"trudvsem": ParserSourceDescriptor(
key="trudvsem",
source=ParserLoadLog.Source.TRUDVSEM,
title="Вакансии",
agency="Работа России",
data_scope="Вакансии работодателей из официального источника Работа России",
task_name="apps.parsers.tasks.parse_trudvsem_vacancies",
upstream_url="https://opendata.trudvsem.ru/api/v1/vacancies",
access_method="public_api",
parser_strategy="incremental_trudvsem_api",
source_notes=(
"Пакетная обработка организаций с промежуточным сохранением, "
"прогрессом и возобновлением после остановки."
),
api_route="trudvsem/vacancies",
),
"gosedo_address_directory": ParserSourceDescriptor(
key="gosedo_address_directory",
source=ParserLoadLog.Source.GOSEDO_ADDRESS_DIRECTORY,
title="ГосЭДО: Глобальный адресный справочник",
agency="ГосЭДО",
data_scope="Участники, операторы и организаторы электронного документооборота",
task_name="apps.parsers.tasks.parse_gosedo_address_directory",
mode="official_html",
upstream_url="https://gosedo.ru/wp-content/uploads/files/addresseesActual.html",
access_method="official_public_file",
parser_strategy="streaming_summary_details_html",
source_notes="Ежедневный conditional GET; публикация полным атомарным снимком.",
admin_only=True,
),
"media_news": ParserSourceDescriptor(
key="media_news",
source=ParserLoadLog.Source.MEDIA_NEWS,
title="Новости СМИ",
agency="Пользовательская загрузка",
data_scope="Оцененные упоминания организаций в СМИ",
task_name="apps.parsers.tasks.parse_media_news",
mode="manual_upload",
access_method="admin_upload",
parser_strategy="validated_xlsx_upsert",
source_notes=(
"Повторная загрузка обновляет совпавшие новости и сохраняет историю."
),
supports_file_upload=True,
upload_route="parsers/upload/media_news",
supports_refresh=False,
admin_only=True,
),
"ropk_sanctions": ParserSourceDescriptor(
key="ropk_sanctions",
source=ParserLoadLog.Source.ROPK_SANCTIONS,
title="РОПК — Санкции",
agency="РОПК",
data_scope="Санкционные признаки организаций по семи перечням",
task_name="apps.parsers.tasks.parse_ropk_sanctions",
mode="manual_upload",
access_method="admin_upload",
parser_strategy="validated_xlsx_snapshot",
source_notes=(
"XLSX загружается вручную; строки связываются только с организациями "
"канонического реестра, неразрешенные строки сохраняются в карантине."
),
supports_file_upload=True,
upload_route="parsers/upload/ropk_sanctions",
supports_refresh=False,
admin_only=True,
),
}
def get_source_by_model_source(source: str) -> ParserSourceDescriptor | None:
"""Найти описание парсера по значению ParserLoadLog.Source."""
for descriptor in PARSER_SOURCES.values():
if descriptor.source == source:
return descriptor
return None