486 lines
23 KiB
Python
486 lines
23 KiB
Python
"""Каталог парсеров и источников данных."""
|
||
|
||
from dataclasses import dataclass
|
||
|
||
from apps.parsers.models import ParserLoadLog
|
||
|
||
|
||
@dataclass(frozen=True)
|
||
class ParserSourceDescriptor:
|
||
"""Описание источника для API и запуска задач."""
|
||
|
||
key: str
|
||
source: str
|
||
title: str
|
||
agency: str
|
||
data_scope: str
|
||
task_name: str
|
||
is_existing: bool = False
|
||
requires_file_url: bool = False
|
||
mode: str = "native_api"
|
||
status: str = "implemented"
|
||
owner: str = ""
|
||
upstream_url: str = ""
|
||
access_method: str = "api"
|
||
parser_strategy: str = "native"
|
||
source_notes: str = ""
|
||
supports_file_upload: bool = False
|
||
api_route: str = ""
|
||
upload_route: str = ""
|
||
supports_refresh: bool = True
|
||
admin_only: bool = False
|
||
|
||
@property
|
||
def result_list_url(self) -> str:
|
||
"""Frontend/API URL для списка результата источника."""
|
||
return f"/api/v1/parsers/results/{self.key}/" if self.api_route else ""
|
||
|
||
@property
|
||
def result_detail_url(self) -> str:
|
||
"""Frontend/API URL для карточки результата источника."""
|
||
return f"/api/v1/parsers/results/{self.key}/{{id}}/" if self.api_route else ""
|
||
|
||
@property
|
||
def upload_url(self) -> str:
|
||
"""Frontend/API URL ручной загрузки файла источника."""
|
||
if not self.supports_file_upload:
|
||
return ""
|
||
return f"/api/v1/{self.upload_api_route}/"
|
||
|
||
@property
|
||
def upload_api_route(self) -> str:
|
||
"""API route ручной загрузки без prefix /api/v1."""
|
||
if self.upload_route:
|
||
return self.upload_route
|
||
return f"{self.api_route}/upload"
|
||
|
||
|
||
PARSER_SOURCES: dict[str, ParserSourceDescriptor] = {
|
||
"stock_exchange_activity": ParserSourceDescriptor(
|
||
key="stock_exchange_activity",
|
||
source=ParserLoadLog.Source.STOCK_EXCHANGE_ACTIVITY,
|
||
title="Биржевая активность",
|
||
agency="СПБ Биржа и Московская биржа",
|
||
data_scope="Инструменты канонических эмитентов двух бирж",
|
||
task_name="parsers.stock_exchange_activity.refresh",
|
||
mode="public_registry",
|
||
access_method="verified_https",
|
||
parser_strategy="two_exchange_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"checko_licenses": ParserSourceDescriptor(
|
||
key="checko_licenses",
|
||
source=ParserLoadLog.Source.CHECKO_LICENSES,
|
||
title="Лицензии организаций",
|
||
agency="Внешний реестр",
|
||
data_scope="Лицензии организаций канонических организаций",
|
||
task_name="parsers.checko_licenses.refresh",
|
||
mode="organization_api",
|
||
access_method="monthly_claim_api",
|
||
parser_strategy="scoped_organization_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"checko_messages": ParserSourceDescriptor(
|
||
key="checko_messages",
|
||
source=ParserLoadLog.Source.CHECKO_MESSAGES,
|
||
title="Сообщения организаций",
|
||
agency="Внешний реестр",
|
||
data_scope="Сообщения организаций канонических организаций",
|
||
task_name="parsers.checko_messages.refresh",
|
||
mode="organization_api",
|
||
access_method="monthly_claim_api",
|
||
parser_strategy="scoped_organization_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"checko_leasing": ParserSourceDescriptor(
|
||
key="checko_leasing",
|
||
source=ParserLoadLog.Source.CHECKO_LEASING,
|
||
title="Лизинг",
|
||
agency="Внешний реестр",
|
||
data_scope="Лизинг канонических организаций",
|
||
task_name="parsers.checko_leasing.refresh",
|
||
mode="organization_api",
|
||
access_method="monthly_claim_api",
|
||
parser_strategy="scoped_organization_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"fssp_enforcement_proceedings": ParserSourceDescriptor(
|
||
key="fssp_enforcement_proceedings",
|
||
source=ParserLoadLog.Source.FSSP_ENFORCEMENT_PROCEEDINGS,
|
||
title="ФССП: Банк данных исполнительных производств",
|
||
agency="ФССП России",
|
||
data_scope="Исполнительные производства организаций канонического реестра",
|
||
task_name="parsers.fssp_enforcement_proceedings.refresh",
|
||
mode="open_data_csv",
|
||
upstream_url="https://opendata.fssp.gov.ru/",
|
||
access_method="open_data",
|
||
parser_strategy="streaming_two_dataset_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"fedresurs_company_profile": ParserSourceDescriptor(
|
||
key="fedresurs_company_profile",
|
||
source=ParserLoadLog.Source.FEDRESURS_COMPANY_PROFILE,
|
||
title="Федресурс: сведения о юридических лицах",
|
||
agency="Федресурс",
|
||
data_scope="Публичные карточки организаций канонического реестра",
|
||
task_name="parsers.fedresurs_company_profile.refresh",
|
||
mode="public_browser",
|
||
upstream_url="https://fedresurs.ru/",
|
||
access_method="public_selenium",
|
||
parser_strategy="exact_identity_sequential_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"integrated_structure_documents": ParserSourceDescriptor(
|
||
key="integrated_structure_documents",
|
||
source=ParserLoadLog.Source.INTEGRATED_STRUCTURE_DOCUMENTS,
|
||
title="Документы интегрированных структур",
|
||
agency="Реестр интегрированных структур",
|
||
data_scope="События и документы интегрированных структур",
|
||
task_name="parsers.integrated_structure_documents.import",
|
||
mode="manual_upload",
|
||
access_method="xlsx_rtf_upload",
|
||
parser_strategy="atomic_two_sheet_import",
|
||
supports_file_upload=True,
|
||
supports_refresh=False,
|
||
admin_only=True,
|
||
upload_route="parsers/upload/integrated_structure_documents",
|
||
),
|
||
"sro_membership_check": ParserSourceDescriptor(
|
||
key="sro_membership_check",
|
||
source=ParserLoadLog.Source.SRO_MEMBERSHIP_CHECK,
|
||
title="Проверка членства в СРО",
|
||
agency="Реестр СРО",
|
||
data_scope="Членства организаций канонического реестра в СРО",
|
||
task_name="parsers.sro_membership_check.refresh",
|
||
upstream_url="https://www.reestr-sro.ru/proverka_dopuska/",
|
||
access_method="approved_html",
|
||
parser_strategy="same_site_membership_lookup",
|
||
source_notes="Внешний сбор требует документированного разрешения владельца сайта.",
|
||
admin_only=True,
|
||
),
|
||
"fns_sme_support_recipients": ParserSourceDescriptor(
|
||
key="fns_sme_support_recipients",
|
||
source=ParserLoadLog.Source.FNS_SME_SUPPORT_RECIPIENTS,
|
||
title="Реестр субъектов МСП — получателей поддержки",
|
||
agency="ФНС России",
|
||
data_scope="Меры поддержки организаций канонического реестра",
|
||
task_name="parsers.fns_sme_support_recipients.refresh",
|
||
upstream_url="https://www.nalog.gov.ru/opendata/7707329152-rsmppp/",
|
||
access_method="open_data",
|
||
parser_strategy="streaming_xml_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"budget_ubpandnubp": ParserSourceDescriptor(
|
||
key="budget_ubpandnubp",
|
||
source=ParserLoadLog.Source.BUDGET_UBPANDNUBP,
|
||
title="Реестр участников бюджетного процесса",
|
||
agency="Федеральное казначейство",
|
||
data_scope="Бюджетные сведения организаций канонического реестра",
|
||
task_name="parsers.budget_ubpandnubp.refresh",
|
||
upstream_url="https://budget.gov.ru/epbs/registry/ubpandnubp/data",
|
||
access_method="official_api",
|
||
parser_strategy="paginated_own_organizations_snapshot",
|
||
admin_only=True,
|
||
),
|
||
"industrial": ParserSourceDescriptor(
|
||
key="industrial",
|
||
source=ParserLoadLog.Source.INDUSTRIAL,
|
||
title="Сертификаты промышленного производства",
|
||
agency="Минпромторг России",
|
||
data_scope="Заключения о подтверждении производства промышленной продукции",
|
||
task_name="apps.parsers.tasks.parse_industrial_production",
|
||
is_existing=True,
|
||
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
|
||
parser_strategy="minpromtorg_excel_discovery",
|
||
source_notes=(
|
||
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
|
||
"fragment=Заключения о подтверждении производства промышленной продукции."
|
||
),
|
||
api_route="minpromtorg/certificates",
|
||
),
|
||
"manufactures": ParserSourceDescriptor(
|
||
key="manufactures",
|
||
source=ParserLoadLog.Source.MANUFACTURES,
|
||
title="Реестр производителей",
|
||
agency="Минпромторг России",
|
||
data_scope="Производители промышленной продукции",
|
||
task_name="apps.parsers.tasks.parse_manufactures",
|
||
is_existing=True,
|
||
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
|
||
parser_strategy="minpromtorg_excel_discovery",
|
||
source_notes=(
|
||
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
|
||
"fragment=Производители промышленной продукции."
|
||
),
|
||
api_route="minpromtorg/manufacturers",
|
||
),
|
||
"inspections": ParserSourceDescriptor(
|
||
key="inspections",
|
||
source=ParserLoadLog.Source.INSPECTIONS,
|
||
title="Проверки Генпрокуратуры",
|
||
agency="Генпрокуратура РФ",
|
||
data_scope="Плановые и внеплановые проверки",
|
||
task_name="apps.parsers.tasks.parse_inspections",
|
||
is_existing=True,
|
||
upstream_url="https://proverki.gov.ru/portal/public-open-data",
|
||
access_method="open_data_portal",
|
||
parser_strategy="proverki_open_data",
|
||
api_route="proverki",
|
||
),
|
||
"sync_inspections": ParserSourceDescriptor(
|
||
key="sync_inspections",
|
||
source=ParserLoadLog.Source.INSPECTIONS,
|
||
title="Синхронизация проверок",
|
||
agency="Генпрокуратура РФ",
|
||
data_scope="Помесячная синхронизация проверок",
|
||
task_name="apps.parsers.tasks.sync_inspections",
|
||
is_existing=True,
|
||
upstream_url="https://proverki.gov.ru/portal/public-open-data/check",
|
||
access_method="open_data_portal",
|
||
parser_strategy="proverki_open_data_sync",
|
||
api_route="proverki",
|
||
),
|
||
"mpt_products": ParserSourceDescriptor(
|
||
key="mpt_products",
|
||
source=ParserLoadLog.Source.INDUSTRIAL_PRODUCTS,
|
||
title="Продукция Минпромторга",
|
||
agency="Минпромторг России",
|
||
data_scope="Продукция российских производителей",
|
||
task_name="apps.parsers.tasks.parse_industrial_products",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url="https://gisp.gov.ru/pp719v2/pub/prod/",
|
||
access_method="official_registry_api",
|
||
parser_strategy="gisp_product_registry",
|
||
source_notes="Реестр промышленной продукции РФ опубликован в ГИСП.",
|
||
api_route="minpromtorg/products",
|
||
),
|
||
"procurements_44fz": ParserSourceDescriptor(
|
||
key="procurements_44fz",
|
||
source=ParserLoadLog.Source.PROCUREMENTS_44FZ,
|
||
title="Закупки 44-ФЗ",
|
||
agency="Федеральное казначейство",
|
||
data_scope="Извещения и закупочные процедуры 44-ФЗ",
|
||
task_name="apps.parsers.tasks.parse_procurements_44fz",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url=(
|
||
"https://zakupki.gov.ru/epz/order/extendedsearch/results.html?fz44=on"
|
||
),
|
||
access_method="eis_official_api",
|
||
parser_strategy="eis_44fz_search",
|
||
source_notes="Официальный поиск ЕИС; XML-выгрузки ЕИС требуют отдельного discovery по реестрам.",
|
||
api_route="eis/procurements-44fz",
|
||
),
|
||
"procurements_223fz": ParserSourceDescriptor(
|
||
key="procurements_223fz",
|
||
source=ParserLoadLog.Source.PROCUREMENTS_223FZ,
|
||
title="Закупки 223-ФЗ",
|
||
agency="Федеральное казначейство",
|
||
data_scope="Извещения и закупочные процедуры 223-ФЗ",
|
||
task_name="apps.parsers.tasks.parse_procurements_223fz",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url=(
|
||
"https://zakupki.gov.ru/epz/order/extendedsearch/results.html?fz223=on"
|
||
),
|
||
access_method="eis_official_api",
|
||
parser_strategy="eis_223fz_search",
|
||
source_notes="Официальный поиск закупочных процедур 223-ФЗ в ЕИС.",
|
||
api_route="eis/procurements-223fz",
|
||
),
|
||
"contracts": ParserSourceDescriptor(
|
||
key="contracts",
|
||
source=ParserLoadLog.Source.CONTRACTS,
|
||
title="Контракты ЕИС",
|
||
agency="Федеральное казначейство",
|
||
data_scope="Государственные и корпоративные контракты",
|
||
task_name="apps.parsers.tasks.parse_contracts",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url="https://zakupki.gov.ru/epz/contract/search/results.html",
|
||
access_method="eis_official_api",
|
||
parser_strategy="eis_contract_registry",
|
||
api_route="eis/contracts",
|
||
),
|
||
"unfair_suppliers": ParserSourceDescriptor(
|
||
key="unfair_suppliers",
|
||
source=ParserLoadLog.Source.UNFAIR_SUPPLIERS,
|
||
title="Недобросовестные поставщики",
|
||
agency="ФАС России / ЕИС Закупки",
|
||
data_scope="Реестр недобросовестных поставщиков",
|
||
task_name="apps.parsers.tasks.parse_unfair_suppliers",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url="https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html",
|
||
access_method="eis_official_api",
|
||
parser_strategy="eis_unfair_supplier_registry",
|
||
api_route="fas/unfair-suppliers",
|
||
),
|
||
"fas_goz": ParserSourceDescriptor(
|
||
key="fas_goz",
|
||
source=ParserLoadLog.Source.FAS_GOZ,
|
||
title="Уклонение от ГОЗ",
|
||
agency="ФАС России",
|
||
data_scope="Юрлица, привлеченные за отказ или уклонение от ГОЗ",
|
||
task_name="apps.parsers.tasks.parse_fas_goz_evasion",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url="https://fas.gov.ru/pages/activity/reestr-uridicheskih-lic",
|
||
access_method="official_registry_api",
|
||
parser_strategy="fas_goz_registry",
|
||
api_route="fas/goz",
|
||
),
|
||
"fns_financial": ParserSourceDescriptor(
|
||
key="fns_financial",
|
||
source=ParserLoadLog.Source.FNS_REPORTS,
|
||
title="Финансово-экономические показатели",
|
||
agency="ФНС России",
|
||
data_scope="Финансово-экономическая выгрузка",
|
||
task_name="apps.parsers.tasks.sync_fns_financial_reports",
|
||
mode="official_api",
|
||
status="implemented",
|
||
owner="Сергей",
|
||
upstream_url="https://bo.nalog.gov.ru/advanced-search/organizations/search",
|
||
access_method="public_web_api",
|
||
parser_strategy="fns_bfo_bounded_registry_sync",
|
||
source_notes=(
|
||
"ГИР БО: точечная загрузка по ИНН/ID ФНС или ограниченному набору "
|
||
"активных организаций реестров; общий каталог не сканируется. "
|
||
"Ручная загрузка файлов и файловый scanner сохранены."
|
||
),
|
||
supports_file_upload=True,
|
||
api_route="fns/reports",
|
||
upload_route="fns/upload",
|
||
),
|
||
"arbitration": ParserSourceDescriptor(
|
||
key="arbitration",
|
||
source=ParserLoadLog.Source.ARBITRATION,
|
||
title="Арбитражные дела",
|
||
agency="Верховный суд РФ / КАД Арбитр",
|
||
data_scope="Арбитражные дела по организациям",
|
||
task_name="apps.parsers.tasks.parse_arbitration_cases",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url="https://kad.arbitr.ru/",
|
||
access_method="official_search_api",
|
||
parser_strategy="external_legal_cases_by_inn_ogrn",
|
||
source_notes=(
|
||
"Поиск дел выполняется по ИНН/ОГРН активных организаций из реестров. "
|
||
"Внешний сервис данных отдаёт карточки со ссылками на КАД Арбитр."
|
||
),
|
||
api_route="arbitration/cases",
|
||
),
|
||
"fedresurs_bankruptcy": ParserSourceDescriptor(
|
||
key="fedresurs_bankruptcy",
|
||
source=ParserLoadLog.Source.FEDRESURS_BANKRUPTCY,
|
||
title="Банкротства Федресурс",
|
||
agency="Федресурс",
|
||
data_scope="Сведения о процедурах банкротства",
|
||
task_name="apps.parsers.tasks.parse_fedresurs_bankruptcy",
|
||
mode="official_api",
|
||
status="implemented",
|
||
owner="Сергей",
|
||
upstream_url="https://bankrot.fedresurs.ru/",
|
||
access_method="official_registry_api",
|
||
parser_strategy="fedresurs_bankruptcy_search",
|
||
source_notes=(
|
||
"Официальный ЕФРСБ; может отдавать anti-bot challenge worker'ам. "
|
||
"Если официальный портал недоступен, используется внешний сервис данных по "
|
||
"организациям из реестров. "
|
||
"Ручная загрузка разрешена только для выгрузок, переданных Сергеем."
|
||
),
|
||
supports_file_upload=True,
|
||
api_route="fedresurs/bankruptcy",
|
||
),
|
||
"fstec": ParserSourceDescriptor(
|
||
key="fstec",
|
||
source=ParserLoadLog.Source.FSTEC,
|
||
title="Реестры ФСТЭК",
|
||
agency="ФСТЭК России",
|
||
data_scope="Реестры по информационной безопасности",
|
||
task_name="apps.parsers.tasks.parse_fstec_registers",
|
||
mode="official_api",
|
||
status="implemented",
|
||
upstream_url="https://reestr.fstec.ru/reg3",
|
||
access_method="official_registry_api",
|
||
parser_strategy="fstec_registry_table",
|
||
api_route="fstec/registers",
|
||
),
|
||
"trudvsem": ParserSourceDescriptor(
|
||
key="trudvsem",
|
||
source=ParserLoadLog.Source.TRUDVSEM,
|
||
title="Вакансии",
|
||
agency="Работа России",
|
||
data_scope="Вакансии работодателей из официального источника Работа России",
|
||
task_name="apps.parsers.tasks.parse_trudvsem_vacancies",
|
||
upstream_url="https://opendata.trudvsem.ru/api/v1/vacancies",
|
||
access_method="public_api",
|
||
parser_strategy="incremental_trudvsem_api",
|
||
source_notes=(
|
||
"Пакетная обработка организаций с промежуточным сохранением, "
|
||
"прогрессом и возобновлением после остановки."
|
||
),
|
||
api_route="trudvsem/vacancies",
|
||
),
|
||
"gosedo_address_directory": ParserSourceDescriptor(
|
||
key="gosedo_address_directory",
|
||
source=ParserLoadLog.Source.GOSEDO_ADDRESS_DIRECTORY,
|
||
title="ГосЭДО: Глобальный адресный справочник",
|
||
agency="ГосЭДО",
|
||
data_scope="Участники, операторы и организаторы электронного документооборота",
|
||
task_name="apps.parsers.tasks.parse_gosedo_address_directory",
|
||
mode="official_html",
|
||
upstream_url="https://gosedo.ru/wp-content/uploads/files/addresseesActual.html",
|
||
access_method="official_public_file",
|
||
parser_strategy="streaming_summary_details_html",
|
||
source_notes="Ежедневный conditional GET; публикация полным атомарным снимком.",
|
||
admin_only=True,
|
||
),
|
||
"media_news": ParserSourceDescriptor(
|
||
key="media_news",
|
||
source=ParserLoadLog.Source.MEDIA_NEWS,
|
||
title="Новости СМИ",
|
||
agency="Пользовательская загрузка",
|
||
data_scope="Оцененные упоминания организаций в СМИ",
|
||
task_name="apps.parsers.tasks.parse_media_news",
|
||
mode="manual_upload",
|
||
access_method="admin_upload",
|
||
parser_strategy="validated_xlsx_upsert",
|
||
source_notes=(
|
||
"Повторная загрузка обновляет совпавшие новости и сохраняет историю."
|
||
),
|
||
supports_file_upload=True,
|
||
upload_route="parsers/upload/media_news",
|
||
supports_refresh=False,
|
||
admin_only=True,
|
||
),
|
||
"ropk_sanctions": ParserSourceDescriptor(
|
||
key="ropk_sanctions",
|
||
source=ParserLoadLog.Source.ROPK_SANCTIONS,
|
||
title="РОПК — Санкции",
|
||
agency="РОПК",
|
||
data_scope="Санкционные признаки организаций по семи перечням",
|
||
task_name="apps.parsers.tasks.parse_ropk_sanctions",
|
||
mode="manual_upload",
|
||
access_method="admin_upload",
|
||
parser_strategy="validated_xlsx_snapshot",
|
||
source_notes=(
|
||
"XLSX загружается вручную; строки связываются только с организациями "
|
||
"канонического реестра, неразрешенные строки сохраняются в карантине."
|
||
),
|
||
supports_file_upload=True,
|
||
upload_route="parsers/upload/ropk_sanctions",
|
||
supports_refresh=False,
|
||
admin_only=True,
|
||
),
|
||
}
|
||
|
||
|
||
def get_source_by_model_source(source: str) -> ParserSourceDescriptor | None:
|
||
"""Найти описание парсера по значению ParserLoadLog.Source."""
|
||
for descriptor in PARSER_SOURCES.values():
|
||
if descriptor.source == source:
|
||
return descriptor
|
||
return None
|