"""Каталог парсеров и источников данных.""" from dataclasses import dataclass from apps.parsers.models import ParserLoadLog @dataclass(frozen=True) class ParserSourceDescriptor: """Описание источника для API и запуска задач.""" key: str source: str title: str agency: str data_scope: str task_name: str is_existing: bool = False requires_file_url: bool = False mode: str = "native_api" status: str = "implemented" owner: str = "" upstream_url: str = "" access_method: str = "api" parser_strategy: str = "native" source_notes: str = "" supports_file_upload: bool = False api_route: str = "" upload_route: str = "" supports_refresh: bool = True admin_only: bool = False @property def result_list_url(self) -> str: """Frontend/API URL для списка результата источника.""" return f"/api/v1/parsers/results/{self.key}/" if self.api_route else "" @property def result_detail_url(self) -> str: """Frontend/API URL для карточки результата источника.""" return f"/api/v1/parsers/results/{self.key}/{{id}}/" if self.api_route else "" @property def upload_url(self) -> str: """Frontend/API URL ручной загрузки файла источника.""" if not self.supports_file_upload: return "" return f"/api/v1/{self.upload_api_route}/" @property def upload_api_route(self) -> str: """API route ручной загрузки без prefix /api/v1.""" if self.upload_route: return self.upload_route return f"{self.api_route}/upload" PARSER_SOURCES: dict[str, ParserSourceDescriptor] = { "fedresurs_company_profile": ParserSourceDescriptor( key="fedresurs_company_profile", source=ParserLoadLog.Source.FEDRESURS_COMPANY_PROFILE, title="Федресурс: сведения о юридических лицах", agency="Федресурс", data_scope="Публичные карточки организаций канонического реестра", task_name="parsers.fedresurs_company_profile.refresh", mode="public_browser", upstream_url="https://fedresurs.ru/", access_method="public_selenium", parser_strategy="exact_identity_sequential_snapshot", admin_only=True, ), "integrated_structure_documents": ParserSourceDescriptor( key="integrated_structure_documents", source=ParserLoadLog.Source.INTEGRATED_STRUCTURE_DOCUMENTS, title="Документы интегрированных структур", agency="Реестр интегрированных структур", data_scope="События и документы интегрированных структур", task_name="parsers.integrated_structure_documents.import", mode="manual_upload", access_method="xlsx_rtf_upload", parser_strategy="atomic_two_sheet_import", supports_file_upload=True, supports_refresh=False, admin_only=True, upload_route="parsers/upload/integrated_structure_documents", ), "sro_membership_check": ParserSourceDescriptor( key="sro_membership_check", source=ParserLoadLog.Source.SRO_MEMBERSHIP_CHECK, title="Проверка членства в СРО", agency="Реестр СРО", data_scope="Членства организаций канонического реестра в СРО", task_name="parsers.sro_membership_check.refresh", upstream_url="https://www.reestr-sro.ru/proverka_dopuska/", access_method="approved_html", parser_strategy="same_site_membership_lookup", source_notes="Внешний сбор требует документированного разрешения владельца сайта.", admin_only=True, ), "fns_sme_support_recipients": ParserSourceDescriptor( key="fns_sme_support_recipients", source=ParserLoadLog.Source.FNS_SME_SUPPORT_RECIPIENTS, title="Реестр субъектов МСП — получателей поддержки", agency="ФНС России", data_scope="Меры поддержки организаций канонического реестра", task_name="parsers.fns_sme_support_recipients.refresh", upstream_url="https://www.nalog.gov.ru/opendata/7707329152-rsmppp/", access_method="open_data", parser_strategy="streaming_xml_snapshot", admin_only=True, ), "budget_ubpandnubp": ParserSourceDescriptor( key="budget_ubpandnubp", source=ParserLoadLog.Source.BUDGET_UBPANDNUBP, title="Реестр участников бюджетного процесса", agency="Федеральное казначейство", data_scope="Бюджетные сведения организаций канонического реестра", task_name="parsers.budget_ubpandnubp.refresh", upstream_url="https://budget.gov.ru/epbs/registry/ubpandnubp/data", access_method="official_api", parser_strategy="paginated_own_organizations_snapshot", admin_only=True, ), "industrial": ParserSourceDescriptor( key="industrial", source=ParserLoadLog.Source.INDUSTRIAL, title="Сертификаты промышленного производства", agency="Минпромторг России", data_scope="Заключения о подтверждении производства промышленной продукции", task_name="apps.parsers.tasks.parse_industrial_production", is_existing=True, upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview", parser_strategy="minpromtorg_excel_discovery", source_notes=( "Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, " "fragment=Заключения о подтверждении производства промышленной продукции." ), api_route="minpromtorg/certificates", ), "manufactures": ParserSourceDescriptor( key="manufactures", source=ParserLoadLog.Source.MANUFACTURES, title="Реестр производителей", agency="Минпромторг России", data_scope="Производители промышленной продукции", task_name="apps.parsers.tasks.parse_manufactures", is_existing=True, upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview", parser_strategy="minpromtorg_excel_discovery", source_notes=( "Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, " "fragment=Производители промышленной продукции." ), api_route="minpromtorg/manufacturers", ), "inspections": ParserSourceDescriptor( key="inspections", source=ParserLoadLog.Source.INSPECTIONS, title="Проверки Генпрокуратуры", agency="Генпрокуратура РФ", data_scope="Плановые и внеплановые проверки", task_name="apps.parsers.tasks.parse_inspections", is_existing=True, upstream_url="https://proverki.gov.ru/portal/public-open-data", access_method="open_data_portal", parser_strategy="proverki_open_data", api_route="proverki", ), "sync_inspections": ParserSourceDescriptor( key="sync_inspections", source=ParserLoadLog.Source.INSPECTIONS, title="Синхронизация проверок", agency="Генпрокуратура РФ", data_scope="Помесячная синхронизация проверок", task_name="apps.parsers.tasks.sync_inspections", is_existing=True, upstream_url="https://proverki.gov.ru/portal/public-open-data/check", access_method="open_data_portal", parser_strategy="proverki_open_data_sync", api_route="proverki", ), "mpt_products": ParserSourceDescriptor( key="mpt_products", source=ParserLoadLog.Source.INDUSTRIAL_PRODUCTS, title="Продукция Минпромторга", agency="Минпромторг России", data_scope="Продукция российских производителей", task_name="apps.parsers.tasks.parse_industrial_products", mode="official_api", status="implemented", upstream_url="https://gisp.gov.ru/pp719v2/pub/prod/", access_method="official_registry_api", parser_strategy="gisp_product_registry", source_notes="Реестр промышленной продукции РФ опубликован в ГИСП.", api_route="minpromtorg/products", ), "procurements_44fz": ParserSourceDescriptor( key="procurements_44fz", source=ParserLoadLog.Source.PROCUREMENTS_44FZ, title="Закупки 44-ФЗ", agency="Федеральное казначейство", data_scope="Извещения и закупочные процедуры 44-ФЗ", task_name="apps.parsers.tasks.parse_procurements_44fz", mode="official_api", status="implemented", upstream_url=( "https://zakupki.gov.ru/epz/order/extendedsearch/results.html?fz44=on" ), access_method="eis_official_api", parser_strategy="eis_44fz_search", source_notes="Официальный поиск ЕИС; XML-выгрузки ЕИС требуют отдельного discovery по реестрам.", api_route="eis/procurements-44fz", ), "procurements_223fz": ParserSourceDescriptor( key="procurements_223fz", source=ParserLoadLog.Source.PROCUREMENTS_223FZ, title="Закупки 223-ФЗ", agency="Федеральное казначейство", data_scope="Извещения и закупочные процедуры 223-ФЗ", task_name="apps.parsers.tasks.parse_procurements_223fz", mode="official_api", status="implemented", upstream_url=( "https://zakupki.gov.ru/epz/order/extendedsearch/results.html?fz223=on" ), access_method="eis_official_api", parser_strategy="eis_223fz_search", source_notes="Официальный поиск закупочных процедур 223-ФЗ в ЕИС.", api_route="eis/procurements-223fz", ), "contracts": ParserSourceDescriptor( key="contracts", source=ParserLoadLog.Source.CONTRACTS, title="Контракты ЕИС", agency="Федеральное казначейство", data_scope="Государственные и корпоративные контракты", task_name="apps.parsers.tasks.parse_contracts", mode="official_api", status="implemented", upstream_url="https://zakupki.gov.ru/epz/contract/search/results.html", access_method="eis_official_api", parser_strategy="eis_contract_registry", api_route="eis/contracts", ), "unfair_suppliers": ParserSourceDescriptor( key="unfair_suppliers", source=ParserLoadLog.Source.UNFAIR_SUPPLIERS, title="Недобросовестные поставщики", agency="ФАС России / ЕИС Закупки", data_scope="Реестр недобросовестных поставщиков", task_name="apps.parsers.tasks.parse_unfair_suppliers", mode="official_api", status="implemented", upstream_url="https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html", access_method="eis_official_api", parser_strategy="eis_unfair_supplier_registry", api_route="fas/unfair-suppliers", ), "fas_goz": ParserSourceDescriptor( key="fas_goz", source=ParserLoadLog.Source.FAS_GOZ, title="Уклонение от ГОЗ", agency="ФАС России", data_scope="Юрлица, привлеченные за отказ или уклонение от ГОЗ", task_name="apps.parsers.tasks.parse_fas_goz_evasion", mode="official_api", status="implemented", upstream_url="https://fas.gov.ru/pages/activity/reestr-uridicheskih-lic", access_method="official_registry_api", parser_strategy="fas_goz_registry", api_route="fas/goz", ), "fns_financial": ParserSourceDescriptor( key="fns_financial", source=ParserLoadLog.Source.FNS_REPORTS, title="Финансово-экономические показатели", agency="ФНС России", data_scope="Финансово-экономическая выгрузка", task_name="apps.parsers.tasks.sync_fns_financial_reports", mode="official_api", status="implemented", owner="Сергей", upstream_url="https://bo.nalog.gov.ru/advanced-search/organizations/search", access_method="public_web_api", parser_strategy="fns_bfo_bounded_registry_sync", source_notes=( "ГИР БО: точечная загрузка по ИНН/ID ФНС или ограниченному набору " "активных организаций реестров; общий каталог не сканируется. " "Ручная загрузка файлов и файловый scanner сохранены." ), supports_file_upload=True, api_route="fns/reports", upload_route="fns/upload", ), "arbitration": ParserSourceDescriptor( key="arbitration", source=ParserLoadLog.Source.ARBITRATION, title="Арбитражные дела", agency="Верховный суд РФ / КАД Арбитр", data_scope="Арбитражные дела по организациям", task_name="apps.parsers.tasks.parse_arbitration_cases", mode="official_api", status="implemented", upstream_url="https://kad.arbitr.ru/", access_method="official_search_api", parser_strategy="external_legal_cases_by_inn_ogrn", source_notes=( "Поиск дел выполняется по ИНН/ОГРН активных организаций из реестров. " "Внешний сервис данных отдаёт карточки со ссылками на КАД Арбитр." ), api_route="arbitration/cases", ), "fedresurs_bankruptcy": ParserSourceDescriptor( key="fedresurs_bankruptcy", source=ParserLoadLog.Source.FEDRESURS_BANKRUPTCY, title="Банкротства Федресурс", agency="Федресурс", data_scope="Сведения о процедурах банкротства", task_name="apps.parsers.tasks.parse_fedresurs_bankruptcy", mode="official_api", status="implemented", owner="Сергей", upstream_url="https://bankrot.fedresurs.ru/", access_method="official_registry_api", parser_strategy="fedresurs_bankruptcy_search", source_notes=( "Официальный ЕФРСБ; может отдавать anti-bot challenge worker'ам. " "Если официальный портал недоступен, используется внешний сервис данных по " "организациям из реестров. " "Ручная загрузка разрешена только для выгрузок, переданных Сергеем." ), supports_file_upload=True, api_route="fedresurs/bankruptcy", ), "fstec": ParserSourceDescriptor( key="fstec", source=ParserLoadLog.Source.FSTEC, title="Реестры ФСТЭК", agency="ФСТЭК России", data_scope="Реестры по информационной безопасности", task_name="apps.parsers.tasks.parse_fstec_registers", mode="official_api", status="implemented", upstream_url="https://reestr.fstec.ru/reg3", access_method="official_registry_api", parser_strategy="fstec_registry_table", api_route="fstec/registers", ), "trudvsem": ParserSourceDescriptor( key="trudvsem", source=ParserLoadLog.Source.TRUDVSEM, title="Вакансии", agency="Работа России", data_scope="Вакансии работодателей из официального источника Работа России", task_name="apps.parsers.tasks.parse_trudvsem_vacancies", upstream_url="https://opendata.trudvsem.ru/api/v1/vacancies", access_method="public_api", parser_strategy="incremental_trudvsem_api", source_notes=( "Пакетная обработка организаций с промежуточным сохранением, " "прогрессом и возобновлением после остановки." ), api_route="trudvsem/vacancies", ), "gosedo_address_directory": ParserSourceDescriptor( key="gosedo_address_directory", source=ParserLoadLog.Source.GOSEDO_ADDRESS_DIRECTORY, title="ГосЭДО: Глобальный адресный справочник", agency="ГосЭДО", data_scope="Участники, операторы и организаторы электронного документооборота", task_name="apps.parsers.tasks.parse_gosedo_address_directory", mode="official_html", upstream_url="https://gosedo.ru/wp-content/uploads/files/addresseesActual.html", access_method="official_public_file", parser_strategy="streaming_summary_details_html", source_notes="Ежедневный conditional GET; публикация полным атомарным снимком.", admin_only=True, ), "media_news": ParserSourceDescriptor( key="media_news", source=ParserLoadLog.Source.MEDIA_NEWS, title="Новости СМИ", agency="Пользовательская загрузка", data_scope="Оцененные упоминания организаций в СМИ", task_name="apps.parsers.tasks.parse_media_news", mode="manual_upload", access_method="admin_upload", parser_strategy="validated_xlsx_upsert", source_notes=( "Повторная загрузка обновляет совпавшие новости и сохраняет историю." ), supports_file_upload=True, upload_route="parsers/upload/media_news", supports_refresh=False, admin_only=True, ), "ropk_sanctions": ParserSourceDescriptor( key="ropk_sanctions", source=ParserLoadLog.Source.ROPK_SANCTIONS, title="РОПК — Санкции", agency="РОПК", data_scope="Санкционные признаки организаций по семи перечням", task_name="apps.parsers.tasks.parse_ropk_sanctions", mode="manual_upload", access_method="admin_upload", parser_strategy="validated_xlsx_snapshot", source_notes=( "XLSX загружается вручную; строки связываются только с организациями " "канонического реестра, неразрешенные строки сохраняются в карантине." ), supports_file_upload=True, upload_route="parsers/upload/ropk_sanctions", supports_refresh=False, admin_only=True, ), } def get_source_by_model_source(source: str) -> ParserSourceDescriptor | None: """Найти описание парсера по значению ParserLoadLog.Source.""" for descriptor in PARSER_SOURCES.values(): if descriptor.source == source: return descriptor return None