feat: add parser source dashboard and scheduling
All checks were successful
CI/CD Pipeline / Code Quality Checks (pull_request) Successful in 1m55s
CI/CD Pipeline / Run Tests (pull_request) Successful in 3m6s
CI/CD Pipeline / Run API Inventory E2E Tests (pull_request) Successful in 2m48s
CI/CD Pipeline / Telegram Notify Success (pull_request) Successful in 19s

This commit is contained in:
2026-04-28 01:08:51 +02:00
parent 1249071a33
commit 26d61f7181
58 changed files with 7713 additions and 141 deletions

View File

@@ -0,0 +1,294 @@
"""Каталог парсеров и источников данных."""
from dataclasses import dataclass
from apps.parsers.models import ParserLoadLog
@dataclass(frozen=True)
class ParserSourceDescriptor:
"""Описание источника для API и запуска задач."""
key: str
source: str
title: str
agency: str
data_scope: str
task_name: str
is_existing: bool = False
requires_file_url: bool = False
mode: str = "native_api"
status: str = "implemented"
owner: str = ""
upstream_url: str = ""
access_method: str = "api"
parser_strategy: str = "native"
source_notes: str = ""
supports_file_upload: bool = False
api_route: str = ""
upload_route: str = ""
@property
def result_list_url(self) -> str:
"""Frontend/API URL для списка результата источника."""
return f"/api/v1/{self.api_route}/" if self.api_route else ""
@property
def result_detail_url(self) -> str:
"""Frontend/API URL для карточки результата источника."""
return f"/api/v1/{self.api_route}/{{id}}/" if self.api_route else ""
@property
def upload_url(self) -> str:
"""Frontend/API URL ручной загрузки файла источника."""
if not self.supports_file_upload or not self.api_route:
return ""
return f"/api/v1/{self.upload_api_route}/"
@property
def upload_api_route(self) -> str:
"""API route ручной загрузки без prefix /api/v1."""
if self.upload_route:
return self.upload_route
return f"{self.api_route}/upload"
PARSER_SOURCES: dict[str, ParserSourceDescriptor] = {
"industrial": ParserSourceDescriptor(
key="industrial",
source=ParserLoadLog.Source.INDUSTRIAL,
title="Сертификаты промышленного производства",
agency="Минпромторг России",
data_scope="Заключения о подтверждении производства промышленной продукции",
task_name="apps.parsers.tasks.parse_industrial_production",
is_existing=True,
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
parser_strategy="minpromtorg_excel_discovery",
source_notes=(
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
"fragment=Заключения о подтверждении производства промышленной продукции."
),
api_route="minpromtorg/certificates",
),
"manufactures": ParserSourceDescriptor(
key="manufactures",
source=ParserLoadLog.Source.MANUFACTURES,
title="Реестр производителей",
agency="Минпромторг России",
data_scope="Производители промышленной продукции",
task_name="apps.parsers.tasks.parse_manufactures",
is_existing=True,
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
parser_strategy="minpromtorg_excel_discovery",
source_notes=(
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
"fragment=Производители промышленной продукции."
),
api_route="minpromtorg/manufacturers",
),
"inspections": ParserSourceDescriptor(
key="inspections",
source=ParserLoadLog.Source.INSPECTIONS,
title="Проверки Генпрокуратуры",
agency="Генпрокуратура РФ",
data_scope="Плановые и внеплановые проверки",
task_name="apps.parsers.tasks.parse_inspections",
is_existing=True,
upstream_url="https://proverki.gov.ru/portal/public-open-data",
access_method="open_data_portal",
parser_strategy="proverki_open_data",
api_route="proverki",
),
"sync_inspections": ParserSourceDescriptor(
key="sync_inspections",
source=ParserLoadLog.Source.INSPECTIONS,
title="Синхронизация проверок",
agency="Генпрокуратура РФ",
data_scope="Помесячная синхронизация проверок",
task_name="apps.parsers.tasks.sync_inspections",
is_existing=True,
upstream_url="https://proverki.gov.ru/portal/public-open-data/check",
access_method="open_data_portal",
parser_strategy="proverki_open_data_sync",
api_route="proverki",
),
"mpt_products": ParserSourceDescriptor(
key="mpt_products",
source=ParserLoadLog.Source.INDUSTRIAL_PRODUCTS,
title="Продукция Минпромторга",
agency="Минпромторг России",
data_scope="Продукция российских производителей",
task_name="apps.parsers.tasks.parse_industrial_products",
mode="official_api",
status="implemented",
upstream_url="https://gisp.gov.ru/pp719v2/pub/prod/",
access_method="official_registry_api",
parser_strategy="gisp_product_registry",
source_notes="Реестр промышленной продукции РФ опубликован в ГИСП.",
api_route="minpromtorg/products",
),
"procurements_44fz": ParserSourceDescriptor(
key="procurements_44fz",
source=ParserLoadLog.Source.PROCUREMENTS_44FZ,
title="Закупки 44-ФЗ",
agency="Федеральное казначейство",
data_scope="Извещения и закупочные процедуры 44-ФЗ",
task_name="apps.parsers.tasks.parse_procurements_44fz",
mode="official_api",
status="implemented",
upstream_url="https://zakupki.gov.ru/epz/order/extendedsearch/results.html",
access_method="eis_official_api",
parser_strategy="eis_44fz_search",
source_notes="Официальный поиск ЕИС; XML-выгрузки ЕИС требуют отдельного discovery по реестрам.",
api_route="zakupki",
),
"procurements_223fz": ParserSourceDescriptor(
key="procurements_223fz",
source=ParserLoadLog.Source.PROCUREMENTS_223FZ,
title="Закупки 223-ФЗ",
agency="Федеральное казначейство",
data_scope="Извещения и закупочные процедуры 223-ФЗ",
task_name="apps.parsers.tasks.parse_procurements_223fz",
mode="official_api",
status="implemented",
upstream_url="https://zakupki.gov.ru/epz/orderclause/search/results.html",
access_method="eis_official_api",
parser_strategy="eis_223fz_search",
source_notes="Официальный реестр положений о закупках 223-ФЗ в ЕИС.",
api_route="zakupki",
),
"contracts": ParserSourceDescriptor(
key="contracts",
source=ParserLoadLog.Source.CONTRACTS,
title="Контракты ЕИС",
agency="Федеральное казначейство",
data_scope="Государственные и корпоративные контракты",
task_name="apps.parsers.tasks.parse_contracts",
mode="official_api",
status="implemented",
upstream_url="https://zakupki.gov.ru/epz/contract/search/results.html",
access_method="eis_official_api",
parser_strategy="eis_contract_registry",
api_route="zakupki",
),
"unfair_suppliers": ParserSourceDescriptor(
key="unfair_suppliers",
source=ParserLoadLog.Source.UNFAIR_SUPPLIERS,
title="Недобросовестные поставщики",
agency="ФАС России / ЕИС Закупки",
data_scope="Реестр недобросовестных поставщиков",
task_name="apps.parsers.tasks.parse_unfair_suppliers",
mode="official_api",
status="implemented",
upstream_url="https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html",
access_method="eis_official_api",
parser_strategy="eis_unfair_supplier_registry",
api_route="fas/unfair-suppliers",
),
"fas_goz": ParserSourceDescriptor(
key="fas_goz",
source=ParserLoadLog.Source.FAS_GOZ,
title="Уклонение от ГОЗ",
agency="ФАС России",
data_scope="Юрлица, привлеченные за отказ или уклонение от ГОЗ",
task_name="apps.parsers.tasks.parse_fas_goz_evasion",
mode="official_api",
status="implemented",
upstream_url="https://fas.gov.ru/pages/activity/reestr-uridicheskih-lic",
access_method="official_registry_api",
parser_strategy="fas_goz_registry",
api_route="fas/goz",
),
"fns_financial": ParserSourceDescriptor(
key="fns_financial",
source=ParserLoadLog.Source.FNS_REPORTS,
title="Финансово-экономические показатели",
agency="ФНС России",
data_scope="Финансово-экономическая выгрузка",
task_name="apps.parsers.tasks.scan_fns_directory",
mode="official_api",
status="implemented",
owner="Сергей",
upstream_url=(
"https://bo.nalog.gov.ru/advanced-search/organizations/search"
"?query=%D0%9E%D0%9E%D0%9E&page=0&size=100"
),
access_method="public_web_api",
parser_strategy="fns_bfo_search_and_download",
source_notes=(
"ГИР БО: поиск организаций и скачивание отчетности с ЭП ФНС. "
"Ручная загрузка разрешена для финансовых выгрузок от Сергея."
),
supports_file_upload=True,
api_route="fns/reports",
upload_route="fns/upload",
),
"arbitration": ParserSourceDescriptor(
key="arbitration",
source=ParserLoadLog.Source.ARBITRATION,
title="Арбитражные дела",
agency="Верховный суд РФ / КАД Арбитр",
data_scope="Арбитражные дела по организациям",
task_name="apps.parsers.tasks.parse_arbitration_cases",
mode="official_api",
status="implemented",
upstream_url="https://kad.arbitr.ru/",
access_method="official_search_api",
parser_strategy="kad_arbitr_search",
api_route="arbitration/cases",
),
"fedresurs_bankruptcy": ParserSourceDescriptor(
key="fedresurs_bankruptcy",
source=ParserLoadLog.Source.FEDRESURS_BANKRUPTCY,
title="Банкротства Федресурс",
agency="Федресурс",
data_scope="Сведения о процедурах банкротства",
task_name="apps.parsers.tasks.parse_fedresurs_bankruptcy",
mode="official_api",
status="implemented",
owner="Сергей",
upstream_url="https://bankrot.fedresurs.ru/",
access_method="official_registry_api",
parser_strategy="fedresurs_bankruptcy_search",
source_notes=(
"Официальный ЕФРСБ; может отдавать anti-bot challenge worker'ам. "
"Ручная загрузка разрешена только для выгрузок, переданных Сергеем."
),
supports_file_upload=True,
api_route="fedresurs/bankruptcy",
),
"fstec": ParserSourceDescriptor(
key="fstec",
source=ParserLoadLog.Source.FSTEC,
title="Реестры ФСТЭК",
agency="ФСТЭК России",
data_scope="Реестры по информационной безопасности",
task_name="apps.parsers.tasks.parse_fstec_registers",
mode="official_api",
status="implemented",
upstream_url="https://reestr.fstec.ru/reg3",
access_method="official_registry_api",
parser_strategy="fstec_registry_table",
api_route="fstec/registers",
),
"trudvsem": ParserSourceDescriptor(
key="trudvsem",
source=ParserLoadLog.Source.TRUDVSEM,
title="Вакансии Работа России",
agency="ЕЦП Работа в России",
data_scope="Вакансии работодателей",
task_name="apps.parsers.tasks.parse_trudvsem_vacancies",
upstream_url="https://opendata.trudvsem.ru/api/v1/vacancies",
access_method="public_api",
parser_strategy="trudvsem_vacancies_api",
api_route="trudvsem/vacancies",
),
}
def get_source_by_model_source(source: str) -> ParserSourceDescriptor | None:
"""Найти описание парсера по значению ParserLoadLog.Source."""
for descriptor in PARSER_SOURCES.values():
if descriptor.source == source:
return descriptor
return None