feat: add parser source dashboard and scheduling
All checks were successful
CI/CD Pipeline / Code Quality Checks (pull_request) Successful in 1m55s
CI/CD Pipeline / Run Tests (pull_request) Successful in 3m6s
CI/CD Pipeline / Run API Inventory E2E Tests (pull_request) Successful in 2m48s
CI/CD Pipeline / Telegram Notify Success (pull_request) Successful in 19s
All checks were successful
CI/CD Pipeline / Code Quality Checks (pull_request) Successful in 1m55s
CI/CD Pipeline / Run Tests (pull_request) Successful in 3m6s
CI/CD Pipeline / Run API Inventory E2E Tests (pull_request) Successful in 2m48s
CI/CD Pipeline / Telegram Notify Success (pull_request) Successful in 19s
This commit is contained in:
294
src/apps/parsers/source_registry.py
Normal file
294
src/apps/parsers/source_registry.py
Normal file
@@ -0,0 +1,294 @@
|
||||
"""Каталог парсеров и источников данных."""
|
||||
|
||||
from dataclasses import dataclass
|
||||
|
||||
from apps.parsers.models import ParserLoadLog
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class ParserSourceDescriptor:
|
||||
"""Описание источника для API и запуска задач."""
|
||||
|
||||
key: str
|
||||
source: str
|
||||
title: str
|
||||
agency: str
|
||||
data_scope: str
|
||||
task_name: str
|
||||
is_existing: bool = False
|
||||
requires_file_url: bool = False
|
||||
mode: str = "native_api"
|
||||
status: str = "implemented"
|
||||
owner: str = ""
|
||||
upstream_url: str = ""
|
||||
access_method: str = "api"
|
||||
parser_strategy: str = "native"
|
||||
source_notes: str = ""
|
||||
supports_file_upload: bool = False
|
||||
api_route: str = ""
|
||||
upload_route: str = ""
|
||||
|
||||
@property
|
||||
def result_list_url(self) -> str:
|
||||
"""Frontend/API URL для списка результата источника."""
|
||||
return f"/api/v1/{self.api_route}/" if self.api_route else ""
|
||||
|
||||
@property
|
||||
def result_detail_url(self) -> str:
|
||||
"""Frontend/API URL для карточки результата источника."""
|
||||
return f"/api/v1/{self.api_route}/{{id}}/" if self.api_route else ""
|
||||
|
||||
@property
|
||||
def upload_url(self) -> str:
|
||||
"""Frontend/API URL ручной загрузки файла источника."""
|
||||
if not self.supports_file_upload or not self.api_route:
|
||||
return ""
|
||||
return f"/api/v1/{self.upload_api_route}/"
|
||||
|
||||
@property
|
||||
def upload_api_route(self) -> str:
|
||||
"""API route ручной загрузки без prefix /api/v1."""
|
||||
if self.upload_route:
|
||||
return self.upload_route
|
||||
return f"{self.api_route}/upload"
|
||||
|
||||
|
||||
PARSER_SOURCES: dict[str, ParserSourceDescriptor] = {
|
||||
"industrial": ParserSourceDescriptor(
|
||||
key="industrial",
|
||||
source=ParserLoadLog.Source.INDUSTRIAL,
|
||||
title="Сертификаты промышленного производства",
|
||||
agency="Минпромторг России",
|
||||
data_scope="Заключения о подтверждении производства промышленной продукции",
|
||||
task_name="apps.parsers.tasks.parse_industrial_production",
|
||||
is_existing=True,
|
||||
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
|
||||
parser_strategy="minpromtorg_excel_discovery",
|
||||
source_notes=(
|
||||
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
|
||||
"fragment=Заключения о подтверждении производства промышленной продукции."
|
||||
),
|
||||
api_route="minpromtorg/certificates",
|
||||
),
|
||||
"manufactures": ParserSourceDescriptor(
|
||||
key="manufactures",
|
||||
source=ParserLoadLog.Source.MANUFACTURES,
|
||||
title="Реестр производителей",
|
||||
agency="Минпромторг России",
|
||||
data_scope="Производители промышленной продукции",
|
||||
task_name="apps.parsers.tasks.parse_manufactures",
|
||||
is_existing=True,
|
||||
upstream_url="https://minpromtorg.gov.ru/api/kss-document-preview",
|
||||
parser_strategy="minpromtorg_excel_discovery",
|
||||
source_notes=(
|
||||
"Параметры discovery: types[]=668d4f2a-966a-4b65-9fb9-2f1ad19a3d1f, "
|
||||
"fragment=Производители промышленной продукции."
|
||||
),
|
||||
api_route="minpromtorg/manufacturers",
|
||||
),
|
||||
"inspections": ParserSourceDescriptor(
|
||||
key="inspections",
|
||||
source=ParserLoadLog.Source.INSPECTIONS,
|
||||
title="Проверки Генпрокуратуры",
|
||||
agency="Генпрокуратура РФ",
|
||||
data_scope="Плановые и внеплановые проверки",
|
||||
task_name="apps.parsers.tasks.parse_inspections",
|
||||
is_existing=True,
|
||||
upstream_url="https://proverki.gov.ru/portal/public-open-data",
|
||||
access_method="open_data_portal",
|
||||
parser_strategy="proverki_open_data",
|
||||
api_route="proverki",
|
||||
),
|
||||
"sync_inspections": ParserSourceDescriptor(
|
||||
key="sync_inspections",
|
||||
source=ParserLoadLog.Source.INSPECTIONS,
|
||||
title="Синхронизация проверок",
|
||||
agency="Генпрокуратура РФ",
|
||||
data_scope="Помесячная синхронизация проверок",
|
||||
task_name="apps.parsers.tasks.sync_inspections",
|
||||
is_existing=True,
|
||||
upstream_url="https://proverki.gov.ru/portal/public-open-data/check",
|
||||
access_method="open_data_portal",
|
||||
parser_strategy="proverki_open_data_sync",
|
||||
api_route="proverki",
|
||||
),
|
||||
"mpt_products": ParserSourceDescriptor(
|
||||
key="mpt_products",
|
||||
source=ParserLoadLog.Source.INDUSTRIAL_PRODUCTS,
|
||||
title="Продукция Минпромторга",
|
||||
agency="Минпромторг России",
|
||||
data_scope="Продукция российских производителей",
|
||||
task_name="apps.parsers.tasks.parse_industrial_products",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://gisp.gov.ru/pp719v2/pub/prod/",
|
||||
access_method="official_registry_api",
|
||||
parser_strategy="gisp_product_registry",
|
||||
source_notes="Реестр промышленной продукции РФ опубликован в ГИСП.",
|
||||
api_route="minpromtorg/products",
|
||||
),
|
||||
"procurements_44fz": ParserSourceDescriptor(
|
||||
key="procurements_44fz",
|
||||
source=ParserLoadLog.Source.PROCUREMENTS_44FZ,
|
||||
title="Закупки 44-ФЗ",
|
||||
agency="Федеральное казначейство",
|
||||
data_scope="Извещения и закупочные процедуры 44-ФЗ",
|
||||
task_name="apps.parsers.tasks.parse_procurements_44fz",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://zakupki.gov.ru/epz/order/extendedsearch/results.html",
|
||||
access_method="eis_official_api",
|
||||
parser_strategy="eis_44fz_search",
|
||||
source_notes="Официальный поиск ЕИС; XML-выгрузки ЕИС требуют отдельного discovery по реестрам.",
|
||||
api_route="zakupki",
|
||||
),
|
||||
"procurements_223fz": ParserSourceDescriptor(
|
||||
key="procurements_223fz",
|
||||
source=ParserLoadLog.Source.PROCUREMENTS_223FZ,
|
||||
title="Закупки 223-ФЗ",
|
||||
agency="Федеральное казначейство",
|
||||
data_scope="Извещения и закупочные процедуры 223-ФЗ",
|
||||
task_name="apps.parsers.tasks.parse_procurements_223fz",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://zakupki.gov.ru/epz/orderclause/search/results.html",
|
||||
access_method="eis_official_api",
|
||||
parser_strategy="eis_223fz_search",
|
||||
source_notes="Официальный реестр положений о закупках 223-ФЗ в ЕИС.",
|
||||
api_route="zakupki",
|
||||
),
|
||||
"contracts": ParserSourceDescriptor(
|
||||
key="contracts",
|
||||
source=ParserLoadLog.Source.CONTRACTS,
|
||||
title="Контракты ЕИС",
|
||||
agency="Федеральное казначейство",
|
||||
data_scope="Государственные и корпоративные контракты",
|
||||
task_name="apps.parsers.tasks.parse_contracts",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://zakupki.gov.ru/epz/contract/search/results.html",
|
||||
access_method="eis_official_api",
|
||||
parser_strategy="eis_contract_registry",
|
||||
api_route="zakupki",
|
||||
),
|
||||
"unfair_suppliers": ParserSourceDescriptor(
|
||||
key="unfair_suppliers",
|
||||
source=ParserLoadLog.Source.UNFAIR_SUPPLIERS,
|
||||
title="Недобросовестные поставщики",
|
||||
agency="ФАС России / ЕИС Закупки",
|
||||
data_scope="Реестр недобросовестных поставщиков",
|
||||
task_name="apps.parsers.tasks.parse_unfair_suppliers",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html",
|
||||
access_method="eis_official_api",
|
||||
parser_strategy="eis_unfair_supplier_registry",
|
||||
api_route="fas/unfair-suppliers",
|
||||
),
|
||||
"fas_goz": ParserSourceDescriptor(
|
||||
key="fas_goz",
|
||||
source=ParserLoadLog.Source.FAS_GOZ,
|
||||
title="Уклонение от ГОЗ",
|
||||
agency="ФАС России",
|
||||
data_scope="Юрлица, привлеченные за отказ или уклонение от ГОЗ",
|
||||
task_name="apps.parsers.tasks.parse_fas_goz_evasion",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://fas.gov.ru/pages/activity/reestr-uridicheskih-lic",
|
||||
access_method="official_registry_api",
|
||||
parser_strategy="fas_goz_registry",
|
||||
api_route="fas/goz",
|
||||
),
|
||||
"fns_financial": ParserSourceDescriptor(
|
||||
key="fns_financial",
|
||||
source=ParserLoadLog.Source.FNS_REPORTS,
|
||||
title="Финансово-экономические показатели",
|
||||
agency="ФНС России",
|
||||
data_scope="Финансово-экономическая выгрузка",
|
||||
task_name="apps.parsers.tasks.scan_fns_directory",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
owner="Сергей",
|
||||
upstream_url=(
|
||||
"https://bo.nalog.gov.ru/advanced-search/organizations/search"
|
||||
"?query=%D0%9E%D0%9E%D0%9E&page=0&size=100"
|
||||
),
|
||||
access_method="public_web_api",
|
||||
parser_strategy="fns_bfo_search_and_download",
|
||||
source_notes=(
|
||||
"ГИР БО: поиск организаций и скачивание отчетности с ЭП ФНС. "
|
||||
"Ручная загрузка разрешена для финансовых выгрузок от Сергея."
|
||||
),
|
||||
supports_file_upload=True,
|
||||
api_route="fns/reports",
|
||||
upload_route="fns/upload",
|
||||
),
|
||||
"arbitration": ParserSourceDescriptor(
|
||||
key="arbitration",
|
||||
source=ParserLoadLog.Source.ARBITRATION,
|
||||
title="Арбитражные дела",
|
||||
agency="Верховный суд РФ / КАД Арбитр",
|
||||
data_scope="Арбитражные дела по организациям",
|
||||
task_name="apps.parsers.tasks.parse_arbitration_cases",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://kad.arbitr.ru/",
|
||||
access_method="official_search_api",
|
||||
parser_strategy="kad_arbitr_search",
|
||||
api_route="arbitration/cases",
|
||||
),
|
||||
"fedresurs_bankruptcy": ParserSourceDescriptor(
|
||||
key="fedresurs_bankruptcy",
|
||||
source=ParserLoadLog.Source.FEDRESURS_BANKRUPTCY,
|
||||
title="Банкротства Федресурс",
|
||||
agency="Федресурс",
|
||||
data_scope="Сведения о процедурах банкротства",
|
||||
task_name="apps.parsers.tasks.parse_fedresurs_bankruptcy",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
owner="Сергей",
|
||||
upstream_url="https://bankrot.fedresurs.ru/",
|
||||
access_method="official_registry_api",
|
||||
parser_strategy="fedresurs_bankruptcy_search",
|
||||
source_notes=(
|
||||
"Официальный ЕФРСБ; может отдавать anti-bot challenge worker'ам. "
|
||||
"Ручная загрузка разрешена только для выгрузок, переданных Сергеем."
|
||||
),
|
||||
supports_file_upload=True,
|
||||
api_route="fedresurs/bankruptcy",
|
||||
),
|
||||
"fstec": ParserSourceDescriptor(
|
||||
key="fstec",
|
||||
source=ParserLoadLog.Source.FSTEC,
|
||||
title="Реестры ФСТЭК",
|
||||
agency="ФСТЭК России",
|
||||
data_scope="Реестры по информационной безопасности",
|
||||
task_name="apps.parsers.tasks.parse_fstec_registers",
|
||||
mode="official_api",
|
||||
status="implemented",
|
||||
upstream_url="https://reestr.fstec.ru/reg3",
|
||||
access_method="official_registry_api",
|
||||
parser_strategy="fstec_registry_table",
|
||||
api_route="fstec/registers",
|
||||
),
|
||||
"trudvsem": ParserSourceDescriptor(
|
||||
key="trudvsem",
|
||||
source=ParserLoadLog.Source.TRUDVSEM,
|
||||
title="Вакансии Работа России",
|
||||
agency="ЕЦП Работа в России",
|
||||
data_scope="Вакансии работодателей",
|
||||
task_name="apps.parsers.tasks.parse_trudvsem_vacancies",
|
||||
upstream_url="https://opendata.trudvsem.ru/api/v1/vacancies",
|
||||
access_method="public_api",
|
||||
parser_strategy="trudvsem_vacancies_api",
|
||||
api_route="trudvsem/vacancies",
|
||||
),
|
||||
}
|
||||
|
||||
|
||||
def get_source_by_model_source(source: str) -> ParserSourceDescriptor | None:
|
||||
"""Найти описание парсера по значению ParserLoadLog.Source."""
|
||||
for descriptor in PARSER_SOURCES.values():
|
||||
if descriptor.source == source:
|
||||
return descriptor
|
||||
return None
|
||||
Reference in New Issue
Block a user