feat(parsers): add proverki.gov.ru parser with sync_inspections task
- Add InspectionRecord model with is_federal_law_248, data_year, data_month fields - Add ProverkiClient with Playwright support for JS-rendered portal - Add streaming XML parser for large files (>50MB) - Add sync_inspections task with incremental loading logic - Starts from 01.01.2025 if DB is empty - Loads both FZ-294 and FZ-248 inspections - Stops after 2 consecutive empty months - Add InspectionService methods: get_last_loaded_period, has_data_for_period - Add Minpromtorg parsers (certificates, manufacturers) - Add Django Admin for parser models - Update README with parsers documentation and changelog
This commit is contained in:
10
src/apps/parsers/__init__.py
Normal file
10
src/apps/parsers/__init__.py
Normal file
@@ -0,0 +1,10 @@
|
||||
"""
|
||||
Приложение для парсеров и ETL процессов.
|
||||
|
||||
Содержит:
|
||||
- Модели для конфигурации источников данных и результатов парсинга
|
||||
- Сервисы для извлечения, трансформации и загрузки данных (ETL)
|
||||
- Celery задачи для фоновой обработки
|
||||
"""
|
||||
|
||||
default_app_config = "apps.parsers.apps.ParsersConfig"
|
||||
Reference in New Issue
Block a user