Aleksandr Meshchriakov
25176f31b4
Some checks failed
CI/CD Pipeline / Telegram Notify Success (push) Has been cancelled
CI/CD Pipeline / Run Tests (push) Has been cancelled
CI/CD Pipeline / Code Quality Checks (push) Has been cancelled
CI/CD Pipeline / Code Quality Checks (pull_request) Successful in 1m42s
CI/CD Pipeline / Run Tests (pull_request) Successful in 2m25s
CI/CD Pipeline / Telegram Notify Success (pull_request) Successful in 1m34s
866 B
866 B
ADR-004: Data Ingestion and ETL Strategy
Status
Accepted
Context
Система интегрируется с нестабильными внешними источниками:
- гос API
- HTML/JS порталы
- файлы (Excel/XML)
Decision
Используется ETL-подход:
- Extract — парсеры
- Transform — сервисный слой
- Load — PostgreSQL
Особенности:
- инкрементальная загрузка
- потоковый парсинг больших файлов
- обработка ошибок
Consequences
Positive
- контроль над данными
- устойчивость к изменениям источников
Negative
- сложность поддержки парсеров
- необходимость ручного восстановления