Aleksandr Meshchriakov
25176f31b4
Some checks failed
CI/CD Pipeline / Telegram Notify Success (push) Has been cancelled
CI/CD Pipeline / Run Tests (push) Has been cancelled
CI/CD Pipeline / Code Quality Checks (push) Has been cancelled
CI/CD Pipeline / Code Quality Checks (pull_request) Successful in 1m42s
CI/CD Pipeline / Run Tests (pull_request) Successful in 2m25s
CI/CD Pipeline / Telegram Notify Success (pull_request) Successful in 1m34s
35 lines
866 B
Markdown
35 lines
866 B
Markdown
# ADR-004: Data Ingestion and ETL Strategy
|
||
|
||
## Status
|
||
Accepted
|
||
|
||
## Context
|
||
|
||
Система интегрируется с нестабильными внешними источниками:
|
||
- гос API
|
||
- HTML/JS порталы
|
||
- файлы (Excel/XML)
|
||
|
||
## Decision
|
||
|
||
Используется ETL-подход:
|
||
|
||
- Extract — парсеры
|
||
- Transform — сервисный слой
|
||
- Load — PostgreSQL
|
||
|
||
Особенности:
|
||
- инкрементальная загрузка
|
||
- потоковый парсинг больших файлов
|
||
- обработка ошибок
|
||
|
||
## Consequences
|
||
|
||
### Positive
|
||
- контроль над данными
|
||
- устойчивость к изменениям источников
|
||
|
||
### Negative
|
||
- сложность поддержки парсеров
|
||
- необходимость ручного восстановления
|