Aleksandr Meshchriakov
25176f31b4
Some checks failed
CI/CD Pipeline / Telegram Notify Success (push) Has been cancelled
CI/CD Pipeline / Run Tests (push) Has been cancelled
CI/CD Pipeline / Code Quality Checks (push) Has been cancelled
CI/CD Pipeline / Code Quality Checks (pull_request) Successful in 1m42s
CI/CD Pipeline / Run Tests (pull_request) Successful in 2m25s
CI/CD Pipeline / Telegram Notify Success (pull_request) Successful in 1m34s
873 B
873 B
ADR-003: Background Processing Architecture
Status
Accepted
Context
Обработка данных требует:
- асинхронности
- планирования задач
- устойчивости к сбоям
Decision
Используется Celery:
- worker — выполнение задач
- beat — планировщик
- Redis — broker/backend
Типы задач:
- парсинг источников
- синхронизация данных
- обработка файлов
Consequences
Positive
- горизонтальное масштабирование
- разделение runtime и фоновых задач
Negative
- сложность дебага
- необходимость контроля idempotency
Alternatives
- RQ / Dramatiq — отклонены (меньше зрелости)