Files
mostovik-backend/docs/source-export-year-partitions-verification.md
Aleksandr Meshchryakov aeade84761
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 3m14s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 2m43s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m57s
docs: tidy source export verification report
2026-10-22 22:36:55 +02:00

5.1 KiB
Raw Permalink Blame History

Проверка годовых файлов источников — 2026-10-22

Правила и контракт. Изменения только в backend dev; frontend и серверы контуров не изменялись. Первоначальный отчёт 63872e8 сохранён отдельно.

Проверка Фактический результат
Полный backend pytest с transport load 2086 passed, 48 skipped, 13 warnings
Итоговый каталог + конкурентный download/leases на PostgreSQL 15.19 42 passed
Full migration graph на PostgreSQL PASS
0021 forward/reverse/forward, enabled recurring schedule и Beat change counter PASS
Migration drift / Django check / Ruff / Black / diff check PASS
OpenAPI build + freshness, Orval apigen + TypeScript PASS
Generated Zod: новые actual API responses 5 passed
Generated Zod: прежние runtime responses 48 passed

Полный прогон предшествовал окончательному scheduler notification guard; после него итоговый каталог/миграция повторно проверены отдельным PostgreSQL прогоном. Skipped не PASS: в основном SQLite-прогоне PostgreSQL-specific проверки пропускаются и выполняются отдельно.

Проверены:

  • Все 22 источника: через ночной task entrypoint с синтетическими данными 2020/2021 годов подготовлены 22 независимых поколения с обоими годами. Clock-trigger на реальном стенде этой проверкой не подтверждается.
  • В одном файле не смешиваются годы. Parts нумеруются внутри года; ZIP содержит папки годов.
  • Разбиение oversized variant сохраняет тот же год и те же UID во всех CSV/XLSX/JSON.
  • Финансовый UID с показателями двух лет присутствует в двух годовых проекциях, каждая содержит только свои financial lines. Unique и projected counts не смешиваются.
  • Пустая дата: год created_at в TIME_ZONE сервиса, независимо от активной timezone. Нераспознаваемые даты/невалидный финансовый год не теряются и попадают в undated.
  • JSON-only финансы, записи без financial lines, пустые источники, пагинация 51 части, pinned tickets/старые manifest v3, ошибки хранилища, cleanup/leases и legacy annual API.
  • Миграция включает recurring 06:30 Europe/Moscow, очищает one_off, expires/start_time и частные args/kwargs; явно обновляет Beat change counter историческими migration models.

Локальный transport test реально обработал 5905582210 bytes ZIP64, два параллельных file reader по 536870912 bytes; peak RSS growth 11436032 bytes. Это synthetic transport/metadata, не HTTP proxy/browser и не замер full-history объёма на dev. Ограничения эксплуатации в общей инструкции сохраняются.

Временный PostgreSQL был изолированным локальным контейнером на loopback. Реальные миграции, Beat, worker, private volume и первая сборка на dev-сервере требуют выкладки этой версии.

Дополнение: свежесть отдельных групп

Dev bootstrap выявил лишние повторы крупных экспортов при параллельном ingestion вакансий: использовалась общая версия всех источников. Экспорт и retry теперь сравнивают версию собственной группы. Ingestion продолжает инвалидировать глобальные агрегаты, а операции без указанной группы инвалидируют все экспорты.

Проверено локально: 58 целевых SQLite-тестов; 60 тестов на изолированном PostgreSQL 15 (каталог, ingestion, задачи, конкурентный claim и heartbeat). Регрессии проверяют отсутствие повторов от другой группы, повтор от собственной группы и общий сброс после массовой операции. Runtime-проверки первоначального bootstrap относятся к 2ed39c0; итоговая приёмка dev оформляется отдельно в deployment evidence контейнерного репозитория.