Files
mostovik-backend/docs/source-export-catalog-verification.md
2026-10-22 21:45:29 +02:00

66 lines
4.8 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Проверка первоначального каталога all_available — 2026-10-22
Это исторический отчёт для коммита `63872e8`. Последующее разбиение по годам
описано в [дополнении](source-export-year-partitions.md).
Реализация backend в `dev`; frontend, реальные базы и серверы контуров не изменялись.
[Операционная инструкция](source-export-catalog-operations.md),
[исходное задание](source-data-export-api-spec.md).
## Выполненные проверки
| Проверка | Фактический результат |
| --- | --- |
| Полный pytest backend с opt-in transport load | 2078 passed, 47 skipped, 13 warnings |
| После финальных guards: новый + legacy экспорт на SQLite | 59 passed |
| Новый каталог и конкурентный native POST на PostgreSQL 15.19 | 35 passed |
| Полный migration graph на изолированном PostgreSQL | PASS; новые 5 таблиц, schedule disabled |
| Migration drift `makemigrations --check --dry-run` | Нет изменений |
| Canonical OpenAPI generation и `build.mjs --check` | PASS |
| Orval apigen и TypeScript type-check, включая union ticket selectors | PASS |
| Generated Zod — новые фактические ответы API | 5 passed без потери полей |
| Generated Zod — прежние runtime fixtures | 48 passed |
| Ruff / Black затронутых Python-файлов, Django check | PASS |
| Compose dev `config --quiet`, `git diff --check` | PASS |
Полный прогон предшествовал двум финальным guard tests; затем они и весь новый каталог
повторно проверены targeted SQLite/PostgreSQL прогонами. Skipped не считаются PASS.
PostgreSQL integration tests пропускаются в основном SQLite-прогоне и выполнены отдельно.
Первый PostgreSQL прогон выявил закрытие outer TestCase transaction тестовым helper при
ручном `response.close()`; helper исправлен по стандартному test-client signal handling,
повторный прогон прошёл. Production connection handling этим исправлением не менялся.
На PostgreSQL два одновременно отправленных form POST одного ticket дали ровно 200/410.
Отдельный тест реальным SQL и независимым connection проверил продление stream lease и
обнаружение его потери. Только timer этого теста ускорен; DB checks не подменяются mocks.
PostgreSQL запускался в отдельном временном локальном контейнере, привязанном к loopback.
## Синтетический snapshot
- source_group: `government_procurements`
- generation_id: `8c4f4096-14c9-4256-9dcb-0e209b7b493e`
- records: 3; fixture содержит 2024, 2025, 2026 годы
- части: 2; варианты XLSX/CSV/JSON одной части содержат одинаковые UID
- registry/adapters: все 22 группы и все зарегистрированные подисточники
- финансовые строки: fixture 2022 и 2023, JSON-only без fallback
- pagination/ZIP: отдельный тест с 51 частью проверяет обе страницы и весь архив
Данные синтетические; capability tokens в этот отчёт не включены.
## Локальный transport load
Фактически обработаны 5905582210 bytes ZIP64 (5.5 GiB плюс framing),
одновременно два file reader по 536870912 bytes.
Рост peak RSS всего тестового процесса: 13631488 bytes.
Catalog samples: 57; p95 0.000748 seconds.
Источник — sparse synthetic binary, полный ZIP не сохраняется на диск или в RAM.
Это не измерение сети, браузера, proxy или предметного full-history build.
## Осталось для приёмки контура
Реальный all-history объём/время и capacity; persistent volume на контуре;
через-origin native browser flow и proxy buffering/timeouts; реальные HTTP p95/RSS,
alerts/log ingestion и включение nightly/autobuild после проверки capacity.
Новые runtime migrations, build и deployment на dev-сервере этим локальным прогоном
не выполнялись. Фронт не подключался; его файлы не изменялись.