feat: enable requested source collection schedules
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped

This commit is contained in:
Aleksandr Meshchryakov
2026-10-05 18:31:13 +02:00
parent 24616d160f
commit af02d1ce8a
8 changed files with 143 additions and 19 deletions

View File

@@ -87,3 +87,14 @@ Ordered ledger decisions and their costs; runtime gates remain pending.
- Final: Ruling: keep existing dev checkout as explicitly chosen by user; adapt finishing-branch menu rather than merge dev into itself or create unrequested PR — no push/deploy implied — cost if wrong: integration awaits explicit external authorization.
Deferred minors: none. All three Important reviewer findings were fixed with watched RED→GREEN regressions.
## Subsequent explicit owner instruction
On 2026-10-05 the user requested all five schedules enabled and backend/dev pushed.
This supersedes the earlier disabled/deploy-deferred rulings, while live data
readiness remains separate from enablement.
- Ruling: add forward migration 0048 rather than rewrite old seeds — supports
already-applied and fresh databases — cost if wrong: 0048 must apply to activate.
- Ruling: retain daily FSSP/exchange and 30-day Checko intervals/monthly claims —
minimal requested change — cost if wrong: 30-day cadence is not a calendar month.

View File

@@ -1,7 +1,9 @@
# Передача пяти источников, 5 октября 2026
Локальная реализация в `mostovik-backend/dev` завершена. Реальное наполнение dev
и включение расписаний не выполнены. Frontend обновлён из Git ранее в этой работе,
Локальная реализация в `mostovik-backend/dev` завершена. Пользователь 05.10.2026
явно разрешил push и включение всех пяти расписаний. Forward migration 0048
включает существующие интервалы: ФССП/биржи ежедневно, Checko каждые 30 дней.
Включённое расписание не доказывает успешное наполнение dev. Frontend обновлён из Git ранее в этой работе,
его код не менялся. StateCorp, root repo, env и submodule pointers не коммитились.
| Источник | Карточка | source_group | record_type |
@@ -86,13 +88,17 @@ primary-board trading. MOEX probe использовал дату из ране
## Конкретный следующий этап: dev acceptance
Этот этап подготовлен, **не выполнен и не разрешён текущей локальной разработкой**.
Push/dev deployment и включение пяти расписаний теперь явно разрешены пользователем.
Ниже остаются критерии фактической data readiness; ручная платная ограниченная
проба и расширение TLS trust не выполнялись.
Push `dev` запускает CI/CD из `.gitea/workflows/ci-cd.yml`, включая web/celery release.
Следовать актуальному root `DEPLOYMENT.md` и `deploy/ecos-dev/README.md`,
а не его историческим privileged SSH процедурам. Проверить точные commit/digests,
CI и соответствие web/celery, migrations через штатный release wrapper.
1. Только Mostovik backend; все пять новых schedules оставлять disabled.
1. Только Mostovik backend; миграция 0048 включает ровно пять новых schedules.
Предыдущие seed migrations сохраняются неизменными; reverse 0048 выключает
эти пять schedules, не удаляя их и не меняя остальные.
До записи проверить текущий private storage и свободное место: raw ФССП уже
4.7 GB, staging/manifest/exports требуют дополнительного измеренного запаса.
Проверить worker limits и однозначность canonical directory. Сделать
@@ -114,10 +120,18 @@ CI и соответствие web/celery, migrations через штатный
доступность MOEX durations HTML из worker и единицу effectiveyield официальным
field-specific источником. Затем один полный combined refresh, отдельные
counters входов, единый publish/list/detail/export. Не обходить TLS/WAF.
5. Только после этой приёмки источники можно объявлять ready; включение schedules
отдельно. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
5. Только после этой приёмки источники можно объявлять ready. Расписания включены
отдельным указанием пользователя; ошибка коллектора сохраняет старый snapshot. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
Header-only CSV с подтверждёнными headers трактуется как пустой по согласованному
плану. Независимого publisher row count нет: semantic truncation до одних headers
не доказуем существующим каналом и может очистить записи при формально полном
пустом snapshot. Это сохраняемый предел проверки, не установленный live факт.
## Проверка изменения расписаний
Forward migration 0048 проверена на полной PostgreSQL migration graph: пять
задач enabled=true, интервалы 1/30 days сохранены. Тест покрывает повторный запуск,
обратное выключение и сохранение unrelated schedule. Старые seed migrations
проверяются отдельно для своих задач; они по-прежнему создают disabled templates.
Реальный rollout и job outcomes фиксируются отдельно от локальной проверки.

View File

@@ -20,7 +20,7 @@ HTTPS GET https://api.checko.ru/v2/company или /fedresurs через суще
## Fixtures и готовность
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Schedules disabled.
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Миграция 0048 включает три schedules каждые 30 дней по явному указанию пользователя; месячные claims сохраняются.
Публичный тариф: первые 100 запросов за день бесплатны, далее Standard 0.15 RUB / Maximum 0.10 RUB за HTTP 200. Конкретный тариф/остаток аккаунта не установлен; это не разрешение расходовать квоту. Для фактической пробы подготовить canonical scope и максимальное число страниц/calls, получить отдельное разрешение.

View File

@@ -55,7 +55,7 @@ HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
Fixtures синтетические, получены по проверенным columns: не доказательство
доступности live runtime или наличия эмитентов в canonical dev population.
Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ
Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ
ещё не выполнены; источник не объявлен ready.
## Реализация и фактические проверки
@@ -65,7 +65,7 @@ NDJSON всех ответов (исходный текст/URL/params/SHA). Man
checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное
publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного
входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018;
суточный template schedule disabled, включение не разрешено этой реализацией.
суточный template schedule включается миграцией 0048 по указанию пользователя.
Одна карточка `stock-exchange-activity`, admin refresh/run,
`parsers.stock_exchange_activity.refresh`, 8h timeout, worker/admission guard.
@@ -97,7 +97,7 @@ CSV/XLSX/JSON exports через штатные generations/tickets сохран
изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope.
Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ
не выполнены. Нет push/deploy и changes в frontend/StateCorp/root/env.
не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются.
Финальное ревью и итоговые проверки — в [передаче реализации](2026-10-05-implementation-handoff.md).
Если ISS возвращает cursor, обход завершён после валидированной страницы,

View File

@@ -31,7 +31,7 @@ Identity: Debtor TIN + номер ИП, UUID5 существующего publish
Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются.
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Новое расписание disabled. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Миграция 0048 включает суточное расписание по явному указанию пользователя от 05.10.2026. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
## Проверка полных файлов 5 октября 2026
@@ -55,7 +55,7 @@ Checksums:
Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API.
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule disabled. Нельзя включать расписание до согласованного полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule включается миграцией 0048 по явному указанию пользователя. Readiness требует полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
Итоговые проверки после независимого ревью — в [передаче реализации](2026-10-05-implementation-handoff.md).
Экспорт текущего snapshot теперь включает ИП прежних и будущих лет начала, как