diff --git a/docs/sources/2026-10-05-implementation-decisions.md b/docs/sources/2026-10-05-implementation-decisions.md index 3ae2fc0..22ae233 100644 --- a/docs/sources/2026-10-05-implementation-decisions.md +++ b/docs/sources/2026-10-05-implementation-decisions.md @@ -87,3 +87,14 @@ Ordered ledger decisions and their costs; runtime gates remain pending. - Final: Ruling: keep existing dev checkout as explicitly chosen by user; adapt finishing-branch menu rather than merge dev into itself or create unrequested PR — no push/deploy implied — cost if wrong: integration awaits explicit external authorization. Deferred minors: none. All three Important reviewer findings were fixed with watched RED→GREEN regressions. + +## Subsequent explicit owner instruction + +On 2026-10-05 the user requested all five schedules enabled and backend/dev pushed. +This supersedes the earlier disabled/deploy-deferred rulings, while live data +readiness remains separate from enablement. + +- Ruling: add forward migration 0048 rather than rewrite old seeds — supports + already-applied and fresh databases — cost if wrong: 0048 must apply to activate. +- Ruling: retain daily FSSP/exchange and 30-day Checko intervals/monthly claims — + minimal requested change — cost if wrong: 30-day cadence is not a calendar month. diff --git a/docs/sources/2026-10-05-implementation-handoff.md b/docs/sources/2026-10-05-implementation-handoff.md index 08b915f..b9df4ba 100644 --- a/docs/sources/2026-10-05-implementation-handoff.md +++ b/docs/sources/2026-10-05-implementation-handoff.md @@ -1,7 +1,9 @@ # Передача пяти источников, 5 октября 2026 -Локальная реализация в `mostovik-backend/dev` завершена. Реальное наполнение dev -и включение расписаний не выполнены. Frontend обновлён из Git ранее в этой работе, +Локальная реализация в `mostovik-backend/dev` завершена. Пользователь 05.10.2026 +явно разрешил push и включение всех пяти расписаний. Forward migration 0048 +включает существующие интервалы: ФССП/биржи ежедневно, Checko каждые 30 дней. +Включённое расписание не доказывает успешное наполнение dev. Frontend обновлён из Git ранее в этой работе, его код не менялся. StateCorp, root repo, env и submodule pointers не коммитились. | Источник | Карточка | source_group | record_type | @@ -86,13 +88,17 @@ primary-board trading. MOEX probe использовал дату из ране ## Конкретный следующий этап: dev acceptance -Этот этап подготовлен, **не выполнен и не разрешён текущей локальной разработкой**. +Push/dev deployment и включение пяти расписаний теперь явно разрешены пользователем. +Ниже остаются критерии фактической data readiness; ручная платная ограниченная +проба и расширение TLS trust не выполнялись. Push `dev` запускает CI/CD из `.gitea/workflows/ci-cd.yml`, включая web/celery release. Следовать актуальному root `DEPLOYMENT.md` и `deploy/ecos-dev/README.md`, а не его историческим privileged SSH процедурам. Проверить точные commit/digests, CI и соответствие web/celery, migrations через штатный release wrapper. -1. Только Mostovik backend; все пять новых schedules оставлять disabled. +1. Только Mostovik backend; миграция 0048 включает ровно пять новых schedules. + Предыдущие seed migrations сохраняются неизменными; reverse 0048 выключает + эти пять schedules, не удаляя их и не меняя остальные. До записи проверить текущий private storage и свободное место: raw ФССП уже 4.7 GB, staging/manifest/exports требуют дополнительного измеренного запаса. Проверить worker limits и однозначность canonical directory. Сделать @@ -114,10 +120,18 @@ CI и соответствие web/celery, migrations через штатный доступность MOEX durations HTML из worker и единицу effectiveyield официальным field-specific источником. Затем один полный combined refresh, отдельные counters входов, единый publish/list/detail/export. Не обходить TLS/WAF. -5. Только после этой приёмки источники можно объявлять ready; включение schedules - отдельно. Frontend изменения, StateCorp, main и Telegram sends вне этапа. +5. Только после этой приёмки источники можно объявлять ready. Расписания включены + отдельным указанием пользователя; ошибка коллектора сохраняет старый snapshot. Frontend изменения, StateCorp, main и Telegram sends вне этапа. Header-only CSV с подтверждёнными headers трактуется как пустой по согласованному плану. Независимого publisher row count нет: semantic truncation до одних headers не доказуем существующим каналом и может очистить записи при формально полном пустом snapshot. Это сохраняемый предел проверки, не установленный live факт. + +## Проверка изменения расписаний + +Forward migration 0048 проверена на полной PostgreSQL migration graph: пять +задач enabled=true, интервалы 1/30 days сохранены. Тест покрывает повторный запуск, +обратное выключение и сохранение unrelated schedule. Старые seed migrations +проверяются отдельно для своих задач; они по-прежнему создают disabled templates. +Реальный rollout и job outcomes фиксируются отдельно от локальной проверки. diff --git a/docs/sources/checko-sections.md b/docs/sources/checko-sections.md index 3b9d59f..cf88ad7 100644 --- a/docs/sources/checko-sections.md +++ b/docs/sources/checko-sections.md @@ -20,7 +20,7 @@ HTTPS GET https://api.checko.ru/v2/company или /fedresurs через суще ## Fixtures и готовность -Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Schedules disabled. +Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Миграция 0048 включает три schedules каждые 30 дней по явному указанию пользователя; месячные claims сохраняются. Публичный тариф: первые 100 запросов за день бесплатны, далее Standard 0.15 RUB / Maximum 0.10 RUB за HTTP 200. Конкретный тариф/остаток аккаунта не установлен; это не разрешение расходовать квоту. Для фактической пробы подготовить canonical scope и максимальное число страниц/calls, получить отдельное разрешение. diff --git a/docs/sources/exchanges.md b/docs/sources/exchanges.md index fa58502..3d4e669 100644 --- a/docs/sources/exchanges.md +++ b/docs/sources/exchanges.md @@ -55,7 +55,7 @@ HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB, Fixtures синтетические, получены по проверенным columns: не доказательство доступности live runtime или наличия эмитентов в canonical dev population. -Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ +Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ ещё не выполнены; источник не объявлен ready. ## Реализация и фактические проверки @@ -65,7 +65,7 @@ NDJSON всех ответов (исходный текст/URL/params/SHA). Man checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018; -суточный template schedule disabled, включение не разрешено этой реализацией. +суточный template schedule включается миграцией 0048 по указанию пользователя. Одна карточка `stock-exchange-activity`, admin refresh/run, `parsers.stock_exchange_activity.refresh`, 8h timeout, worker/admission guard. @@ -97,7 +97,7 @@ CSV/XLSX/JSON exports через штатные generations/tickets сохран изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope. Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ -не выполнены. Нет push/deploy и changes в frontend/StateCorp/root/env. +не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются. Финальное ревью и итоговые проверки — в [передаче реализации](2026-10-05-implementation-handoff.md). Если ISS возвращает cursor, обход завершён после валидированной страницы, diff --git a/docs/sources/fssp.md b/docs/sources/fssp.md index 9a0cb70..2bfbf4a 100644 --- a/docs/sources/fssp.md +++ b/docs/sources/fssp.md @@ -31,7 +31,7 @@ Identity: Debtor TIN + номер ИП, UUID5 существующего publish Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются. -Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Новое расписание disabled. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой. +Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Миграция 0048 включает суточное расписание по явному указанию пользователя от 05.10.2026. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой. ## Проверка полных файлов 5 октября 2026 @@ -55,7 +55,7 @@ Checksums: Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API. -Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule disabled. Нельзя включать расписание до согласованного полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений. +Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule включается миграцией 0048 по явному указанию пользователя. Readiness требует полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений. Итоговые проверки после независимого ревью — в [передаче реализации](2026-10-05-implementation-handoff.md). Экспорт текущего snapshot теперь включает ИП прежних и будущих лет начала, как diff --git a/src/apps/parsers/migrations/0048_enable_requested_source_schedules.py b/src/apps/parsers/migrations/0048_enable_requested_source_schedules.py new file mode 100644 index 0000000..f5f2730 --- /dev/null +++ b/src/apps/parsers/migrations/0048_enable_requested_source_schedules.py @@ -0,0 +1,35 @@ +"""Activate the five source schedules explicitly requested by the owner.""" + +from django.db import migrations + +SCHEDULE_NAMES = ( + "parser:fssp-enforcement-proceedings:daily", + "parser:stock-exchange-activity:daily", + "parser:checko-leasing:monthly", + "parser:checko-messages:monthly", + "parser:checko-licenses:monthly", +) + + +def enable_schedules(apps, schema_editor): + tasks = apps.get_model("django_celery_beat", "PeriodicTask") + for name in SCHEDULE_NAMES: + task = tasks.objects.get(name=name) + task.enabled = True + task.description = ( + "Enabled by explicit owner request on 2026-10-05. " + "Runtime failures preserve previous data; readiness requires a successful run." + ) + task.save(update_fields=["enabled", "description"]) + + +def disable_schedules(apps, schema_editor): + tasks = apps.get_model("django_celery_beat", "PeriodicTask") + for task in tasks.objects.filter(name__in=SCHEDULE_NAMES): + task.enabled = False + task.save(update_fields=["enabled"]) + + +class Migration(migrations.Migration): + dependencies = [("parsers", "0047_exchange_disabled_schedule")] + operations = [migrations.RunPython(enable_schedules, disable_schedules)] diff --git a/tests/apps/organizations/test_exchange_contract.py b/tests/apps/organizations/test_exchange_contract.py index e4768ad..1adf5ee 100644 --- a/tests/apps/organizations/test_exchange_contract.py +++ b/tests/apps/organizations/test_exchange_contract.py @@ -280,15 +280,20 @@ def test_new_schedule_seed_always_disabled(module_name): from django_celery_beat.models import PeriodicTask module = importlib.import_module(module_name) - module.seed(apps, None) - tasks = PeriodicTask.objects.filter( - task__in=[ - "parsers.fssp_enforcement_proceedings.refresh", + seeded_tasks = { + "apps.parsers.migrations.0043_fssp_disabled_schedule": [ + "parsers.fssp_enforcement_proceedings.refresh" + ], + "apps.parsers.migrations.0045_checko_disabled_schedules": [ "parsers.checko_leasing.refresh", "parsers.checko_messages.refresh", "parsers.checko_licenses.refresh", - "parsers.stock_exchange_activity.refresh", - ] - ) + ], + "apps.parsers.migrations.0047_exchange_disabled_schedule": [ + "parsers.stock_exchange_activity.refresh" + ], + } + module.seed(apps, None) + tasks = PeriodicTask.objects.filter(task__in=seeded_tasks[module_name]) assert tasks.exists() assert not tasks.filter(enabled=True).exists() diff --git a/tests/apps/parsers/test_parser_schedules.py b/tests/apps/parsers/test_parser_schedules.py index 2f23ee5..9899efa 100644 --- a/tests/apps/parsers/test_parser_schedules.py +++ b/tests/apps/parsers/test_parser_schedules.py @@ -10,6 +10,17 @@ schedule_migration = importlib.import_module( class DefaultParserScheduleTest(TestCase): + def setUp(self): + # Historical seed migrations may already have installed these fixtures. + PeriodicTask.objects.filter( + name__in=[ + "parser:inspections:weekly-saturday-msk", + "parse-inspections-weekly", + "parser:sync_inspections:weekly-saturday-msk", + "parser:fns_financial:weekly-saturday-msk", + ] + ).delete() + def test_inspections_have_one_canonical_sync_schedule(self): crontab = CrontabSchedule.objects.create( minute="0", @@ -102,3 +113,51 @@ class DefaultParserScheduleTest(TestCase): self.assertTrue(task.enabled) self.assertIsNotNone(task.crontab_id) self.assertIsNone(task.interval_id) + + +class RequestedSourceScheduleTest(TestCase): + def test_forward_migration_enables_exact_five_sources_idempotently(self): + for name in ( + "0043_fssp_disabled_schedule", + "0045_checko_disabled_schedules", + "0047_exchange_disabled_schedule", + ): + importlib.import_module(f"apps.parsers.migrations.{name}").seed(apps, None) + other = PeriodicTask.objects.create( + name="unrelated-disabled-schedule", + task="synthetic.unrelated", + interval=IntervalSchedule.objects.first(), + enabled=False, + ) + migration = importlib.import_module( + "apps.parsers.migrations.0048_enable_requested_source_schedules" + ) + migration.enable_schedules(apps, None) + migration.enable_schedules(apps, None) + expected = { + "parser:fssp-enforcement-proceedings:daily": ( + "parsers.fssp_enforcement_proceedings.refresh", + 1, + ), + "parser:stock-exchange-activity:daily": ( + "parsers.stock_exchange_activity.refresh", + 1, + ), + "parser:checko-leasing:monthly": ("parsers.checko_leasing.refresh", 30), + "parser:checko-messages:monthly": ("parsers.checko_messages.refresh", 30), + "parser:checko-licenses:monthly": ("parsers.checko_licenses.refresh", 30), + } + tasks = list( + PeriodicTask.objects.filter(name__in=expected).select_related("interval") + ) + assert len(tasks) == 5 + for task in tasks: + assert task.enabled + assert (task.task, task.interval.every) == expected[task.name] + assert task.interval.period == "days" + assert task.args == "[]" and task.kwargs == "{}" + other.refresh_from_db() + assert not other.enabled + migration.disable_schedules(apps, None) + assert not PeriodicTask.objects.filter(name__in=expected, enabled=True).exists() + assert PeriodicTask.objects.filter(name__in=expected).count() == 5