feat: enable requested source collection schedules
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped

This commit is contained in:
Aleksandr Meshchryakov
2026-10-05 18:31:13 +02:00
parent 24616d160f
commit af02d1ce8a
8 changed files with 143 additions and 19 deletions

View File

@@ -87,3 +87,14 @@ Ordered ledger decisions and their costs; runtime gates remain pending.
- Final: Ruling: keep existing dev checkout as explicitly chosen by user; adapt finishing-branch menu rather than merge dev into itself or create unrequested PR — no push/deploy implied — cost if wrong: integration awaits explicit external authorization.
Deferred minors: none. All three Important reviewer findings were fixed with watched RED→GREEN regressions.
## Subsequent explicit owner instruction
On 2026-10-05 the user requested all five schedules enabled and backend/dev pushed.
This supersedes the earlier disabled/deploy-deferred rulings, while live data
readiness remains separate from enablement.
- Ruling: add forward migration 0048 rather than rewrite old seeds — supports
already-applied and fresh databases — cost if wrong: 0048 must apply to activate.
- Ruling: retain daily FSSP/exchange and 30-day Checko intervals/monthly claims —
minimal requested change — cost if wrong: 30-day cadence is not a calendar month.

View File

@@ -1,7 +1,9 @@
# Передача пяти источников, 5 октября 2026
Локальная реализация в `mostovik-backend/dev` завершена. Реальное наполнение dev
и включение расписаний не выполнены. Frontend обновлён из Git ранее в этой работе,
Локальная реализация в `mostovik-backend/dev` завершена. Пользователь 05.10.2026
явно разрешил push и включение всех пяти расписаний. Forward migration 0048
включает существующие интервалы: ФССП/биржи ежедневно, Checko каждые 30 дней.
Включённое расписание не доказывает успешное наполнение dev. Frontend обновлён из Git ранее в этой работе,
его код не менялся. StateCorp, root repo, env и submodule pointers не коммитились.
| Источник | Карточка | source_group | record_type |
@@ -86,13 +88,17 @@ primary-board trading. MOEX probe использовал дату из ране
## Конкретный следующий этап: dev acceptance
Этот этап подготовлен, **не выполнен и не разрешён текущей локальной разработкой**.
Push/dev deployment и включение пяти расписаний теперь явно разрешены пользователем.
Ниже остаются критерии фактической data readiness; ручная платная ограниченная
проба и расширение TLS trust не выполнялись.
Push `dev` запускает CI/CD из `.gitea/workflows/ci-cd.yml`, включая web/celery release.
Следовать актуальному root `DEPLOYMENT.md` и `deploy/ecos-dev/README.md`,
а не его историческим privileged SSH процедурам. Проверить точные commit/digests,
CI и соответствие web/celery, migrations через штатный release wrapper.
1. Только Mostovik backend; все пять новых schedules оставлять disabled.
1. Только Mostovik backend; миграция 0048 включает ровно пять новых schedules.
Предыдущие seed migrations сохраняются неизменными; reverse 0048 выключает
эти пять schedules, не удаляя их и не меняя остальные.
До записи проверить текущий private storage и свободное место: raw ФССП уже
4.7 GB, staging/manifest/exports требуют дополнительного измеренного запаса.
Проверить worker limits и однозначность canonical directory. Сделать
@@ -114,10 +120,18 @@ CI и соответствие web/celery, migrations через штатный
доступность MOEX durations HTML из worker и единицу effectiveyield официальным
field-specific источником. Затем один полный combined refresh, отдельные
counters входов, единый publish/list/detail/export. Не обходить TLS/WAF.
5. Только после этой приёмки источники можно объявлять ready; включение schedules
отдельно. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
5. Только после этой приёмки источники можно объявлять ready. Расписания включены
отдельным указанием пользователя; ошибка коллектора сохраняет старый snapshot. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
Header-only CSV с подтверждёнными headers трактуется как пустой по согласованному
плану. Независимого publisher row count нет: semantic truncation до одних headers
не доказуем существующим каналом и может очистить записи при формально полном
пустом snapshot. Это сохраняемый предел проверки, не установленный live факт.
## Проверка изменения расписаний
Forward migration 0048 проверена на полной PostgreSQL migration graph: пять
задач enabled=true, интервалы 1/30 days сохранены. Тест покрывает повторный запуск,
обратное выключение и сохранение unrelated schedule. Старые seed migrations
проверяются отдельно для своих задач; они по-прежнему создают disabled templates.
Реальный rollout и job outcomes фиксируются отдельно от локальной проверки.

View File

@@ -20,7 +20,7 @@ HTTPS GET https://api.checko.ru/v2/company или /fedresurs через суще
## Fixtures и готовность
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Schedules disabled.
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Миграция 0048 включает три schedules каждые 30 дней по явному указанию пользователя; месячные claims сохраняются.
Публичный тариф: первые 100 запросов за день бесплатны, далее Standard 0.15 RUB / Maximum 0.10 RUB за HTTP 200. Конкретный тариф/остаток аккаунта не установлен; это не разрешение расходовать квоту. Для фактической пробы подготовить canonical scope и максимальное число страниц/calls, получить отдельное разрешение.

View File

@@ -55,7 +55,7 @@ HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
Fixtures синтетические, получены по проверенным columns: не доказательство
доступности live runtime или наличия эмитентов в canonical dev population.
Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ
Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ
ещё не выполнены; источник не объявлен ready.
## Реализация и фактические проверки
@@ -65,7 +65,7 @@ NDJSON всех ответов (исходный текст/URL/params/SHA). Man
checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное
publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного
входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018;
суточный template schedule disabled, включение не разрешено этой реализацией.
суточный template schedule включается миграцией 0048 по указанию пользователя.
Одна карточка `stock-exchange-activity`, admin refresh/run,
`parsers.stock_exchange_activity.refresh`, 8h timeout, worker/admission guard.
@@ -97,7 +97,7 @@ CSV/XLSX/JSON exports через штатные generations/tickets сохран
изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope.
Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ
не выполнены. Нет push/deploy и changes в frontend/StateCorp/root/env.
не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются.
Финальное ревью и итоговые проверки — в [передаче реализации](2026-10-05-implementation-handoff.md).
Если ISS возвращает cursor, обход завершён после валидированной страницы,

View File

@@ -31,7 +31,7 @@ Identity: Debtor TIN + номер ИП, UUID5 существующего publish
Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются.
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Новое расписание disabled. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Миграция 0048 включает суточное расписание по явному указанию пользователя от 05.10.2026. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
## Проверка полных файлов 5 октября 2026
@@ -55,7 +55,7 @@ Checksums:
Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API.
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule disabled. Нельзя включать расписание до согласованного полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule включается миграцией 0048 по явному указанию пользователя. Readiness требует полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
Итоговые проверки после независимого ревью — в [передаче реализации](2026-10-05-implementation-handoff.md).
Экспорт текущего snapshot теперь включает ИП прежних и будущих лет начала, как

View File

@@ -0,0 +1,35 @@
"""Activate the five source schedules explicitly requested by the owner."""
from django.db import migrations
SCHEDULE_NAMES = (
"parser:fssp-enforcement-proceedings:daily",
"parser:stock-exchange-activity:daily",
"parser:checko-leasing:monthly",
"parser:checko-messages:monthly",
"parser:checko-licenses:monthly",
)
def enable_schedules(apps, schema_editor):
tasks = apps.get_model("django_celery_beat", "PeriodicTask")
for name in SCHEDULE_NAMES:
task = tasks.objects.get(name=name)
task.enabled = True
task.description = (
"Enabled by explicit owner request on 2026-10-05. "
"Runtime failures preserve previous data; readiness requires a successful run."
)
task.save(update_fields=["enabled", "description"])
def disable_schedules(apps, schema_editor):
tasks = apps.get_model("django_celery_beat", "PeriodicTask")
for task in tasks.objects.filter(name__in=SCHEDULE_NAMES):
task.enabled = False
task.save(update_fields=["enabled"])
class Migration(migrations.Migration):
dependencies = [("parsers", "0047_exchange_disabled_schedule")]
operations = [migrations.RunPython(enable_schedules, disable_schedules)]

View File

@@ -280,15 +280,20 @@ def test_new_schedule_seed_always_disabled(module_name):
from django_celery_beat.models import PeriodicTask
module = importlib.import_module(module_name)
module.seed(apps, None)
tasks = PeriodicTask.objects.filter(
task__in=[
"parsers.fssp_enforcement_proceedings.refresh",
seeded_tasks = {
"apps.parsers.migrations.0043_fssp_disabled_schedule": [
"parsers.fssp_enforcement_proceedings.refresh"
],
"apps.parsers.migrations.0045_checko_disabled_schedules": [
"parsers.checko_leasing.refresh",
"parsers.checko_messages.refresh",
"parsers.checko_licenses.refresh",
"parsers.stock_exchange_activity.refresh",
]
)
],
"apps.parsers.migrations.0047_exchange_disabled_schedule": [
"parsers.stock_exchange_activity.refresh"
],
}
module.seed(apps, None)
tasks = PeriodicTask.objects.filter(task__in=seeded_tasks[module_name])
assert tasks.exists()
assert not tasks.filter(enabled=True).exists()

View File

@@ -10,6 +10,17 @@ schedule_migration = importlib.import_module(
class DefaultParserScheduleTest(TestCase):
def setUp(self):
# Historical seed migrations may already have installed these fixtures.
PeriodicTask.objects.filter(
name__in=[
"parser:inspections:weekly-saturday-msk",
"parse-inspections-weekly",
"parser:sync_inspections:weekly-saturday-msk",
"parser:fns_financial:weekly-saturday-msk",
]
).delete()
def test_inspections_have_one_canonical_sync_schedule(self):
crontab = CrontabSchedule.objects.create(
minute="0",
@@ -102,3 +113,51 @@ class DefaultParserScheduleTest(TestCase):
self.assertTrue(task.enabled)
self.assertIsNotNone(task.crontab_id)
self.assertIsNone(task.interval_id)
class RequestedSourceScheduleTest(TestCase):
def test_forward_migration_enables_exact_five_sources_idempotently(self):
for name in (
"0043_fssp_disabled_schedule",
"0045_checko_disabled_schedules",
"0047_exchange_disabled_schedule",
):
importlib.import_module(f"apps.parsers.migrations.{name}").seed(apps, None)
other = PeriodicTask.objects.create(
name="unrelated-disabled-schedule",
task="synthetic.unrelated",
interval=IntervalSchedule.objects.first(),
enabled=False,
)
migration = importlib.import_module(
"apps.parsers.migrations.0048_enable_requested_source_schedules"
)
migration.enable_schedules(apps, None)
migration.enable_schedules(apps, None)
expected = {
"parser:fssp-enforcement-proceedings:daily": (
"parsers.fssp_enforcement_proceedings.refresh",
1,
),
"parser:stock-exchange-activity:daily": (
"parsers.stock_exchange_activity.refresh",
1,
),
"parser:checko-leasing:monthly": ("parsers.checko_leasing.refresh", 30),
"parser:checko-messages:monthly": ("parsers.checko_messages.refresh", 30),
"parser:checko-licenses:monthly": ("parsers.checko_licenses.refresh", 30),
}
tasks = list(
PeriodicTask.objects.filter(name__in=expected).select_related("interval")
)
assert len(tasks) == 5
for task in tasks:
assert task.enabled
assert (task.task, task.interval.every) == expected[task.name]
assert task.interval.period == "days"
assert task.args == "[]" and task.kwargs == "{}"
other.refresh_from_db()
assert not other.enabled
migration.disable_schedules(apps, None)
assert not PeriodicTask.objects.filter(name__in=expected, enabled=True).exists()
assert PeriodicTask.objects.filter(name__in=expected).count() == 5