feat: enable requested source collection schedules
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
This commit is contained in:
@@ -87,3 +87,14 @@ Ordered ledger decisions and their costs; runtime gates remain pending.
|
||||
- Final: Ruling: keep existing dev checkout as explicitly chosen by user; adapt finishing-branch menu rather than merge dev into itself or create unrequested PR — no push/deploy implied — cost if wrong: integration awaits explicit external authorization.
|
||||
|
||||
Deferred minors: none. All three Important reviewer findings were fixed with watched RED→GREEN regressions.
|
||||
|
||||
## Subsequent explicit owner instruction
|
||||
|
||||
On 2026-10-05 the user requested all five schedules enabled and backend/dev pushed.
|
||||
This supersedes the earlier disabled/deploy-deferred rulings, while live data
|
||||
readiness remains separate from enablement.
|
||||
|
||||
- Ruling: add forward migration 0048 rather than rewrite old seeds — supports
|
||||
already-applied and fresh databases — cost if wrong: 0048 must apply to activate.
|
||||
- Ruling: retain daily FSSP/exchange and 30-day Checko intervals/monthly claims —
|
||||
minimal requested change — cost if wrong: 30-day cadence is not a calendar month.
|
||||
|
||||
@@ -1,7 +1,9 @@
|
||||
# Передача пяти источников, 5 октября 2026
|
||||
|
||||
Локальная реализация в `mostovik-backend/dev` завершена. Реальное наполнение dev
|
||||
и включение расписаний не выполнены. Frontend обновлён из Git ранее в этой работе,
|
||||
Локальная реализация в `mostovik-backend/dev` завершена. Пользователь 05.10.2026
|
||||
явно разрешил push и включение всех пяти расписаний. Forward migration 0048
|
||||
включает существующие интервалы: ФССП/биржи ежедневно, Checko каждые 30 дней.
|
||||
Включённое расписание не доказывает успешное наполнение dev. Frontend обновлён из Git ранее в этой работе,
|
||||
его код не менялся. StateCorp, root repo, env и submodule pointers не коммитились.
|
||||
|
||||
| Источник | Карточка | source_group | record_type |
|
||||
@@ -86,13 +88,17 @@ primary-board trading. MOEX probe использовал дату из ране
|
||||
|
||||
## Конкретный следующий этап: dev acceptance
|
||||
|
||||
Этот этап подготовлен, **не выполнен и не разрешён текущей локальной разработкой**.
|
||||
Push/dev deployment и включение пяти расписаний теперь явно разрешены пользователем.
|
||||
Ниже остаются критерии фактической data readiness; ручная платная ограниченная
|
||||
проба и расширение TLS trust не выполнялись.
|
||||
Push `dev` запускает CI/CD из `.gitea/workflows/ci-cd.yml`, включая web/celery release.
|
||||
Следовать актуальному root `DEPLOYMENT.md` и `deploy/ecos-dev/README.md`,
|
||||
а не его историческим privileged SSH процедурам. Проверить точные commit/digests,
|
||||
CI и соответствие web/celery, migrations через штатный release wrapper.
|
||||
|
||||
1. Только Mostovik backend; все пять новых schedules оставлять disabled.
|
||||
1. Только Mostovik backend; миграция 0048 включает ровно пять новых schedules.
|
||||
Предыдущие seed migrations сохраняются неизменными; reverse 0048 выключает
|
||||
эти пять schedules, не удаляя их и не меняя остальные.
|
||||
До записи проверить текущий private storage и свободное место: raw ФССП уже
|
||||
4.7 GB, staging/manifest/exports требуют дополнительного измеренного запаса.
|
||||
Проверить worker limits и однозначность canonical directory. Сделать
|
||||
@@ -114,10 +120,18 @@ CI и соответствие web/celery, migrations через штатный
|
||||
доступность MOEX durations HTML из worker и единицу effectiveyield официальным
|
||||
field-specific источником. Затем один полный combined refresh, отдельные
|
||||
counters входов, единый publish/list/detail/export. Не обходить TLS/WAF.
|
||||
5. Только после этой приёмки источники можно объявлять ready; включение schedules
|
||||
отдельно. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
|
||||
5. Только после этой приёмки источники можно объявлять ready. Расписания включены
|
||||
отдельным указанием пользователя; ошибка коллектора сохраняет старый snapshot. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
|
||||
|
||||
Header-only CSV с подтверждёнными headers трактуется как пустой по согласованному
|
||||
плану. Независимого publisher row count нет: semantic truncation до одних headers
|
||||
не доказуем существующим каналом и может очистить записи при формально полном
|
||||
пустом snapshot. Это сохраняемый предел проверки, не установленный live факт.
|
||||
|
||||
## Проверка изменения расписаний
|
||||
|
||||
Forward migration 0048 проверена на полной PostgreSQL migration graph: пять
|
||||
задач enabled=true, интервалы 1/30 days сохранены. Тест покрывает повторный запуск,
|
||||
обратное выключение и сохранение unrelated schedule. Старые seed migrations
|
||||
проверяются отдельно для своих задач; они по-прежнему создают disabled templates.
|
||||
Реальный rollout и job outcomes фиксируются отдельно от локальной проверки.
|
||||
|
||||
@@ -20,7 +20,7 @@ HTTPS GET https://api.checko.ru/v2/company или /fedresurs через суще
|
||||
|
||||
## Fixtures и готовность
|
||||
|
||||
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Schedules disabled.
|
||||
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Миграция 0048 включает три schedules каждые 30 дней по явному указанию пользователя; месячные claims сохраняются.
|
||||
|
||||
Публичный тариф: первые 100 запросов за день бесплатны, далее Standard 0.15 RUB / Maximum 0.10 RUB за HTTP 200. Конкретный тариф/остаток аккаунта не установлен; это не разрешение расходовать квоту. Для фактической пробы подготовить canonical scope и максимальное число страниц/calls, получить отдельное разрешение.
|
||||
|
||||
|
||||
@@ -55,7 +55,7 @@ HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
|
||||
|
||||
Fixtures синтетические, получены по проверенным columns: не доказательство
|
||||
доступности live runtime или наличия эмитентов в canonical dev population.
|
||||
Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ
|
||||
Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ
|
||||
ещё не выполнены; источник не объявлен ready.
|
||||
|
||||
## Реализация и фактические проверки
|
||||
@@ -65,7 +65,7 @@ NDJSON всех ответов (исходный текст/URL/params/SHA). Man
|
||||
checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное
|
||||
publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного
|
||||
входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018;
|
||||
суточный template schedule disabled, включение не разрешено этой реализацией.
|
||||
суточный template schedule включается миграцией 0048 по указанию пользователя.
|
||||
|
||||
Одна карточка `stock-exchange-activity`, admin refresh/run,
|
||||
`parsers.stock_exchange_activity.refresh`, 8h timeout, worker/admission guard.
|
||||
@@ -97,7 +97,7 @@ CSV/XLSX/JSON exports через штатные generations/tickets сохран
|
||||
изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope.
|
||||
|
||||
Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ
|
||||
не выполнены. Нет push/deploy и changes в frontend/StateCorp/root/env.
|
||||
не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются.
|
||||
|
||||
Финальное ревью и итоговые проверки — в [передаче реализации](2026-10-05-implementation-handoff.md).
|
||||
Если ISS возвращает cursor, обход завершён после валидированной страницы,
|
||||
|
||||
@@ -31,7 +31,7 @@ Identity: Debtor TIN + номер ИП, UUID5 существующего publish
|
||||
|
||||
Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются.
|
||||
|
||||
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Новое расписание disabled. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
|
||||
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Миграция 0048 включает суточное расписание по явному указанию пользователя от 05.10.2026. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
|
||||
|
||||
|
||||
## Проверка полных файлов 5 октября 2026
|
||||
@@ -55,7 +55,7 @@ Checksums:
|
||||
|
||||
Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API.
|
||||
|
||||
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule disabled. Нельзя включать расписание до согласованного полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
|
||||
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule включается миграцией 0048 по явному указанию пользователя. Readiness требует полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
|
||||
|
||||
Итоговые проверки после независимого ревью — в [передаче реализации](2026-10-05-implementation-handoff.md).
|
||||
Экспорт текущего snapshot теперь включает ИП прежних и будущих лет начала, как
|
||||
|
||||
@@ -0,0 +1,35 @@
|
||||
"""Activate the five source schedules explicitly requested by the owner."""
|
||||
|
||||
from django.db import migrations
|
||||
|
||||
SCHEDULE_NAMES = (
|
||||
"parser:fssp-enforcement-proceedings:daily",
|
||||
"parser:stock-exchange-activity:daily",
|
||||
"parser:checko-leasing:monthly",
|
||||
"parser:checko-messages:monthly",
|
||||
"parser:checko-licenses:monthly",
|
||||
)
|
||||
|
||||
|
||||
def enable_schedules(apps, schema_editor):
|
||||
tasks = apps.get_model("django_celery_beat", "PeriodicTask")
|
||||
for name in SCHEDULE_NAMES:
|
||||
task = tasks.objects.get(name=name)
|
||||
task.enabled = True
|
||||
task.description = (
|
||||
"Enabled by explicit owner request on 2026-10-05. "
|
||||
"Runtime failures preserve previous data; readiness requires a successful run."
|
||||
)
|
||||
task.save(update_fields=["enabled", "description"])
|
||||
|
||||
|
||||
def disable_schedules(apps, schema_editor):
|
||||
tasks = apps.get_model("django_celery_beat", "PeriodicTask")
|
||||
for task in tasks.objects.filter(name__in=SCHEDULE_NAMES):
|
||||
task.enabled = False
|
||||
task.save(update_fields=["enabled"])
|
||||
|
||||
|
||||
class Migration(migrations.Migration):
|
||||
dependencies = [("parsers", "0047_exchange_disabled_schedule")]
|
||||
operations = [migrations.RunPython(enable_schedules, disable_schedules)]
|
||||
@@ -280,15 +280,20 @@ def test_new_schedule_seed_always_disabled(module_name):
|
||||
from django_celery_beat.models import PeriodicTask
|
||||
|
||||
module = importlib.import_module(module_name)
|
||||
module.seed(apps, None)
|
||||
tasks = PeriodicTask.objects.filter(
|
||||
task__in=[
|
||||
"parsers.fssp_enforcement_proceedings.refresh",
|
||||
seeded_tasks = {
|
||||
"apps.parsers.migrations.0043_fssp_disabled_schedule": [
|
||||
"parsers.fssp_enforcement_proceedings.refresh"
|
||||
],
|
||||
"apps.parsers.migrations.0045_checko_disabled_schedules": [
|
||||
"parsers.checko_leasing.refresh",
|
||||
"parsers.checko_messages.refresh",
|
||||
"parsers.checko_licenses.refresh",
|
||||
"parsers.stock_exchange_activity.refresh",
|
||||
]
|
||||
)
|
||||
],
|
||||
"apps.parsers.migrations.0047_exchange_disabled_schedule": [
|
||||
"parsers.stock_exchange_activity.refresh"
|
||||
],
|
||||
}
|
||||
module.seed(apps, None)
|
||||
tasks = PeriodicTask.objects.filter(task__in=seeded_tasks[module_name])
|
||||
assert tasks.exists()
|
||||
assert not tasks.filter(enabled=True).exists()
|
||||
|
||||
@@ -10,6 +10,17 @@ schedule_migration = importlib.import_module(
|
||||
|
||||
|
||||
class DefaultParserScheduleTest(TestCase):
|
||||
def setUp(self):
|
||||
# Historical seed migrations may already have installed these fixtures.
|
||||
PeriodicTask.objects.filter(
|
||||
name__in=[
|
||||
"parser:inspections:weekly-saturday-msk",
|
||||
"parse-inspections-weekly",
|
||||
"parser:sync_inspections:weekly-saturday-msk",
|
||||
"parser:fns_financial:weekly-saturday-msk",
|
||||
]
|
||||
).delete()
|
||||
|
||||
def test_inspections_have_one_canonical_sync_schedule(self):
|
||||
crontab = CrontabSchedule.objects.create(
|
||||
minute="0",
|
||||
@@ -102,3 +113,51 @@ class DefaultParserScheduleTest(TestCase):
|
||||
self.assertTrue(task.enabled)
|
||||
self.assertIsNotNone(task.crontab_id)
|
||||
self.assertIsNone(task.interval_id)
|
||||
|
||||
|
||||
class RequestedSourceScheduleTest(TestCase):
|
||||
def test_forward_migration_enables_exact_five_sources_idempotently(self):
|
||||
for name in (
|
||||
"0043_fssp_disabled_schedule",
|
||||
"0045_checko_disabled_schedules",
|
||||
"0047_exchange_disabled_schedule",
|
||||
):
|
||||
importlib.import_module(f"apps.parsers.migrations.{name}").seed(apps, None)
|
||||
other = PeriodicTask.objects.create(
|
||||
name="unrelated-disabled-schedule",
|
||||
task="synthetic.unrelated",
|
||||
interval=IntervalSchedule.objects.first(),
|
||||
enabled=False,
|
||||
)
|
||||
migration = importlib.import_module(
|
||||
"apps.parsers.migrations.0048_enable_requested_source_schedules"
|
||||
)
|
||||
migration.enable_schedules(apps, None)
|
||||
migration.enable_schedules(apps, None)
|
||||
expected = {
|
||||
"parser:fssp-enforcement-proceedings:daily": (
|
||||
"parsers.fssp_enforcement_proceedings.refresh",
|
||||
1,
|
||||
),
|
||||
"parser:stock-exchange-activity:daily": (
|
||||
"parsers.stock_exchange_activity.refresh",
|
||||
1,
|
||||
),
|
||||
"parser:checko-leasing:monthly": ("parsers.checko_leasing.refresh", 30),
|
||||
"parser:checko-messages:monthly": ("parsers.checko_messages.refresh", 30),
|
||||
"parser:checko-licenses:monthly": ("parsers.checko_licenses.refresh", 30),
|
||||
}
|
||||
tasks = list(
|
||||
PeriodicTask.objects.filter(name__in=expected).select_related("interval")
|
||||
)
|
||||
assert len(tasks) == 5
|
||||
for task in tasks:
|
||||
assert task.enabled
|
||||
assert (task.task, task.interval.every) == expected[task.name]
|
||||
assert task.interval.period == "days"
|
||||
assert task.args == "[]" and task.kwargs == "{}"
|
||||
other.refresh_from_db()
|
||||
assert not other.enabled
|
||||
migration.disable_schedules(apps, None)
|
||||
assert not PeriodicTask.objects.filter(name__in=expected, enabled=True).exists()
|
||||
assert PeriodicTask.objects.filter(name__in=expected).count() == 5
|
||||
|
||||
Reference in New Issue
Block a user