feat: enable requested source collection schedules
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
This commit is contained in:
@@ -87,3 +87,14 @@ Ordered ledger decisions and their costs; runtime gates remain pending.
|
||||
- Final: Ruling: keep existing dev checkout as explicitly chosen by user; adapt finishing-branch menu rather than merge dev into itself or create unrequested PR — no push/deploy implied — cost if wrong: integration awaits explicit external authorization.
|
||||
|
||||
Deferred minors: none. All three Important reviewer findings were fixed with watched RED→GREEN regressions.
|
||||
|
||||
## Subsequent explicit owner instruction
|
||||
|
||||
On 2026-10-05 the user requested all five schedules enabled and backend/dev pushed.
|
||||
This supersedes the earlier disabled/deploy-deferred rulings, while live data
|
||||
readiness remains separate from enablement.
|
||||
|
||||
- Ruling: add forward migration 0048 rather than rewrite old seeds — supports
|
||||
already-applied and fresh databases — cost if wrong: 0048 must apply to activate.
|
||||
- Ruling: retain daily FSSP/exchange and 30-day Checko intervals/monthly claims —
|
||||
minimal requested change — cost if wrong: 30-day cadence is not a calendar month.
|
||||
|
||||
@@ -1,7 +1,9 @@
|
||||
# Передача пяти источников, 5 октября 2026
|
||||
|
||||
Локальная реализация в `mostovik-backend/dev` завершена. Реальное наполнение dev
|
||||
и включение расписаний не выполнены. Frontend обновлён из Git ранее в этой работе,
|
||||
Локальная реализация в `mostovik-backend/dev` завершена. Пользователь 05.10.2026
|
||||
явно разрешил push и включение всех пяти расписаний. Forward migration 0048
|
||||
включает существующие интервалы: ФССП/биржи ежедневно, Checko каждые 30 дней.
|
||||
Включённое расписание не доказывает успешное наполнение dev. Frontend обновлён из Git ранее в этой работе,
|
||||
его код не менялся. StateCorp, root repo, env и submodule pointers не коммитились.
|
||||
|
||||
| Источник | Карточка | source_group | record_type |
|
||||
@@ -86,13 +88,17 @@ primary-board trading. MOEX probe использовал дату из ране
|
||||
|
||||
## Конкретный следующий этап: dev acceptance
|
||||
|
||||
Этот этап подготовлен, **не выполнен и не разрешён текущей локальной разработкой**.
|
||||
Push/dev deployment и включение пяти расписаний теперь явно разрешены пользователем.
|
||||
Ниже остаются критерии фактической data readiness; ручная платная ограниченная
|
||||
проба и расширение TLS trust не выполнялись.
|
||||
Push `dev` запускает CI/CD из `.gitea/workflows/ci-cd.yml`, включая web/celery release.
|
||||
Следовать актуальному root `DEPLOYMENT.md` и `deploy/ecos-dev/README.md`,
|
||||
а не его историческим privileged SSH процедурам. Проверить точные commit/digests,
|
||||
CI и соответствие web/celery, migrations через штатный release wrapper.
|
||||
|
||||
1. Только Mostovik backend; все пять новых schedules оставлять disabled.
|
||||
1. Только Mostovik backend; миграция 0048 включает ровно пять новых schedules.
|
||||
Предыдущие seed migrations сохраняются неизменными; reverse 0048 выключает
|
||||
эти пять schedules, не удаляя их и не меняя остальные.
|
||||
До записи проверить текущий private storage и свободное место: raw ФССП уже
|
||||
4.7 GB, staging/manifest/exports требуют дополнительного измеренного запаса.
|
||||
Проверить worker limits и однозначность canonical directory. Сделать
|
||||
@@ -114,10 +120,18 @@ CI и соответствие web/celery, migrations через штатный
|
||||
доступность MOEX durations HTML из worker и единицу effectiveyield официальным
|
||||
field-specific источником. Затем один полный combined refresh, отдельные
|
||||
counters входов, единый publish/list/detail/export. Не обходить TLS/WAF.
|
||||
5. Только после этой приёмки источники можно объявлять ready; включение schedules
|
||||
отдельно. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
|
||||
5. Только после этой приёмки источники можно объявлять ready. Расписания включены
|
||||
отдельным указанием пользователя; ошибка коллектора сохраняет старый snapshot. Frontend изменения, StateCorp, main и Telegram sends вне этапа.
|
||||
|
||||
Header-only CSV с подтверждёнными headers трактуется как пустой по согласованному
|
||||
плану. Независимого publisher row count нет: semantic truncation до одних headers
|
||||
не доказуем существующим каналом и может очистить записи при формально полном
|
||||
пустом snapshot. Это сохраняемый предел проверки, не установленный live факт.
|
||||
|
||||
## Проверка изменения расписаний
|
||||
|
||||
Forward migration 0048 проверена на полной PostgreSQL migration graph: пять
|
||||
задач enabled=true, интервалы 1/30 days сохранены. Тест покрывает повторный запуск,
|
||||
обратное выключение и сохранение unrelated schedule. Старые seed migrations
|
||||
проверяются отдельно для своих задач; они по-прежнему создают disabled templates.
|
||||
Реальный rollout и job outcomes фиксируются отдельно от локальной проверки.
|
||||
|
||||
@@ -20,7 +20,7 @@ HTTPS GET https://api.checko.ru/v2/company или /fedresurs через суще
|
||||
|
||||
## Fixtures и готовность
|
||||
|
||||
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Schedules disabled.
|
||||
Fixtures синтетические, структура из официальной документации; реальные ответы аккаунта не снимались. Success/renewed/empty/denied/rate-limit/two pages доступны локально. Никаких вымышленных /leasing,/messages. Readiness: три адаптера, scoped snapshots, monthly claims, карточки/API/экспорт и типизированные OpenAPI variants реализованы. Фактическая приёмка выбранного аккаунта и полной dev-популяции остаётся отдельно. Миграция 0048 включает три schedules каждые 30 дней по явному указанию пользователя; месячные claims сохраняются.
|
||||
|
||||
Публичный тариф: первые 100 запросов за день бесплатны, далее Standard 0.15 RUB / Maximum 0.10 RUB за HTTP 200. Конкретный тариф/остаток аккаунта не установлен; это не разрешение расходовать квоту. Для фактической пробы подготовить canonical scope и максимальное число страниц/calls, получить отдельное разрешение.
|
||||
|
||||
|
||||
@@ -55,7 +55,7 @@ HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
|
||||
|
||||
Fixtures синтетические, получены по проверенным columns: не доказательство
|
||||
доступности live runtime или наличия эмитентов в canonical dev population.
|
||||
Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ
|
||||
Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ
|
||||
ещё не выполнены; источник не объявлен ready.
|
||||
|
||||
## Реализация и фактические проверки
|
||||
@@ -65,7 +65,7 @@ NDJSON всех ответов (исходный текст/URL/params/SHA). Man
|
||||
checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное
|
||||
publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного
|
||||
входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018;
|
||||
суточный template schedule disabled, включение не разрешено этой реализацией.
|
||||
суточный template schedule включается миграцией 0048 по указанию пользователя.
|
||||
|
||||
Одна карточка `stock-exchange-activity`, admin refresh/run,
|
||||
`parsers.stock_exchange_activity.refresh`, 8h timeout, worker/admission guard.
|
||||
@@ -97,7 +97,7 @@ CSV/XLSX/JSON exports через штатные generations/tickets сохран
|
||||
изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope.
|
||||
|
||||
Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ
|
||||
не выполнены. Нет push/deploy и changes в frontend/StateCorp/root/env.
|
||||
не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются.
|
||||
|
||||
Финальное ревью и итоговые проверки — в [передаче реализации](2026-10-05-implementation-handoff.md).
|
||||
Если ISS возвращает cursor, обход завершён после валидированной страницы,
|
||||
|
||||
@@ -31,7 +31,7 @@ Identity: Debtor TIN + номер ИП, UUID5 существующего publish
|
||||
|
||||
Server download → raw artifacts → canonical staging batches <=500 → aggregate manifest → один атомарный publish. Строки вне реестра считаются без staging. Некорректный ИНН/неоднозначность — quarantine. Две выгрузки обязательны, отказ одной сохраняет прошлый snapshot. CSV payload: origin_kind=open_data_csv, queried_inn=null, amount=debt_amount, record_date=initiated_on. Unknown/missing поля nullable; warnings сохраняются.
|
||||
|
||||
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Новое расписание disabled. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
|
||||
Frontend/read-only соответствует контракту Глеба; item code fssp_inn_search, источник последний. Миграция 0048 включает суточное расписание по явному указанию пользователя от 05.10.2026. Отсутствует пользовательский upload/file URL. Фактическая публикация на полном каноническом населении dev остаётся отдельной приёмкой.
|
||||
|
||||
|
||||
## Проверка полных файлов 5 октября 2026
|
||||
@@ -55,7 +55,7 @@ Checksums:
|
||||
|
||||
Локальные проверки: полный pytest без inventory E2E — 1 809 passed, 39 skipped (PostgreSQL-only и opt-in случаи), 13 warnings. После последней проверки обязательных реквизитов — 24 адресных tests passed. Scoped Ruff/format, Django check, migration graph/check и canonical OpenAPI/Orval/type-check прошли; generated Zod сохранил 13 runtime JSON responses без потери ключей. List/detail/signed/null/date/order/permission/duplicate refresh и pinned export tickets проверены на синтетических fixtures, не на удалённом API.
|
||||
|
||||
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule disabled. Нельзя включать расписание до согласованного полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
|
||||
Readiness: implemented, full upstream reader verified; full dev snapshot publication/API/export acceptance pending. Daily schedule включается миграцией 0048 по явному указанию пользователя. Readiness требует полного dev запуска с rollback/UUID/manifest/counters проверкой. Frontend без изменений.
|
||||
|
||||
Итоговые проверки после независимого ревью — в [передаче реализации](2026-10-05-implementation-handoff.md).
|
||||
Экспорт текущего snapshot теперь включает ИП прежних и будущих лет начала, как
|
||||
|
||||
Reference in New Issue
Block a user