Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
106 lines
9.4 KiB
Markdown
106 lines
9.4 KiB
Markdown
# Биржевая активность: СПБ и MOEX
|
||
|
||
Основание: свежий документ ECOS от 01.10.2026; проверка публичных каналов 05.10.2026.
|
||
Один source/group `stock_exchange_activity`, type `exchange_instrument`, `exchange=spb|moex`.
|
||
Публикация только после полной проверки обоих входов. Ни создание организаций, ни
|
||
сопоставление по названию/ISIN/внутреннему issuer ID не допускается.
|
||
|
||
## Подтверждённые каналы
|
||
|
||
СПБ: [актуальный список](https://spbexchange.ru/listing/securities/list/) и
|
||
[указатель с датой](https://spbexchange.ru/listing/securities/).
|
||
Указатель опубликовал дату 05.10.2026. Текущий публичный клиент
|
||
`/_next/static/chunks/1a5p864jwu4na.js` задаёт GET
|
||
`https://spbexchange.ru/api/listing/v1/list/export?fileName=ListingSecurityList`,
|
||
кнопка сохраняет `ListingSecurityList.csv`. **Теперь CSV, не XLSX из документа.**
|
||
UTF-8, `;`, 18 точных headers (fixture `listing.csv`). 570763 байт, 2287 строк,
|
||
251 непустой ИНН, коды `s_RTS_code` непустые/уникальные. `Row` не идентичность;
|
||
external ID `spb:<s_RTS_code>`. ISIN отдельно. ИНН строковый, без дополнения нулями.
|
||
Номинал decimal с запятой; «без номинальной стоимости» остаётся raw/null.
|
||
Даты регистрации/listing `DD.MM.YYYY H:MM`; никаких фиктивных trading/yield/duration.
|
||
|
||
СПБ default TLS проверка отказала (curl 60, browser certificate error).
|
||
Пользователь разрешил существующий EIS CA bundle **только для проверки и загрузки
|
||
публичного листинга**: явный `--cacert`, HTTP 200, без insecure/system trust changes.
|
||
Рабочий collector сохраняет обычную TLS проверку; расширение runtime trust отдельно
|
||
требует согласования. Успех ручной проверки не подтверждает runtime readiness.
|
||
|
||
MOEX: [ISS reference](https://iss.moex.com/iss/reference/), reference 205/193;
|
||
[дюрация/доходность](https://www.moex.com/ru/bondization/durations).
|
||
- GET `https://iss.moex.com/iss/securities.json`, engine=stock, market=shares|bonds,
|
||
is_trading=1, limit=100, start=0,100,...; `securities.columns/data`, пустая страница
|
||
завершает обход (reference 205). Точная привязка `emitent_inn`; `emitent_id` отдельно.
|
||
- GET `/iss/securities/<secid>.json`: `description` name/value, `boards`;
|
||
SECID/EMITTER_ID должны совпадать со справочником. Все raw поля сохраняются.
|
||
- GET `/iss/engines/stock/markets/<market>/securities/<secid>.json`: `securities`,
|
||
`marketdata`, `dataversion`. Выбрать только primary board из справочника;
|
||
`dataversion.trade_date` — дата торговли, fetch timestamp отдельно.
|
||
- Страница durations содержит официальный init-dt=2026-10-02 и URL
|
||
`/iss/statistics/engines/stock/markets/bonds/durations`; без даты результат пустой.
|
||
GET `.json?date=2026-10-02`: block `durations`, 2478 строк, columns
|
||
tradedate/secid/effectiveyield/duration/title/matdate. Дата только из init-dt,
|
||
не вычисляется по календарю. Duration raw **days**: официальный JS графика
|
||
преобразует `duration/365` в ось «Дюрации, лет». Effectiveyield не переименовывать
|
||
в текущую доходность. Неподтверждённая единица yield nullable, raw field сохранён;
|
||
готовность этой единицы пока не подтверждена. Пропуски остаются null, не ноль.
|
||
|
||
## Пределы и отказы
|
||
|
||
HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
|
||
1000 reference pages на рынок, максимум 100000 строк/рынок и 10000 HTTP запросов
|
||
за запуск (включая параметры/торги), максимум 100000 duration rows. JSON decimal
|
||
читается через Decimal, normalized numeric values — строки, amount всегда null.
|
||
Повторная страница, конфликт идентичности, неизвестный block/header, переполнение
|
||
и обрыв отвергают snapshot. Неизвестные канонические/ИНН — отдельная диагностика.
|
||
|
||
Fixtures синтетические, получены по проверенным columns: не доказательство
|
||
доступности live runtime или наличия эмитентов в canonical dev population.
|
||
Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ
|
||
ещё не выполнены; источник не объявлен ready.
|
||
|
||
## Реализация и фактические проверки
|
||
|
||
Реализованы строгий streaming CSV reader, ограниченный ISS collector и приватный
|
||
NDJSON всех ответов (исходный текст/URL/params/SHA). Manifest содержит оба input IDs,
|
||
checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное
|
||
publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного
|
||
входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018;
|
||
суточный template schedule включается миграцией 0048 по указанию пользователя.
|
||
|
||
Одна карточка `stock-exchange-activity`, admin refresh/run,
|
||
`parsers.stock_exchange_activity.refresh`, 8h timeout, worker/admission guard.
|
||
V2 list/detail: `source_group=stock_exchange_activity`, фильтры `exchange=moex|spb`,
|
||
`instrument_kind`, сортировки exchange/instrument_id/instrument_kind/listing_date/
|
||
trading.traded_on. Typed metrics nullable, signed decimal strings. Amount null.
|
||
CSV/XLSX/JSON exports через штатные generations/tickets сохраняют все текущие бумаги
|
||
независимо от старой даты listing и не смешивают номинал/доходность с amount.
|
||
Демо-команды создают пустую extension, без выдуманных биржевых записей.
|
||
|
||
- Полный СПБ CSV прочитан до EOF: 2287 строк, 251 checksum-valid legal INN,
|
||
2036 без INN; 0.026s, max RSS 123551744 bytes (включает Django interpreter).
|
||
SHA256 `5901c8ddaf455131e8beb141a8cea24c139d95215be77f17ab3b3e1981104287`.
|
||
- MOEX полные reference pages до terminal empty: shares 526 (523 с ИНН),
|
||
bonds 3175 (3172 с ИНН); duration export 2478. Одна реальная issuer-linked
|
||
бумага проверена parameters/primary-board trading; issuer ID 484 отдельно от ИНН.
|
||
43 HTTP requests, 12.456s, max RSS 133283840 bytes.
|
||
Raw response manifest SHA256
|
||
`8638336249c7e3da533e3752ebb5a89f9f3b4086596d7d7a036fa85ebf2de160`.
|
||
**Повторный live GET durations HTML вернул 403**: этот отдельный ISS probe
|
||
использовал дату из ранее успешно проверенного HTML, не является полным
|
||
collector/dev acceptance и не подтверждает доступность страницы worker.
|
||
- PostgreSQL `--migrations --create-db`: 66 passed, 0 skipped, применены новые
|
||
migrations до 0047/0018; общие guards всех источников проходят реальные locks.
|
||
Обычный pytest использует `--nomigrations`, поэтому прежние PG проверки
|
||
проверяли row locks/schema, а не применение migrations; итоговый прогон это исправляет.
|
||
- Backend OpenAPI/Orval/Zod: обе биржи с одним ISIN, list/detail и refresh
|
||
202/400/403/404/409 для пяти источников; 43 rendered JSON cases проходят без
|
||
изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope.
|
||
|
||
Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ
|
||
не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются.
|
||
|
||
Финальное ревью и итоговые проверки — в [передаче реализации](2026-10-05-implementation-handoff.md).
|
||
Если ISS возвращает cursor, обход завершён после валидированной страницы,
|
||
достигшей TOTAL; для ответов без cursor сохраняется terminal-empty обход.
|
||
Регрессии TOTAL=1/100/101 прошли после воспроизведения ошибки.
|