Files
mostovik-backend/docs/sources/exchanges.md
Aleksandr Meshchryakov 897941583e
All checks were successful
Mostovik Backend CI/CD / Tests and lint (push) Successful in 4m22s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Successful in 2m53s
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Successful in 2m55s
fix: include the approved public CA bundle in release images
2026-10-05 19:28:57 +02:00

11 KiB
Raw Permalink Blame History

Биржевая активность: СПБ и MOEX

Основание: свежий документ ECOS от 01.10.2026; проверка публичных каналов 05.10.2026. Один source/group stock_exchange_activity, type exchange_instrument, exchange=spb|moex. Публикация только после полной проверки обоих входов. Ни создание организаций, ни сопоставление по названию/ISIN/внутреннему issuer ID не допускается.

Подтверждённые каналы

СПБ: актуальный список и указатель с датой. Указатель опубликовал дату 05.10.2026. Текущий публичный клиент /_next/static/chunks/1a5p864jwu4na.js задаёт GET https://spbexchange.ru/api/listing/v1/list/export?fileName=ListingSecurityList, кнопка сохраняет ListingSecurityList.csv. Теперь CSV, не XLSX из документа. UTF-8, ;, 18 точных headers (fixture listing.csv). 570763 байт, 2287 строк, 251 непустой ИНН, коды s_RTS_code непустые/уникальные. Row не идентичность; external ID spb:<s_RTS_code>. ISIN отдельно. ИНН строковый, без дополнения нулями. Номинал decimal с запятой; «без номинальной стоимости» остаётся raw/null. Даты регистрации/listing DD.MM.YYYY H:MM; никаких фиктивных trading/yield/duration.

СПБ default TLS проверка отказала (curl 60, browser certificate error). Пользователь разрешил существующий EIS CA bundle только для проверки и загрузки публичного листинга: явный --cacert, HTTP 200, без insecure/system trust changes. Рабочий collector сохраняет обычную TLS проверку; расширение runtime trust отдельно требует согласования. Успех ручной проверки не подтверждает runtime readiness.

MOEX: ISS reference, reference 205/193; дюрация/доходность.

  • GET https://iss.moex.com/iss/securities.json, engine=stock, market=shares|bonds, is_trading=1, limit=100, start=0,100,...; securities.columns/data, пустая страница завершает обход (reference 205). Точная привязка emitent_inn; emitent_id отдельно.
  • GET /iss/securities/<secid>.json: description name/value, boards; SECID/EMITTER_ID должны совпадать со справочником. Все raw поля сохраняются.
  • GET /iss/engines/stock/markets/<market>/securities/<secid>.json: securities, marketdata, dataversion. Выбрать только primary board из справочника; dataversion.trade_date — дата торговли, fetch timestamp отдельно.
  • Страница durations содержит официальный init-dt=2026-10-02 и URL /iss/statistics/engines/stock/markets/bonds/durations; без даты результат пустой. GET .json?date=2026-10-02: block durations, 2478 строк, columns tradedate/secid/effectiveyield/duration/title/matdate. Дата только из init-dt, не вычисляется по календарю. Duration raw days: официальный JS графика преобразует duration/365 в ось «Дюрации, лет». Effectiveyield не переименовывать в текущую доходность. Неподтверждённая единица yield nullable, raw field сохранён; готовность этой единицы пока не подтверждена. Пропуски остаются null, не ноль.

Пределы и отказы

HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB, 1000 reference pages на рынок, максимум 100000 строк/рынок и 10000 HTTP запросов за запуск (включая параметры/торги), максимум 100000 duration rows. JSON decimal читается через Decimal, normalized numeric values — строки, amount всегда null. Повторная страница, конфликт идентичности, неизвестный block/header, переполнение и обрыв отвергают snapshot. Неизвестные канонические/ИНН — отдельная диагностика.

Fixtures синтетические, получены по проверенным columns: не доказательство доступности live runtime или наличия эмитентов в canonical dev population. Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ ещё не выполнены; источник не объявлен ready.

Реализация и фактические проверки

Реализованы строгий streaming CSV reader, ограниченный ISS collector и приватный NDJSON всех ответов (исходный текст/URL/params/SHA). Manifest содержит оба input IDs, checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018; суточный template schedule включается миграцией 0048 по указанию пользователя.

Одна карточка stock-exchange-activity, admin refresh/run, parsers.stock_exchange_activity.refresh, 8h timeout, worker/admission guard. V2 list/detail: source_group=stock_exchange_activity, фильтры exchange=moex|spb, instrument_kind, сортировки exchange/instrument_id/instrument_kind/listing_date/ trading.traded_on. Typed metrics nullable, signed decimal strings. Amount null. CSV/XLSX/JSON exports через штатные generations/tickets сохраняют все текущие бумаги независимо от старой даты listing и не смешивают номинал/доходность с amount. Демо-команды создают пустую extension, без выдуманных биржевых записей.

  • Полный СПБ CSV прочитан до EOF: 2287 строк, 251 checksum-valid legal INN, 2036 без INN; 0.026s, max RSS 123551744 bytes (включает Django interpreter). SHA256 5901c8ddaf455131e8beb141a8cea24c139d95215be77f17ab3b3e1981104287.
  • MOEX полные reference pages до terminal empty: shares 526 (523 с ИНН), bonds 3175 (3172 с ИНН); duration export 2478. Одна реальная issuer-linked бумага проверена parameters/primary-board trading; issuer ID 484 отдельно от ИНН. 43 HTTP requests, 12.456s, max RSS 133283840 bytes. Raw response manifest SHA256 8638336249c7e3da533e3752ebb5a89f9f3b4086596d7d7a036fa85ebf2de160. Повторный live GET durations HTML вернул 403: этот отдельный ISS probe использовал дату из ранее успешно проверенного HTML, не является полным collector/dev acceptance и не подтверждает доступность страницы worker.
  • PostgreSQL --migrations --create-db: 66 passed, 0 skipped, применены новые migrations до 0047/0018; общие guards всех источников проходят реальные locks. Обычный pytest использует --nomigrations, поэтому прежние PG проверки проверяли row locks/schema, а не применение migrations; итоговый прогон это исправляет.
  • Backend OpenAPI/Orval/Zod: обе биржи с одним ISIN, list/detail и refresh 202/400/403/404/409 для пяти источников; 43 rendered JSON cases проходят без изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope.

Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются.

Финальное ревью и итоговые проверки — в передаче реализации. Если ISS возвращает cursor, обход завершён после валидированной страницы, достигшей TOTAL; для ответов без cursor сохраняется terminal-empty обход. Регрессии TOTAL=1/100/101 прошли после воспроизведения ошибки.

Dev trust acceptance, 5 October 2026

Реальный штатный job на dev получил SSLError от СПБ. Пользователь явно разрешил повторное использование существующего bundle Минцифры именно сборщиком СПБ на dev. EXCHANGE_SPB_RUSSIAN_TRUST_ENABLED по умолчанию false. При true только отдельная SPB session использует clients/common/eis_russian_trusted_ca.pem; все её запросы проходят существующий allowlist spbexchange.ru. MOEX session, другие источники и системное хранилище не меняются; verify=False отсутствует.

Оператор включает этот несекретный флаг только в Mostovik environment anchor host-owned compose dev, с резервной копией, release lock и config --quiet проверкой до штатного CI release. Root checkout/StateCorp/main не изменяются. Флаг не включается автоматически при последующем развёртывании в другом контуре.

Живая проверка также выявила, что общий .dockerignore исключал tracked public CA bundle из release-образов. Добавлено исключение для единственного файла src/apps/parsers/clients/common/eis_russian_trusted_ca.pem; остальные PEM/keys остаются исключены. Web/Celery image build теперь требует непустой bundle. Проверено: два публичных certificate блока, private key блоков нет; отдельный Docker COPY regression был RED до исключения и GREEN после него.