Files
mostovik-backend/docs/sources/exchanges.md
Aleksandr Meshchryakov af02d1ce8a
Some checks failed
Mostovik Backend CI/CD / Tests and lint (push) Failing after 6s
Mostovik Backend CI/CD / Build linux/amd64 release images (push) Has been skipped
Mostovik Backend CI/CD / Deploy dev (push) Has been skipped
Mostovik Backend CI/CD / Deploy and verify internal main (push) Has been skipped
feat: enable requested source collection schedules
2026-10-05 18:31:13 +02:00

106 lines
9.4 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Биржевая активность: СПБ и MOEX
Основание: свежий документ ECOS от 01.10.2026; проверка публичных каналов 05.10.2026.
Один source/group `stock_exchange_activity`, type `exchange_instrument`, `exchange=spb|moex`.
Публикация только после полной проверки обоих входов. Ни создание организаций, ни
сопоставление по названию/ISIN/внутреннему issuer ID не допускается.
## Подтверждённые каналы
СПБ: [актуальный список](https://spbexchange.ru/listing/securities/list/) и
[указатель с датой](https://spbexchange.ru/listing/securities/).
Указатель опубликовал дату 05.10.2026. Текущий публичный клиент
`/_next/static/chunks/1a5p864jwu4na.js` задаёт GET
`https://spbexchange.ru/api/listing/v1/list/export?fileName=ListingSecurityList`,
кнопка сохраняет `ListingSecurityList.csv`. **Теперь CSV, не XLSX из документа.**
UTF-8, `;`, 18 точных headers (fixture `listing.csv`). 570763 байт, 2287 строк,
251 непустой ИНН, коды `s_RTS_code` непустые/уникальные. `Row` не идентичность;
external ID `spb:<s_RTS_code>`. ISIN отдельно. ИНН строковый, без дополнения нулями.
Номинал decimal с запятой; «без номинальной стоимости» остаётся raw/null.
Даты регистрации/listing `DD.MM.YYYY H:MM`; никаких фиктивных trading/yield/duration.
СПБ default TLS проверка отказала (curl 60, browser certificate error).
Пользователь разрешил существующий EIS CA bundle **только для проверки и загрузки
публичного листинга**: явный `--cacert`, HTTP 200, без insecure/system trust changes.
Рабочий collector сохраняет обычную TLS проверку; расширение runtime trust отдельно
требует согласования. Успех ручной проверки не подтверждает runtime readiness.
MOEX: [ISS reference](https://iss.moex.com/iss/reference/), reference 205/193;
[дюрация/доходность](https://www.moex.com/ru/bondization/durations).
- GET `https://iss.moex.com/iss/securities.json`, engine=stock, market=shares|bonds,
is_trading=1, limit=100, start=0,100,...; `securities.columns/data`, пустая страница
завершает обход (reference 205). Точная привязка `emitent_inn`; `emitent_id` отдельно.
- GET `/iss/securities/<secid>.json`: `description` name/value, `boards`;
SECID/EMITTER_ID должны совпадать со справочником. Все raw поля сохраняются.
- GET `/iss/engines/stock/markets/<market>/securities/<secid>.json`: `securities`,
`marketdata`, `dataversion`. Выбрать только primary board из справочника;
`dataversion.trade_date` — дата торговли, fetch timestamp отдельно.
- Страница durations содержит официальный init-dt=2026-10-02 и URL
`/iss/statistics/engines/stock/markets/bonds/durations`; без даты результат пустой.
GET `.json?date=2026-10-02`: block `durations`, 2478 строк, columns
tradedate/secid/effectiveyield/duration/title/matdate. Дата только из init-dt,
не вычисляется по календарю. Duration raw **days**: официальный JS графика
преобразует `duration/365` в ось «Дюрации, лет». Effectiveyield не переименовывать
в текущую доходность. Неподтверждённая единица yield nullable, raw field сохранён;
готовность этой единицы пока не подтверждена. Пропуски остаются null, не ноль.
## Пределы и отказы
HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
1000 reference pages на рынок, максимум 100000 строк/рынок и 10000 HTTP запросов
за запуск (включая параметры/торги), максимум 100000 duration rows. JSON decimal
читается через Decimal, normalized numeric values — строки, amount всегда null.
Повторная страница, конфликт идентичности, неизвестный block/header, переполнение
и обрыв отвергают snapshot. Неизвестные канонические/ИНН — отдельная диагностика.
Fixtures синтетические, получены по проверенным columns: не доказательство
доступности live runtime или наличия эмитентов в canonical dev population.
Миграция 0048 включает суточное расписание по явному указанию пользователя. Remote DB/API/export приёмка и runtime TLS СПБ
ещё не выполнены; источник не объявлен ready.
## Реализация и фактические проверки
Реализованы строгий streaming CSV reader, ограниченный ISS collector и приватный
NDJSON всех ответов (исходный текст/URL/params/SHA). Manifest содержит оба input IDs,
checksums, publication/fetch dates и отдельные adapter counters. Одно атомарное
publish; одинаковый ISIN на разных биржах сохраняет независимые UUID. Ошибка одного
входа сохраняет предыдущие записи. Миграции parsers 0046/0047, organizations 0018;
суточный template schedule включается миграцией 0048 по указанию пользователя.
Одна карточка `stock-exchange-activity`, admin refresh/run,
`parsers.stock_exchange_activity.refresh`, 8h timeout, worker/admission guard.
V2 list/detail: `source_group=stock_exchange_activity`, фильтры `exchange=moex|spb`,
`instrument_kind`, сортировки exchange/instrument_id/instrument_kind/listing_date/
trading.traded_on. Typed metrics nullable, signed decimal strings. Amount null.
CSV/XLSX/JSON exports через штатные generations/tickets сохраняют все текущие бумаги
независимо от старой даты listing и не смешивают номинал/доходность с amount.
Демо-команды создают пустую extension, без выдуманных биржевых записей.
- Полный СПБ CSV прочитан до EOF: 2287 строк, 251 checksum-valid legal INN,
2036 без INN; 0.026s, max RSS 123551744 bytes (включает Django interpreter).
SHA256 `5901c8ddaf455131e8beb141a8cea24c139d95215be77f17ab3b3e1981104287`.
- MOEX полные reference pages до terminal empty: shares 526 (523 с ИНН),
bonds 3175 (3172 с ИНН); duration export 2478. Одна реальная issuer-linked
бумага проверена parameters/primary-board trading; issuer ID 484 отдельно от ИНН.
43 HTTP requests, 12.456s, max RSS 133283840 bytes.
Raw response manifest SHA256
`8638336249c7e3da533e3752ebb5a89f9f3b4086596d7d7a036fa85ebf2de160`.
**Повторный live GET durations HTML вернул 403**: этот отдельный ISS probe
использовал дату из ранее успешно проверенного HTML, не является полным
collector/dev acceptance и не подтверждает доступность страницы worker.
- PostgreSQL `--migrations --create-db`: 66 passed, 0 skipped, применены новые
migrations до 0047/0018; общие guards всех источников проходят реальные locks.
Обычный pytest использует `--nomigrations`, поэтому прежние PG проверки
проверяли row locks/schema, а не применение migrations; итоговый прогон это исправляет.
- Backend OpenAPI/Orval/Zod: обе биржи с одним ISIN, list/detail и refresh
202/400/403/404/409 для пяти источников; 43 rendered JSON cases проходят без
изменения/потери ключей. Прежний refresh error DTO исправлен по реальному envelope.
Реальный canonical dev publish/API/export, доступ Checko и production TLS trust СПБ
не выполнены. Push/dev deployment разрешены пользователем; frontend/StateCorp/root/env не меняются.
Финальное ревью и итоговые проверки — в [передаче реализации](2026-10-05-implementation-handoff.md).
Если ISS возвращает cursor, обход завершён после валидированной страницы,
достигшей TOTAL; для ответов без cursor сохраняется terminal-empty обход.
Регрессии TOTAL=1/100/101 прошли после воспроизведения ошибки.