diff --git a/docs/sources/exchanges.md b/docs/sources/exchanges.md new file mode 100644 index 0000000..127fd8c --- /dev/null +++ b/docs/sources/exchanges.md @@ -0,0 +1,59 @@ +# Биржевая активность: СПБ и MOEX + +Основание: свежий документ ECOS от 01.10.2026; проверка публичных каналов 05.10.2026. +Один source/group `stock_exchange_activity`, type `exchange_instrument`, `exchange=spb|moex`. +Публикация только после полной проверки обоих входов. Ни создание организаций, ни +сопоставление по названию/ISIN/внутреннему issuer ID не допускается. + +## Подтверждённые каналы + +СПБ: [актуальный список](https://spbexchange.ru/listing/securities/list/) и +[указатель с датой](https://spbexchange.ru/listing/securities/). +Указатель опубликовал дату 05.10.2026. Текущий публичный клиент +`/_next/static/chunks/1a5p864jwu4na.js` задаёт GET +`https://spbexchange.ru/api/listing/v1/list/export?fileName=ListingSecurityList`, +кнопка сохраняет `ListingSecurityList.csv`. **Теперь CSV, не XLSX из документа.** +UTF-8, `;`, 18 точных headers (fixture `listing.csv`). 570763 байт, 2287 строк, +251 непустой ИНН, коды `s_RTS_code` непустые/уникальные. `Row` не идентичность; +external ID `spb:`. ISIN отдельно. ИНН строковый, без дополнения нулями. +Номинал decimal с запятой; «без номинальной стоимости» остаётся raw/null. +Даты регистрации/listing `DD.MM.YYYY H:MM`; никаких фиктивных trading/yield/duration. + +СПБ default TLS проверка отказала (curl 60, browser certificate error). +Пользователь разрешил существующий EIS CA bundle **только для проверки и загрузки +публичного листинга**: явный `--cacert`, HTTP 200, без insecure/system trust changes. +Рабочий collector сохраняет обычную TLS проверку; расширение runtime trust отдельно +требует согласования. Успех ручной проверки не подтверждает runtime readiness. + +MOEX: [ISS reference](https://iss.moex.com/iss/reference/), reference 205/193; +[дюрация/доходность](https://www.moex.com/ru/bondization/durations). +- GET `https://iss.moex.com/iss/securities.json`, engine=stock, market=shares|bonds, + is_trading=1, limit=100, start=0,100,...; `securities.columns/data`, пустая страница + завершает обход (reference 205). Точная привязка `emitent_inn`; `emitent_id` отдельно. +- GET `/iss/securities/.json`: `description` name/value, `boards`; + SECID/EMITTER_ID должны совпадать со справочником. Все raw поля сохраняются. +- GET `/iss/engines/stock/markets//securities/.json`: `securities`, + `marketdata`, `dataversion`. Выбрать только primary board из справочника; + `dataversion.trade_date` — дата торговли, fetch timestamp отдельно. +- Страница durations содержит официальный init-dt=2026-10-02 и URL + `/iss/statistics/engines/stock/markets/bonds/durations`; без даты результат пустой. + GET `.json?date=2026-10-02`: block `durations`, 2478 строк, columns + tradedate/secid/effectiveyield/duration/title/matdate. Дата только из init-dt, + не вычисляется по календарю. Duration raw **days**: официальный JS графика + преобразует `duration/365` в ось «Дюрации, лет». Effectiveyield не переименовывать + в текущую доходность. Неподтверждённая единица yield nullable, raw field сохранён; + готовность этой единицы пока не подтверждена. Пропуски остаются null, не ноль. + +## Пределы и отказы + +HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB, +1000 reference pages на рынок, максимум 100000 строк/рынок и 10000 HTTP запросов +за запуск (включая параметры/торги), максимум 100000 duration rows. JSON decimal +читается через Decimal, normalized numeric values — строки, amount всегда null. +Повторная страница, конфликт идентичности, неизвестный block/header, переполнение +и обрыв отвергают snapshot. Неизвестные канонические/ИНН — отдельная диагностика. + +Fixtures синтетические, получены по проверенным columns: не доказательство +доступности live runtime или наличия эмитентов в canonical dev population. +Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ +ещё не выполнены; источник не объявлен ready. diff --git a/tests/fixtures/exchanges/empty.csv b/tests/fixtures/exchanges/empty.csv new file mode 100644 index 0000000..226435f --- /dev/null +++ b/tests/fixtures/exchanges/empty.csv @@ -0,0 +1 @@ +Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction diff --git a/tests/fixtures/exchanges/listing.csv b/tests/fixtures/exchanges/listing.csv new file mode 100644 index 0000000..8656984 --- /dev/null +++ b/tests/fixtures/exchanges/listing.csv @@ -0,0 +1,2 @@ +Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction +1;Некотировальная часть Списка;Synthetic issuer;0123456789;Акции;Акции обыкновенные;fixture-security-1;RU0000000001;1-01-08902-A;12.01.2004 0:00;0,1;RUB;06.11.2024 0:00;;;;; diff --git a/tests/fixtures/exchanges/reference-empty.json b/tests/fixtures/exchanges/reference-empty.json new file mode 100644 index 0000000..d62b824 --- /dev/null +++ b/tests/fixtures/exchanges/reference-empty.json @@ -0,0 +1,21 @@ +{ + "securities": { + "columns": [ + "secid", + "shortname", + "regnumber", + "name", + "isin", + "is_traded", + "emitent_id", + "emitent_title", + "emitent_inn", + "emitent_okpo", + "type", + "group", + "primary_boardid", + "marketprice_boardid" + ], + "data": [] + } +} \ No newline at end of file diff --git a/tests/fixtures/exchanges/reference.json b/tests/fixtures/exchanges/reference.json new file mode 100644 index 0000000..e5fa477 --- /dev/null +++ b/tests/fixtures/exchanges/reference.json @@ -0,0 +1,38 @@ +{ + "securities": { + "columns": [ + "secid", + "shortname", + "regnumber", + "name", + "isin", + "is_traded", + "emitent_id", + "emitent_title", + "emitent_inn", + "emitent_okpo", + "type", + "group", + "primary_boardid", + "marketprice_boardid" + ], + "data": [ + [ + "FIXTURE1", + "Synthetic", + null, + "Synthetic bond", + "RU0000000001", + null, + 7707083893, + "Synthetic issuer", + "0123456789", + null, + "exchange_bond", + "stock_bonds", + "TQCB", + "TQCB" + ] + ] + } +} \ No newline at end of file diff --git a/tests/fixtures/exchanges/unknown_headers.csv b/tests/fixtures/exchanges/unknown_headers.csv new file mode 100644 index 0000000..a45a021 --- /dev/null +++ b/tests/fixtures/exchanges/unknown_headers.csv @@ -0,0 +1,2 @@ +name;inn +fixture;0123456789