docs: verify exchange source mappings and units

This commit is contained in:
Aleksandr Meshchryakov
2026-10-05 17:00:35 +02:00
parent 4637b02ddd
commit 648d995bcc
6 changed files with 123 additions and 0 deletions

59
docs/sources/exchanges.md Normal file
View File

@@ -0,0 +1,59 @@
# Биржевая активность: СПБ и MOEX
Основание: свежий документ ECOS от 01.10.2026; проверка публичных каналов 05.10.2026.
Один source/group `stock_exchange_activity`, type `exchange_instrument`, `exchange=spb|moex`.
Публикация только после полной проверки обоих входов. Ни создание организаций, ни
сопоставление по названию/ISIN/внутреннему issuer ID не допускается.
## Подтверждённые каналы
СПБ: [актуальный список](https://spbexchange.ru/listing/securities/list/) и
[указатель с датой](https://spbexchange.ru/listing/securities/).
Указатель опубликовал дату 05.10.2026. Текущий публичный клиент
`/_next/static/chunks/1a5p864jwu4na.js` задаёт GET
`https://spbexchange.ru/api/listing/v1/list/export?fileName=ListingSecurityList`,
кнопка сохраняет `ListingSecurityList.csv`. **Теперь CSV, не XLSX из документа.**
UTF-8, `;`, 18 точных headers (fixture `listing.csv`). 570763 байт, 2287 строк,
251 непустой ИНН, коды `s_RTS_code` непустые/уникальные. `Row` не идентичность;
external ID `spb:<s_RTS_code>`. ISIN отдельно. ИНН строковый, без дополнения нулями.
Номинал decimal с запятой; «без номинальной стоимости» остаётся raw/null.
Даты регистрации/listing `DD.MM.YYYY H:MM`; никаких фиктивных trading/yield/duration.
СПБ default TLS проверка отказала (curl 60, browser certificate error).
Пользователь разрешил существующий EIS CA bundle **только для проверки и загрузки
публичного листинга**: явный `--cacert`, HTTP 200, без insecure/system trust changes.
Рабочий collector сохраняет обычную TLS проверку; расширение runtime trust отдельно
требует согласования. Успех ручной проверки не подтверждает runtime readiness.
MOEX: [ISS reference](https://iss.moex.com/iss/reference/), reference 205/193;
[дюрация/доходность](https://www.moex.com/ru/bondization/durations).
- GET `https://iss.moex.com/iss/securities.json`, engine=stock, market=shares|bonds,
is_trading=1, limit=100, start=0,100,...; `securities.columns/data`, пустая страница
завершает обход (reference 205). Точная привязка `emitent_inn`; `emitent_id` отдельно.
- GET `/iss/securities/<secid>.json`: `description` name/value, `boards`;
SECID/EMITTER_ID должны совпадать со справочником. Все raw поля сохраняются.
- GET `/iss/engines/stock/markets/<market>/securities/<secid>.json`: `securities`,
`marketdata`, `dataversion`. Выбрать только primary board из справочника;
`dataversion.trade_date` — дата торговли, fetch timestamp отдельно.
- Страница durations содержит официальный init-dt=2026-10-02 и URL
`/iss/statistics/engines/stock/markets/bonds/durations`; без даты результат пустой.
GET `.json?date=2026-10-02`: block `durations`, 2478 строк, columns
tradedate/secid/effectiveyield/duration/title/matdate. Дата только из init-dt,
не вычисляется по календарю. Duration raw **days**: официальный JS графика
преобразует `duration/365` в ось «Дюрации, лет». Effectiveyield не переименовывать
в текущую доходность. Неподтверждённая единица yield nullable, raw field сохранён;
готовность этой единицы пока не подтверждена. Пропуски остаются null, не ноль.
## Пределы и отказы
HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
1000 reference pages на рынок, максимум 100000 строк/рынок и 10000 HTTP запросов
за запуск (включая параметры/торги), максимум 100000 duration rows. JSON decimal
читается через Decimal, normalized numeric values — строки, amount всегда null.
Повторная страница, конфликт идентичности, неизвестный block/header, переполнение
и обрыв отвергают snapshot. Неизвестные канонические/ИНН — отдельная диагностика.
Fixtures синтетические, получены по проверенным columns: не доказательство
доступности live runtime или наличия эмитентов в canonical dev population.
Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ
ещё не выполнены; источник не объявлен ready.

1
tests/fixtures/exchanges/empty.csv vendored Normal file
View File

@@ -0,0 +1 @@
Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction
1 Row s_level_name e_full_name e_INN_code s_sec_type_name_dop s_sec_form_name_full s_RTS_code s_ISIN_code si_gos_reg_num si_gos_reg_date s_face_value s_face_value_currency s_quot_list_in_date s_segment s_date_defolt s_date_technic_defolt f_is_exchanged s_is_org_discl_restriction

2
tests/fixtures/exchanges/listing.csv vendored Normal file
View File

@@ -0,0 +1,2 @@
Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction
1;Некотировальная часть Списка;Synthetic issuer;0123456789;Акции;Акции обыкновенные;fixture-security-1;RU0000000001;1-01-08902-A;12.01.2004 0:00;0,1;RUB;06.11.2024 0:00;;;;;
1 Row s_level_name e_full_name e_INN_code s_sec_type_name_dop s_sec_form_name_full s_RTS_code s_ISIN_code si_gos_reg_num si_gos_reg_date s_face_value s_face_value_currency s_quot_list_in_date s_segment s_date_defolt s_date_technic_defolt f_is_exchanged s_is_org_discl_restriction
2 1 Некотировальная часть Списка Synthetic issuer 0123456789 Акции Акции обыкновенные fixture-security-1 RU0000000001 1-01-08902-A 12.01.2004 0:00 0,1 RUB 06.11.2024 0:00

View File

@@ -0,0 +1,21 @@
{
"securities": {
"columns": [
"secid",
"shortname",
"regnumber",
"name",
"isin",
"is_traded",
"emitent_id",
"emitent_title",
"emitent_inn",
"emitent_okpo",
"type",
"group",
"primary_boardid",
"marketprice_boardid"
],
"data": []
}
}

38
tests/fixtures/exchanges/reference.json vendored Normal file
View File

@@ -0,0 +1,38 @@
{
"securities": {
"columns": [
"secid",
"shortname",
"regnumber",
"name",
"isin",
"is_traded",
"emitent_id",
"emitent_title",
"emitent_inn",
"emitent_okpo",
"type",
"group",
"primary_boardid",
"marketprice_boardid"
],
"data": [
[
"FIXTURE1",
"Synthetic",
null,
"Synthetic bond",
"RU0000000001",
null,
7707083893,
"Synthetic issuer",
"0123456789",
null,
"exchange_bond",
"stock_bonds",
"TQCB",
"TQCB"
]
]
}
}

View File

@@ -0,0 +1,2 @@
name;inn
fixture;0123456789
1 name inn
2 fixture 0123456789