docs: verify exchange source mappings and units
This commit is contained in:
59
docs/sources/exchanges.md
Normal file
59
docs/sources/exchanges.md
Normal file
@@ -0,0 +1,59 @@
|
|||||||
|
# Биржевая активность: СПБ и MOEX
|
||||||
|
|
||||||
|
Основание: свежий документ ECOS от 01.10.2026; проверка публичных каналов 05.10.2026.
|
||||||
|
Один source/group `stock_exchange_activity`, type `exchange_instrument`, `exchange=spb|moex`.
|
||||||
|
Публикация только после полной проверки обоих входов. Ни создание организаций, ни
|
||||||
|
сопоставление по названию/ISIN/внутреннему issuer ID не допускается.
|
||||||
|
|
||||||
|
## Подтверждённые каналы
|
||||||
|
|
||||||
|
СПБ: [актуальный список](https://spbexchange.ru/listing/securities/list/) и
|
||||||
|
[указатель с датой](https://spbexchange.ru/listing/securities/).
|
||||||
|
Указатель опубликовал дату 05.10.2026. Текущий публичный клиент
|
||||||
|
`/_next/static/chunks/1a5p864jwu4na.js` задаёт GET
|
||||||
|
`https://spbexchange.ru/api/listing/v1/list/export?fileName=ListingSecurityList`,
|
||||||
|
кнопка сохраняет `ListingSecurityList.csv`. **Теперь CSV, не XLSX из документа.**
|
||||||
|
UTF-8, `;`, 18 точных headers (fixture `listing.csv`). 570763 байт, 2287 строк,
|
||||||
|
251 непустой ИНН, коды `s_RTS_code` непустые/уникальные. `Row` не идентичность;
|
||||||
|
external ID `spb:<s_RTS_code>`. ISIN отдельно. ИНН строковый, без дополнения нулями.
|
||||||
|
Номинал decimal с запятой; «без номинальной стоимости» остаётся raw/null.
|
||||||
|
Даты регистрации/listing `DD.MM.YYYY H:MM`; никаких фиктивных trading/yield/duration.
|
||||||
|
|
||||||
|
СПБ default TLS проверка отказала (curl 60, browser certificate error).
|
||||||
|
Пользователь разрешил существующий EIS CA bundle **только для проверки и загрузки
|
||||||
|
публичного листинга**: явный `--cacert`, HTTP 200, без insecure/system trust changes.
|
||||||
|
Рабочий collector сохраняет обычную TLS проверку; расширение runtime trust отдельно
|
||||||
|
требует согласования. Успех ручной проверки не подтверждает runtime readiness.
|
||||||
|
|
||||||
|
MOEX: [ISS reference](https://iss.moex.com/iss/reference/), reference 205/193;
|
||||||
|
[дюрация/доходность](https://www.moex.com/ru/bondization/durations).
|
||||||
|
- GET `https://iss.moex.com/iss/securities.json`, engine=stock, market=shares|bonds,
|
||||||
|
is_trading=1, limit=100, start=0,100,...; `securities.columns/data`, пустая страница
|
||||||
|
завершает обход (reference 205). Точная привязка `emitent_inn`; `emitent_id` отдельно.
|
||||||
|
- GET `/iss/securities/<secid>.json`: `description` name/value, `boards`;
|
||||||
|
SECID/EMITTER_ID должны совпадать со справочником. Все raw поля сохраняются.
|
||||||
|
- GET `/iss/engines/stock/markets/<market>/securities/<secid>.json`: `securities`,
|
||||||
|
`marketdata`, `dataversion`. Выбрать только primary board из справочника;
|
||||||
|
`dataversion.trade_date` — дата торговли, fetch timestamp отдельно.
|
||||||
|
- Страница durations содержит официальный init-dt=2026-10-02 и URL
|
||||||
|
`/iss/statistics/engines/stock/markets/bonds/durations`; без даты результат пустой.
|
||||||
|
GET `.json?date=2026-10-02`: block `durations`, 2478 строк, columns
|
||||||
|
tradedate/secid/effectiveyield/duration/title/matdate. Дата только из init-dt,
|
||||||
|
не вычисляется по календарю. Duration raw **days**: официальный JS графика
|
||||||
|
преобразует `duration/365` в ось «Дюрации, лет». Effectiveyield не переименовывать
|
||||||
|
в текущую доходность. Неподтверждённая единица yield nullable, raw field сохранён;
|
||||||
|
готовность этой единицы пока не подтверждена. Пропуски остаются null, не ноль.
|
||||||
|
|
||||||
|
## Пределы и отказы
|
||||||
|
|
||||||
|
HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
|
||||||
|
1000 reference pages на рынок, максимум 100000 строк/рынок и 10000 HTTP запросов
|
||||||
|
за запуск (включая параметры/торги), максимум 100000 duration rows. JSON decimal
|
||||||
|
читается через Decimal, normalized numeric values — строки, amount всегда null.
|
||||||
|
Повторная страница, конфликт идентичности, неизвестный block/header, переполнение
|
||||||
|
и обрыв отвергают snapshot. Неизвестные канонические/ИНН — отдельная диагностика.
|
||||||
|
|
||||||
|
Fixtures синтетические, получены по проверенным columns: не доказательство
|
||||||
|
доступности live runtime или наличия эмитентов в canonical dev population.
|
||||||
|
Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ
|
||||||
|
ещё не выполнены; источник не объявлен ready.
|
||||||
1
tests/fixtures/exchanges/empty.csv
vendored
Normal file
1
tests/fixtures/exchanges/empty.csv
vendored
Normal file
@@ -0,0 +1 @@
|
|||||||
|
Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction
|
||||||
|
2
tests/fixtures/exchanges/listing.csv
vendored
Normal file
2
tests/fixtures/exchanges/listing.csv
vendored
Normal file
@@ -0,0 +1,2 @@
|
|||||||
|
Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction
|
||||||
|
1;Некотировальная часть Списка;Synthetic issuer;0123456789;Акции;Акции обыкновенные;fixture-security-1;RU0000000001;1-01-08902-A;12.01.2004 0:00;0,1;RUB;06.11.2024 0:00;;;;;
|
||||||
|
21
tests/fixtures/exchanges/reference-empty.json
vendored
Normal file
21
tests/fixtures/exchanges/reference-empty.json
vendored
Normal file
@@ -0,0 +1,21 @@
|
|||||||
|
{
|
||||||
|
"securities": {
|
||||||
|
"columns": [
|
||||||
|
"secid",
|
||||||
|
"shortname",
|
||||||
|
"regnumber",
|
||||||
|
"name",
|
||||||
|
"isin",
|
||||||
|
"is_traded",
|
||||||
|
"emitent_id",
|
||||||
|
"emitent_title",
|
||||||
|
"emitent_inn",
|
||||||
|
"emitent_okpo",
|
||||||
|
"type",
|
||||||
|
"group",
|
||||||
|
"primary_boardid",
|
||||||
|
"marketprice_boardid"
|
||||||
|
],
|
||||||
|
"data": []
|
||||||
|
}
|
||||||
|
}
|
||||||
38
tests/fixtures/exchanges/reference.json
vendored
Normal file
38
tests/fixtures/exchanges/reference.json
vendored
Normal file
@@ -0,0 +1,38 @@
|
|||||||
|
{
|
||||||
|
"securities": {
|
||||||
|
"columns": [
|
||||||
|
"secid",
|
||||||
|
"shortname",
|
||||||
|
"regnumber",
|
||||||
|
"name",
|
||||||
|
"isin",
|
||||||
|
"is_traded",
|
||||||
|
"emitent_id",
|
||||||
|
"emitent_title",
|
||||||
|
"emitent_inn",
|
||||||
|
"emitent_okpo",
|
||||||
|
"type",
|
||||||
|
"group",
|
||||||
|
"primary_boardid",
|
||||||
|
"marketprice_boardid"
|
||||||
|
],
|
||||||
|
"data": [
|
||||||
|
[
|
||||||
|
"FIXTURE1",
|
||||||
|
"Synthetic",
|
||||||
|
null,
|
||||||
|
"Synthetic bond",
|
||||||
|
"RU0000000001",
|
||||||
|
null,
|
||||||
|
7707083893,
|
||||||
|
"Synthetic issuer",
|
||||||
|
"0123456789",
|
||||||
|
null,
|
||||||
|
"exchange_bond",
|
||||||
|
"stock_bonds",
|
||||||
|
"TQCB",
|
||||||
|
"TQCB"
|
||||||
|
]
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
2
tests/fixtures/exchanges/unknown_headers.csv
vendored
Normal file
2
tests/fixtures/exchanges/unknown_headers.csv
vendored
Normal file
@@ -0,0 +1,2 @@
|
|||||||
|
name;inn
|
||||||
|
fixture;0123456789
|
||||||
|
Reference in New Issue
Block a user