docs: verify exchange source mappings and units
This commit is contained in:
59
docs/sources/exchanges.md
Normal file
59
docs/sources/exchanges.md
Normal file
@@ -0,0 +1,59 @@
|
||||
# Биржевая активность: СПБ и MOEX
|
||||
|
||||
Основание: свежий документ ECOS от 01.10.2026; проверка публичных каналов 05.10.2026.
|
||||
Один source/group `stock_exchange_activity`, type `exchange_instrument`, `exchange=spb|moex`.
|
||||
Публикация только после полной проверки обоих входов. Ни создание организаций, ни
|
||||
сопоставление по названию/ISIN/внутреннему issuer ID не допускается.
|
||||
|
||||
## Подтверждённые каналы
|
||||
|
||||
СПБ: [актуальный список](https://spbexchange.ru/listing/securities/list/) и
|
||||
[указатель с датой](https://spbexchange.ru/listing/securities/).
|
||||
Указатель опубликовал дату 05.10.2026. Текущий публичный клиент
|
||||
`/_next/static/chunks/1a5p864jwu4na.js` задаёт GET
|
||||
`https://spbexchange.ru/api/listing/v1/list/export?fileName=ListingSecurityList`,
|
||||
кнопка сохраняет `ListingSecurityList.csv`. **Теперь CSV, не XLSX из документа.**
|
||||
UTF-8, `;`, 18 точных headers (fixture `listing.csv`). 570763 байт, 2287 строк,
|
||||
251 непустой ИНН, коды `s_RTS_code` непустые/уникальные. `Row` не идентичность;
|
||||
external ID `spb:<s_RTS_code>`. ISIN отдельно. ИНН строковый, без дополнения нулями.
|
||||
Номинал decimal с запятой; «без номинальной стоимости» остаётся raw/null.
|
||||
Даты регистрации/listing `DD.MM.YYYY H:MM`; никаких фиктивных trading/yield/duration.
|
||||
|
||||
СПБ default TLS проверка отказала (curl 60, browser certificate error).
|
||||
Пользователь разрешил существующий EIS CA bundle **только для проверки и загрузки
|
||||
публичного листинга**: явный `--cacert`, HTTP 200, без insecure/system trust changes.
|
||||
Рабочий collector сохраняет обычную TLS проверку; расширение runtime trust отдельно
|
||||
требует согласования. Успех ручной проверки не подтверждает runtime readiness.
|
||||
|
||||
MOEX: [ISS reference](https://iss.moex.com/iss/reference/), reference 205/193;
|
||||
[дюрация/доходность](https://www.moex.com/ru/bondization/durations).
|
||||
- GET `https://iss.moex.com/iss/securities.json`, engine=stock, market=shares|bonds,
|
||||
is_trading=1, limit=100, start=0,100,...; `securities.columns/data`, пустая страница
|
||||
завершает обход (reference 205). Точная привязка `emitent_inn`; `emitent_id` отдельно.
|
||||
- GET `/iss/securities/<secid>.json`: `description` name/value, `boards`;
|
||||
SECID/EMITTER_ID должны совпадать со справочником. Все raw поля сохраняются.
|
||||
- GET `/iss/engines/stock/markets/<market>/securities/<secid>.json`: `securities`,
|
||||
`marketdata`, `dataversion`. Выбрать только primary board из справочника;
|
||||
`dataversion.trade_date` — дата торговли, fetch timestamp отдельно.
|
||||
- Страница durations содержит официальный init-dt=2026-10-02 и URL
|
||||
`/iss/statistics/engines/stock/markets/bonds/durations`; без даты результат пустой.
|
||||
GET `.json?date=2026-10-02`: block `durations`, 2478 строк, columns
|
||||
tradedate/secid/effectiveyield/duration/title/matdate. Дата только из init-dt,
|
||||
не вычисляется по календарю. Duration raw **days**: официальный JS графика
|
||||
преобразует `duration/365` в ось «Дюрации, лет». Effectiveyield не переименовывать
|
||||
в текущую доходность. Неподтверждённая единица yield nullable, raw field сохранён;
|
||||
готовность этой единицы пока не подтверждена. Пропуски остаются null, не ноль.
|
||||
|
||||
## Пределы и отказы
|
||||
|
||||
HTML 4 MiB; СПБ CSV 50 MiB, 100000 строк; ISS ответ 10 MiB,
|
||||
1000 reference pages на рынок, максимум 100000 строк/рынок и 10000 HTTP запросов
|
||||
за запуск (включая параметры/торги), максимум 100000 duration rows. JSON decimal
|
||||
читается через Decimal, normalized numeric values — строки, amount всегда null.
|
||||
Повторная страница, конфликт идентичности, неизвестный block/header, переполнение
|
||||
и обрыв отвергают snapshot. Неизвестные канонические/ИНН — отдельная диагностика.
|
||||
|
||||
Fixtures синтетические, получены по проверенным columns: не доказательство
|
||||
доступности live runtime или наличия эмитентов в canonical dev population.
|
||||
Расписание остаётся disabled. Remote DB/API/export приёмка и runtime TLS СПБ
|
||||
ещё не выполнены; источник не объявлен ready.
|
||||
1
tests/fixtures/exchanges/empty.csv
vendored
Normal file
1
tests/fixtures/exchanges/empty.csv
vendored
Normal file
@@ -0,0 +1 @@
|
||||
Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction
|
||||
|
2
tests/fixtures/exchanges/listing.csv
vendored
Normal file
2
tests/fixtures/exchanges/listing.csv
vendored
Normal file
@@ -0,0 +1,2 @@
|
||||
Row;s_level_name;e_full_name;e_INN_code;s_sec_type_name_dop;s_sec_form_name_full;s_RTS_code;s_ISIN_code;si_gos_reg_num;si_gos_reg_date;s_face_value;s_face_value_currency;s_quot_list_in_date;s_segment;s_date_defolt;s_date_technic_defolt;f_is_exchanged;s_is_org_discl_restriction
|
||||
1;Некотировальная часть Списка;Synthetic issuer;0123456789;Акции;Акции обыкновенные;fixture-security-1;RU0000000001;1-01-08902-A;12.01.2004 0:00;0,1;RUB;06.11.2024 0:00;;;;;
|
||||
|
21
tests/fixtures/exchanges/reference-empty.json
vendored
Normal file
21
tests/fixtures/exchanges/reference-empty.json
vendored
Normal file
@@ -0,0 +1,21 @@
|
||||
{
|
||||
"securities": {
|
||||
"columns": [
|
||||
"secid",
|
||||
"shortname",
|
||||
"regnumber",
|
||||
"name",
|
||||
"isin",
|
||||
"is_traded",
|
||||
"emitent_id",
|
||||
"emitent_title",
|
||||
"emitent_inn",
|
||||
"emitent_okpo",
|
||||
"type",
|
||||
"group",
|
||||
"primary_boardid",
|
||||
"marketprice_boardid"
|
||||
],
|
||||
"data": []
|
||||
}
|
||||
}
|
||||
38
tests/fixtures/exchanges/reference.json
vendored
Normal file
38
tests/fixtures/exchanges/reference.json
vendored
Normal file
@@ -0,0 +1,38 @@
|
||||
{
|
||||
"securities": {
|
||||
"columns": [
|
||||
"secid",
|
||||
"shortname",
|
||||
"regnumber",
|
||||
"name",
|
||||
"isin",
|
||||
"is_traded",
|
||||
"emitent_id",
|
||||
"emitent_title",
|
||||
"emitent_inn",
|
||||
"emitent_okpo",
|
||||
"type",
|
||||
"group",
|
||||
"primary_boardid",
|
||||
"marketprice_boardid"
|
||||
],
|
||||
"data": [
|
||||
[
|
||||
"FIXTURE1",
|
||||
"Synthetic",
|
||||
null,
|
||||
"Synthetic bond",
|
||||
"RU0000000001",
|
||||
null,
|
||||
7707083893,
|
||||
"Synthetic issuer",
|
||||
"0123456789",
|
||||
null,
|
||||
"exchange_bond",
|
||||
"stock_bonds",
|
||||
"TQCB",
|
||||
"TQCB"
|
||||
]
|
||||
]
|
||||
}
|
||||
}
|
||||
2
tests/fixtures/exchanges/unknown_headers.csv
vendored
Normal file
2
tests/fixtures/exchanges/unknown_headers.csv
vendored
Normal file
@@ -0,0 +1,2 @@
|
||||
name;inn
|
||||
fixture;0123456789
|
||||
|
Reference in New Issue
Block a user