hit-rate = сбылось / (сбылось + не сбылось)

Hit-rate — доля сбывшихся прогнозов среди тех, что вообще можно было проверить и которые уже разрешены. «Разрешённый» здесь означает, что у прогноза наступил горизонт и вынесен исход; «проверяемый» — что у прогноза есть актив, направление или порог, срок и источник истины. Метрика отвечает на простой вопрос: из скольких проверяемых утверждений автора сбылось сколько.

Сейчас это главная публичная метрика, по которой сортируется лидерборд. FRI — сводный индекс достоверности — остаётся предварительным, пока в корпусе почти нет прогнозов с заявленной вероятностью, и используется лишь как тай-брейк при равном hit-rate. Подробно об индексе — на странице об FRI; здесь его математику мы не повторяем.

Расчёт бинарный: каждый разрешённый проверяемый прогноз — это либо попадание, либо промах, частичного зачёта нет. В числителе — прогнозы с исходом «сбылось», в знаменателе — сумма сбывшихся и несбывшихся. Всё остальное (см. ниже) не входит ни в числитель, ни в знаменатель.

• «Сбылось» — исход ровно true: заявленное утверждение подтвердилось по правилу резолюции.
• «Не сбылось» — исход false: утверждение не подтвердилось.
• Hit-rate считается по всем проверяемым типам прогнозов (не только направленным), у которых есть бинарный исход.

Прогноз идёт в числитель, только если его исход ровно true — заявленное утверждение подтвердилось по заранее зафиксированному правилу резолюции. Исход false («не сбылось») попадает в знаменатель, но не в числитель. Hit-rate считается по всем проверяемым типам прогнозов, а не только по направленным:

В hit-rate входят только исходы true и false. Всё перечисленное ниже не учитывается ни в числителе, ни в знаменателе — такие прогнозы не портят и не улучшают долю, они просто не участвуют:

• Частично сбывшиеся (partial). Частичного зачёта нет; такой прогноз исключается целиком, а не идёт как «половина попадания».
• Недействительные (void). Когда условие резолюции перестало быть проверяемым (например, изменился источник истины).
• Ещё открытые / неразрешённые. Горизонт не наступил или исход пока не вынесен — прогноз не считается, пока не разрешится.
• Из источников низшего тира (C). Прогнозы, доказательство которых не дотягивает до приемлемого тира, в рейтинг не идут.
• Непроверяемые типы. Утверждения без проверяемого критерия (нет актива, порога или срока) не резолвятся и в расчёт не входят.

Диапазонные (range) прогнозы исключены из рейтинга, пока их границы не сверены вручную: автоматически резолвить диапазон без выверенных границ нельзя, поэтому такие прогнозы остаются вне hit-rate до ручной проверки.

Малая выборка делает hit-rate неустойчивым: 4 из 4 — это формально 100%, но интервал неопределённости очень широкий. Поэтому авторы разделены по числу разрешённых прогнозов (n), и к долям на малых выборках надо относиться осторожно:

Чем меньше выборка, тем шире неопределённость — это не недостаток конкретного автора, а свойство малых чисел. Поэтому hit-rate всегда выводится рядом с числом прогнозов и периодом, а не как одно обезличенное число.

Точечная доля скрывает главное — насколько она надёжна. «3 из 5» и «60 из 100» обе дают 60%, но доверять им можно совершенно по-разному. Поэтому рядом с hit-rate мы показываем 95% доверительный интервал Уилсона [нижняя–верхняя]: на малой выборке он широкий, на большой — узкий.

Лидерборд сортируется по нижней границе интервала, а не по самой доле. Это устойчивый способ ранжировать по неопределённой оценке (Wilson lower bound): он одновременно вознаграждает точность и размер выборки. Эксперт с «3 из 5» имеет высокую долю, но широкий интервал и низкую нижнюю границу — он не встаёт над стабильным треком на шуме. FRI при равенстве служит тай-брейком; эксперты без разрешённых прогнозов — в конце.

• Малая выборка → широкий интервал → низкая нижняя граница → ниже в рейтинге, даже при высокой точечной доле.
• Большая выборка со стабильной долей → узкий интервал → нижняя граница близко к доле → выше в рейтинге.
• Параметр фиксирован (z = 1.96, 95%); его нельзя настроить под конкретного эксперта.

Один hit-rate суммирует прогнозы разной трудности: угадать направление по трендовой валюте и попасть в точный уровень ключевой ставки — оба дают «+1». Без поправки это измеряло бы не точность, а умение выбирать лёгкие вопросы. Поэтому на профиле эксперта hit-rate разложен по стратам — парам (тип прогноза × класс актива).

Чтобы поправка на трудность была честной, для каждой страты мы считаем базовую частоту — объединённую по всему корпусу долю сбываемости в этой же страте (сколько в среднем сбывается таких прогнозов у всех авторов). Это тот же приём, которым сравнивают прогнозистов на одинаковых вопросах: не «сколько сбылось», а «сколько сбылось относительно того, что вообще сбывается в этом сегменте».

Показатель «над базой» (skill-over-chance) — это взвешенная разница между hit-rate эксперта и базовой частотой по его набору прогнозов. «+8 п.п.» значит: по своим стратам эксперт в среднем на 8 процентных пунктов точнее, чем сбывается в них у корпуса. Значение может быть отрицательным — тогда показываем «ниже базы −N п.п.», честно. Зачёт за лёгкие, почти предрешённые прогнозы (высокая базовая частота) при этом близок к нулю.

У всего лидерборда есть статус зрелости — он зависит от того, сколько авторов перешли пороги выборки. Статус честно сообщает, можно ли считать рейтинг устоявшимся:

Сейчас лидерборд в стадии preview: рейтингуемые авторы уже есть, но их пока немного, поэтому к сравнению стоит относиться как к предварительному срезу.

Hit-rate и FRI отвечают на разные вопросы. Hit-rate — это просто доля попаданий: легко читается, но не учитывает, насколько смелым и сложным был прогноз и какую вероятность заявил автор. FRI пытается это учесть через skill-score против базовой линии — но требует заявленных вероятностей, которых в корпусе почти нет.

Поэтому сейчас главная метрика — hit-rate, а FRI — предварительный: он держится у паритета (50), пока вероятностных прогнозов мало, и служит лишь тай-брейком при равном hit-rate. Когда вероятностных прогнозов накопится достаточно, роль FRI вырастет. Его формулу и сжатие к паритету мы здесь не повторяем — это на странице об FRI.

Hit-rate потребляет уже готовые исходы — движок оценки не определяет сам факт, а считает долю по выставленным вердиктам. Исход выносится так:

• Прогноз сверяется с фактом по заранее зафиксированному правилу резолюции и единственному источнику истины актива — рыночные и официальные данные (MOEX, ЦБ РФ, FRED).
• По результату сверки фиксируется исход: true · false · partial · void (а до наступления горизонта — открыт).
• Движок оценки берёт этот готовый исход: в hit-rate идут только true и false, остальное отбрасывается.

Правило резолюции, источник истины и допуск по классу актива подробно описаны на странице об FRI (раздел «Правила резолюции»). Надёжность доказательства, что прогноз был сделан, задаётся тирами источника T1–T3.

Объект оценки — конкретное публичное утверждение о будущем, а не личность автора. Мы судим прогноз: что именно было сказано, когда, с каким горизонтом и по какому источнику истины это проверяется. Один и тот же человек может иметь и сбывшиеся, и несбывшиеся прогнозы — и то, и другое попадает в выборку без отбора «удобных» случаев.

Поэтому здесь нет ярлыков «эксперт» или «шарлатан». Есть числа: сколько проверяемых прогнозов, сколько из них сбылось, с какой точностью относительно базовой линии. Формулировки фактологичны — «из N проверяемых M сбылись», без оценочных характеристик автора.

Hit-rate — простая и читаемая метрика, но у простоты есть цена. Радикальная честность о её слабых местах — часть методологии:

• Не учитывает сложность и смелость. Угадать почти предрешённый исход и попасть в трудный, контринтуитивный прогноз дают одинаковый «плюс». Для поправки на это есть FRI.
• Игнорирует заявленную вероятность. Hit-rate не различает уверенный и осторожный прогноз — учитывает только факт «сбылось / не сбылось». Вероятностную оценку измеряет FRI через Brier-skill.
• Не наказывает за «частично». Частично сбывшиеся прогнозы просто исключаются, а не идут как половина попадания — это упрощение в пользу прозрачности.
• Малые выборки нестабильны. На нескольких прогнозах доля скачет, отсюда тиры выборки и стадии зрелости лидерборда. Поэтому hit-rate всегда показывается рядом с числом прогнозов и периодом.

Здесь — изменения правил (как считается индекс, что считается прогнозом, как резолвится исход). Ошибки в конкретных вердиктах фиксируются отдельно — в журнале исправлений. Это разные вещи: тут меняется метод, там — исправляется ошибка применения метода.

Хотите узнавать, когда мы меняем правила? Напишите нам — добавим вас в список оповещения об изменениях методологии (это отдельный канал от журнала исправлений).