FRI = clamp(50 + 50 · skill, 0, 100)

FRI (Forecast Reliability Index) — это сводная оценка того, насколько публичные проверяемые прогнозы автора сбываются точнее случайной или консенсусной базовой линии. Шкала 0–100, где 50 — паритет: повторять базовую линию недостаточно, чтобы подняться выше. Индекс измеряет результат, а не активность: десять верных прогнозов весят больше ста расплывчатых высказываний.

FRI всегда сопровождается тремя числами — доверительным интервалом, размером выборки и периодом. Без них одно число вводит в заблуждение: высокий FRI на трёх прогнозах и высокий FRI на сорока — это разные утверждения.

Сердце формулы — skill-score: насколько прогноз лучше опорной вероятности. Для каждого прогноза считается Brier score (квадрат ошибки вероятностной оценки) и сравнивается с Brier базовой линии.

skill = 0 даёт FRI = 50 (паритет), skill > 0 поднимает индекс выше 50, skill < 0 опускает ниже. Подробно о Brier score — на отдельной странице.

Skill измеряет вероятность, а не сам факт

Brier-skill оценивает вероятностную оценку автора. Если автор назвал вероятность («с вероятностью 70%»), мы сравниваем её с базовой линией. Если вероятности нет — а это почти все прогнозы рынка — мы её не выдумываем: подставляем базовую линию, и тогда skill ровно 0. Такой прогноз не получает ни плюса, ни минуса за «уверенность», но по-прежнему идёт в hit-rate. Это убирает асимметрию: при фиксированной подставленной уверенности промах штрафовался бы сильнее, чем награждалось попадание, и любой автор с долей сбываемости ниже ~62% оказывался бы в минусе независимо от мастерства.

Практическое следствие: пока в прогнозах почти нет заявленных вероятностей, FRI у большинства держится у паритета (50), и осмысленно ранжировать авторов можно по hit-rate — доле сбывшихся проверяемых прогнозов. Поэтому hit-rate сейчас выводится как главная метрика, а FRI — как предварительная оценка с доверительным интервалом. Ярлык «итоговый рейтинг» не присваивается, пока вероятностных прогнозов не станет достаточно.

Не все прогнозы равны. Перед усреднением вклад каждого взвешивается по четырём факторам, затем средний skill автора сжимается к паритету (skill 0 → FRI 50) — это защищает от случайных рекордов на маленьком числе прогнозов и не даёт результатам одного автора утянуть оценку остальных.

Сжатие к паритету (k = 8)

Средний skill автора сдвигается к паритету (0) тем сильнее, чем меньше у него прогнозов (параметр сглаживания k = 8): shrinked = (n_eff · skill) / (n_eff + k). Поэтому новый автор с двумя удачными прогнозами не получает сразу FRI 90 — индекс отходит от 50 по мере накопления подтверждённых результатов.

В индекс попадают только проверяемые утверждения о будущем: с активом, направлением или порогом и сроком. Размытые высказывания не судятся — но и не исчезают: они могут храниться как контекст, без влияния на FRI.

Правило резолюции и источник истины фиксируются до наступления горизонта, чтобы исход нельзя было подогнать задним числом. На дату горизонта прогноз сравнивается с фактом по единственному заранее заданному источнику. Если дата выпала на выходной или праздник, берётся последняя официальная цена или закрытие торгов до этой даты; фактическая дата наблюдения всегда показана в карточке.

• Исход — один из: сбылось · не сбылось · частично · открыт · недействителен.
• «Частично» — только для многосоставных прогнозов с независимыми частями. Обычный точечный промах вне допуска — это «не сбылось», не «частично».
• «Недействителен» — когда условие резолюции перестало быть проверяемым (например, изменился источник истины).
• Прогнозы с неоднозначной формулировкой (диапазон без выверенных границ, многократные решения ЦБ в окне) уходят на ручную проверку и остаются открытыми, а не получают автоматический вердикт.

Допуск зависит от класса актива, а не единый «±5%». Решения ЦБ дискретны и требуют точного совпадения; для рыночных числовых прогнозов применяется допуск по классу:

• Ключевая ставка ЦБ — точное совпадение (14,00% ≠ 14,25%); «около / примерно / в районе» — ±0,25 п.п.
• Инфляция / CPI — ±0,3 п.п. (с «около» — ±0,5 п.п.).
• Валюта — ±1,5% на горизонте до 90 дней, ±2% дальше (±3% только для явно сценарных долгосрочных).
• Индексы — ±2%; отдельные акции — ±2%; нефть и золото — ±2%; крипто — ±2%.

Формулировка задаёт оператор сравнения. «Достигнет / превысит / не ниже X» проверяется как порог (≥ / > X), а не как равенство; «не выше / упадёт до X» — как ≤ X. «Снизит на N б.п. / сохранит ставку» проверяется по фактическому шагу ставки, а не по уровню. «Средняя за период» резолвится как среднее ряда за период; до конца периода — «открыт». Для прогнозов с направлением («вырастет до / снизится до X») база сравнения — значение на момент прогноза, а не за день до горизонта.

У каждого актива — один источник истины, по которому резолвятся все прогнозы по нему. Это исключает спор о том, «по какой котировке» считать:

• Валюта — официальный курс Банка России (биржевой курс — только если автор прямо говорил о торгах/закрытии).
• Ключевая ставка — официальные решения ЦБ РФ; прогнозы про ФРС/ЕЦБ не резолвятся против ставки ЦБ РФ.
• Индексы и акции — Московская биржа. Инфляция (CPI) — годовой ИПЦ Росстата (декабрь к декабрю), с перекрёстной сверкой по Банку России.
• Нефть Brent — дневной ряд EIA/FRED (ICE settlement при явном фьючерсе).
• Золото — в долларах за унцию по LBMA; в рублях за грамм — учётные цены ЦБ. Базис и единица показаны в карточке.
• Нефть Urals — официальная средняя цена Минэкономразвития за месяц/год (на данных Argus). Дневные прогнозы по Urals не оцениваются (нет бесплатного дневного эталона) — помечаются monitoring.
• Криптовалюты (BTC/ETH) — дневное закрытие Kraken (UTC) с перекрёстной сверкой по Coinbase и резервом CoinGecko; институциональный бенчмарк, на который мы равняемся, — CME CF Bitcoin/Ether Reference Rate.

Надёжность самого доказательства, что прогноз был сделан, задаётся тирами T1–T3 — на странице о тирах.

Маленькая выборка даёт неустойчивый индекс, поэтому каждая страница с FRI помечается статусом зрелости данных. Финальным рейтинг считается только при достаточном числе разрешённых сравнимых прогнозов на эксперта; до этого — research или preview, и FRI показывается с оговоркой.

Пока в корпусе почти нет прогнозов с заявленной вероятностью, FRI у большинства авторов держится у паритета и носит предварительный характер, поэтому ярлык «итоговый рейтинг» не присваивается, а авторы сравниваются по доле сбывшихся проверяемых прогнозов (hit-rate) с учётом размера выборки.

Главная метрика — hit-rate по закрытым проверяемым прогнозам. Эксперты разделены по размеру выборки: 1–4 — отслеживаются, 5–19 — ранний трек-рекорд, 20+ — основной рейтинг, 50+ — устойчивая выборка. FRI — предварительный вероятностный индекс.

Объект оценки — конкретное публичное утверждение о будущем, а не личность автора. Мы судим прогноз: что именно было сказано, когда, с каким горизонтом и по какому источнику истины это проверяется. Один и тот же человек может иметь и сбывшиеся, и несбывшиеся прогнозы — и то, и другое попадает в выборку без отбора «удобных» случаев.

Поэтому здесь нет ярлыков «эксперт» или «шарлатан». Есть числа: сколько проверяемых прогнозов, сколько из них сбылось, с какой точностью относительно базовой линии. Формулировки фактологичны — «из N проверяемых M сбылись», без оценочных характеристик автора.

FRI — измерительный инструмент, а не приговор. Радикальная честность о его слабых местах — часть методологии:

• Selection bias. Мы видим прогнозы, которые были публично озвучены и которые удалось зафиксировать. Невысказанные или удалённые оценки в выборку не попадают.
• Некалиброванность оценок ясности. Clarity score — экспертная/модельная оценка, она субъективна на границах и может недооценивать или переоценивать конкретность формулировки.
• Survivorship bias архивов. Хорошо архивированные источники представлены полнее, чем то, что исчезло из сети до фиксации; это смещает выборку к «выжившим» публикациям.
• Неполнота охвата. База не претендует на полноту по автору или рынку. Малые выборки дают широкие интервалы — отсюда статусы research / preview / final.
• Чувствительность к базовой линии. Сейчас явного консенсуса нет ни по одному прогнозу, поэтому базовая линия для всех — наивные 0.5. Из-за этого FRI на текущем корпусе — это, по сути, калиброванная доля сбываемости, а не превосходство над консенсусом; реальную базовую линию по классам активов мы добавим по мере накопления данных.

Все параметры формулы открыты, чтобы любой FRI можно было воспроизвести:

• k = 8 — сила сжатия к паритету: shrinked = (n_eff · skill) / (n_eff + k).
• Базовая линия = 0.5 для всех прогнозов (наивная, пока нет консенсус-данных).
• Заявленная вероятность используется только если автор её назвал; иначе p = базовой линии (skill = 0).
• σ ≥ 0.5 — разброс skill между прогнозами автора, оценивается из данных, но не ниже 0.5 (минимальная неопределённость).
• Доверительный интервал (90%): sd = σ / √(n_eff + k), затем переводится в шкалу FRI. Чем меньше выборка — тем шире интервал.

Пример расчёта

Прогноз «с вероятностью 0.7 ставка снизится» сбылся. Brier(автор) = (0.7 − 1)² = 0.09; Brier(база) = (0.5 − 1)² = 0.25; skill = 1 − 0.09/0.25 = 0.64. Если это единственный прогноз автора (n_eff ≈ 1), сжатие к паритету: shrinked = 1·0.64 / (1 + 8) ≈ 0.071; FRI = 50 + 50·0.071 ≈ 53.6 — с широким интервалом, потому что выборка крошечная. Прогноз без заявленной вероятности дал бы skill 0 и FRI ровно 50, но всё равно учитывался бы в hit-rate.

Здесь — изменения правил (как считается индекс, что считается прогнозом, как резолвится исход). Ошибки в конкретных вердиктах фиксируются отдельно — в журнале исправлений. Это разные вещи: тут меняется метод, там — исправляется ошибка применения метода.

Хотите узнавать, когда мы меняем правила? Напишите нам — добавим вас в список оповещения об изменениях методологии (это отдельный канал от журнала исправлений).