FRI = clamp(50 + 50 · skill, 0, 100)

FRI (Forecast Reliability Index) — это сводная оценка того, насколько публичные проверяемые прогнозы автора сбываются точнее случайной или консенсусной базовой линии. Шкала 0–100, где 50 — паритет: повторять базовую линию недостаточно, чтобы подняться выше. Индекс измеряет результат, а не активность: десять верных прогнозов весят больше ста расплывчатых высказываний.

FRI всегда сопровождается тремя числами — доверительным интервалом, размером выборки и периодом. Без них одно число вводит в заблуждение: высокий FRI на трёх прогнозах и высокий FRI на сорока — это разные утверждения.

Сердце формулы — skill-score: насколько прогноз лучше опорной вероятности. Для каждого прогноза считается Brier score (квадрат ошибки вероятностной оценки) и сравнивается с Brier базовой линии.

skill = 0 даёт FRI = 50 (паритет), skill > 0 поднимает индекс выше 50, skill < 0 опускает ниже. Подробно о Brier score — на отдельной странице.

Не все прогнозы равны. Перед усреднением вклад каждого взвешивается по четырём факторам, затем средний skill автора сжимается к среднему по всей выборке — это защищает от случайных рекордов на маленьком числе прогнозов.

Сжатие к среднему (k = 8)

Средний skill автора сдвигается к популяционному среднему тем сильнее, чем меньше у него прогнозов (параметр сглаживания k = 8). Поэтому новый автор с двумя удачными прогнозами не получает сразу FRI 90 — индекс растёт по мере накопления подтверждённых результатов.

В индекс попадают только проверяемые утверждения о будущем: с активом, направлением или порогом и сроком. Размытые высказывания не судятся — но и не исчезают: они могут храниться как контекст, без влияния на FRI.

Правило резолюции и источник истины фиксируются до наступления горизонта, чтобы исход нельзя было подогнать задним числом. На дату горизонта прогноз сравнивается с фактом по единственному заранее заданному источнику.

• Исход — один из: сбылось · не сбылось · частично · открыт · спорно · недействителен.
• «Частично» — когда прогноз многосоставной и подтвердилась часть условий.
• «Спорно» — когда корректность вердикта оспаривается; см. журнал исправлений.
• «Недействителен» — когда условие резолюции перестало быть проверяемым (например, изменился источник истины).

У каждого актива — один источник истины, по которому резолвятся все прогнозы по нему: официальный курс ЦБ для USD/RUB, данные Росстата для инфляции, и т. д. Это исключает спор о том, «по какой котировке» считать. Надёжность самого доказательства, что прогноз был сделан, задаётся тирами T1–T3 — на странице о тирах.

Маленькая выборка даёт неустойчивый индекс, поэтому каждая страница с FRI помечается статусом зрелости данных. Финальным рейтинг считается только при достаточном числе разрешённых сравнимых прогнозов на эксперта; до этого — research или preview, и FRI показывается с оговоркой.

Объект оценки — конкретное публичное утверждение о будущем, а не личность автора. Мы судим прогноз: что именно было сказано, когда, с каким горизонтом и по какому источнику истины это проверяется. Один и тот же человек может иметь и сбывшиеся, и несбывшиеся прогнозы — и то, и другое попадает в выборку без отбора «удобных» случаев.

Поэтому здесь нет ярлыков «эксперт» или «шарлатан». Есть числа: сколько проверяемых прогнозов, сколько из них сбылось, с какой точностью относительно базовой линии. Формулировки фактологичны — «из N проверяемых M сбылись», без оценочных характеристик автора.

FRI — измерительный инструмент, а не приговор. Радикальная честность о его слабых местах — часть методологии:

• Selection bias. Мы видим прогнозы, которые были публично озвучены и которые удалось зафиксировать. Невысказанные или удалённые оценки в выборку не попадают.
• Некалиброванность оценок ясности. Clarity score — экспертная/модельная оценка, она субъективна на границах и может недооценивать или переоценивать конкретность формулировки.
• Survivorship bias архивов. Хорошо архивированные источники представлены полнее, чем то, что исчезло из сети до фиксации; это смещает выборку к «выжившим» публикациям.
• Неполнота охвата. База не претендует на полноту по автору или рынку. Малые выборки дают широкие интервалы — отсюда статусы research / preview / final.
• Чувствительность к базовой линии. При отсутствии явного консенсуса используется наивные 0.5; для почти предрешённых событий это может завышать или занижать skill.

Здесь — изменения правил (как считается индекс, что считается прогнозом, как резолвится исход). Ошибки в конкретных вердиктах фиксируются отдельно — в журнале исправлений. Это разные вещи: тут меняется метод, там — исправляется ошибка применения метода.

Хотите узнавать, когда мы меняем правила? Напишите нам — добавим вас в список оповещения об изменениях методологии (это отдельный канал от журнала исправлений).