Brier = (1/N) · Σ (pᵢ − oᵢ)²

Brier score — это мера точности вероятностного прогноза. Если прогноз выражен как вероятность события (например, «ставка вырастет с вероятностью 0.8»), Brier измеряет средний квадрат расстояния между этой вероятностью и тем, что произошло на самом деле. Чем меньше балл, тем точнее и калиброваннее прогнозы.

Ключевое свойство — это proper scoring rule: метрика устроена так, что в среднем выгоднее всего сообщать свою честную вероятность. Завышенная уверенность и трусливое «50 на 50» одинаково наказываются.

• pᵢ — заявленная вероятность события в i-м прогнозе (от 0 до 1).
• oᵢ — фактический исход: 1, если событие произошло, иначе 0.
• N — число прогнозов в выборке.

Минимум (0) достигается, когда автор каждый раз ставит вероятность, совпавшую с исходом. Максимум (1) — когда автор уверенно (вероятность 1) ошибся во всех прогнозах.

Сам по себе Brier зависит от того, насколько события вообще предсказуемы: на почти предрешённых исходах низкий балл получить легко. Поэтому для FRI мы переводим Brier в относительный skill-score — сравнение с базовой линией.

skill = 0 означает паритет с базовой линией (и FRI = 50). Подробно о том, как skill превращается в индекс, — на странице об FRI.

Многие прогнозы здесь по сути бинарны: «порог будет пройден» или нет. Для них Brier сводится к простой форме выше. Когда прогноз многосоставной (несколько условий), он раскладывается на проверяемые компоненты, а частичное исполнение отражается как исход «частично» — см. правила резолюции.

Объект оценки — конкретное публичное утверждение о будущем, а не личность автора. Мы судим прогноз: что именно было сказано, когда, с каким горизонтом и по какому источнику истины это проверяется. Один и тот же человек может иметь и сбывшиеся, и несбывшиеся прогнозы — и то, и другое попадает в выборку без отбора «удобных» случаев.

Поэтому здесь нет ярлыков «эксперт» или «шарлатан». Есть числа: сколько проверяемых прогнозов, сколько из них сбылось, с какой точностью относительно базовой линии. Формулировки фактологичны — «из N проверяемых M сбылись», без оценочных характеристик автора.

• Нужна вероятность. Brier определён для вероятностных прогнозов. Категоричные утверждения («ставка вырастет») мы трактуем как вероятность, близкую к 1, что огрубляет картину.
• Чувствительность к базовой линии. Skill-score зависит от выбора опорной вероятности; при отсутствии консенсуса берутся наивные 0.5, и это может смещать оценку для почти предрешённых событий.
• Малые выборки. На нескольких прогнозах средний Brier неустойчив — отсюда доверительные интервалы и статусы research / preview / final.
• Не различает типы ошибок. Brier суммирует отклонения; он не говорит, систематически ли автор переоценивает рост или падение — это отдельный анализ калибровки.

Здесь — изменения правил (как считается индекс, что считается прогнозом, как резолвится исход). Ошибки в конкретных вердиктах фиксируются отдельно — в журнале исправлений. Это разные вещи: тут меняется метод, там — исправляется ошибка применения метода.

Хотите узнавать, когда мы меняем правила? Напишите нам — добавим вас в список оповещения об изменениях методологии (это отдельный канал от журнала исправлений).