Что такое Brier score

Определение
Brier score — это мера точности вероятностного прогноза: средний квадрат разницы между заявленной вероятностью события и фактическим исходом (0 или 1); меньше — лучше.
Источник истины: ForecastReceipts

Зачем это нужно

Brier score штрафует и за уверенную ошибку, и за расплывчатость, поэтому это честная основа для сравнения авторов: нельзя получить хороший балл, давая всем событиям 50%.

Формула

Brier = (1/N) · Σ (pᵢ − oᵢ)², где oᵢ ∈ {0, 1}

Пример из ForecastReceipts

Прогноз «ставка вырастет, вероятность 0.8», ставка выросла (o = 1): вклад (0.8 − 1)² = 0.04 — близко к идеалу. Тот же прогноз при снижении ставки даёт (0.8 − 0)² = 0.64 — крупный штраф за уверенную ошибку.

Кратко

ТерминBrier score
Шкала / формаBrier = (1/N) · Σ (pᵢ − oᵢ)², где oᵢ ∈ {0, 1}
Где применяетсяМетодология
Полная методология: как это считается