Что такое skill-score (мастерство над базовой линией)

Определение
Skill-score — это относительная мера точности: насколько прогноз лучше опорной (базовой) вероятности, выраженная так, что 0 — паритет с базовой линией, положительное значение — превосходство, отрицательное — отставание.
Источник истины: ForecastReceipts

Зачем это нужно

Абсолютный Brier зависит от того, насколько события вообще предсказуемы. Skill-score убирает эту зависимость, сравнивая автора с тем, кто просто повторяет базовую вероятность — поэтому именно он лежит в основе FRI.

Формула

skill = 1 − Brier(автор) / Brier(базовая линия)

Пример из ForecastReceipts

Если Brier автора по ставке = 0.10, а базовой линии (консенсус) = 0.20, то skill = 1 − 0.10/0.20 = 0.5 — автор вдвое точнее опорной вероятности. При равенстве с базой skill = 0.

Кратко

ТерминSkill-score
Шкала / формаskill = 1 − Brier(автор) / Brier(базовая линия)
Где применяетсяМетодология
Полная методология: как это считается