Brier 分數:用統計學衡量預測的「準不準」

為什麼「命中率 75%」在統計學意義上可能毫無意義?

為什麼「命中率」不夠?

一般談預測,動輒說「命中率 75%」「十中七」——這種說法在體育博彩圈層裡很常見, 但它有三個致命問題:

  1. 忽略機率高低:對熱門馬匹(隱含機率 0.1)下注「會贏」, 命中率本來就高;對冷門(隱含機率 0.05)命中才是真功夫。
  2. 無法跨場比較:一場只有 5 匹馬的賽事與一場 14 匹馬的賽事, 命中率基線完全不同。
  3. 鼓勵極端預測:為了拉高命中率,模型傾向只挑最有把握的, 迴避所有灰色地帶。

Brier Score(布萊爾分數)正是為了解決這三個問題而生。

什麼是 Brier Score?

Brier Score(1950 年由 Glenn W. Brier 提出)原本用於天氣預報校準, 後被廣泛應用於選舉預測、體育博彩、機器學習分類任務。

對於一個二元結果(贏 / 不贏),單一事件的 Brier Score 為:

BS = (p - o)²

其中:

  • p 為預測機率(0 ~ 1)
  • o 為實際結果(贏 = 1,不贏 = 0)

一組 N 場預測的平均 Brier Score:

BS̄ = (1/N) × Σ (pᵢ - oᵢ)²

數值越小越好。0 表示完美預測,1 表示完全相反。

一個具體例子

假設我們預測 4 場賽馬(隱含機率為市場折算的勝率):

賽事預測機率 p實際結果 oBrier Score
A 場0.601(贏)0.16
B 場0.300(輸)0.09
C 場0.501(贏)0.25
D 場0.400(輸)0.16

平均:

BS̄ = (0.16 + 0.09 + 0.25 + 0.16) / 4 = 0.165

若全部事件都用市場基準(p̄ = 0.5):

BS̄_baseline = (0.25 × 4) / 4 = 0.25
我們的模型比「擲硬幣」好 34%(0.165 vs 0.25)。

Brier Score 的工程實作要點

實務上,Brier Score 的計算需要注意幾點:

  1. 不要把未完成的賽事算進去:賽馬經常出現退出(scratchings), 若模型預測但該駒退賽,應排除而非記為 0。
  2. 時間權重:愈接近開閘的預測應給予更高權重, 因為即時資訊(天候、騎師狀態)愈準確。
  3. 賽事類型分層:草地 vs 沙地、短途 vs 長途、不同班次應分組計算, 否則會被熱門班次稀釋。

我們的後端 /api/home/stats 端點即按上述原則分組回測 30 天內數據, 並回傳:

  • brier:平均 Brier Score
  • brierBaseline:隨機基準 Brier Score
  • winHit / qplHit / tceHit: 頭三名命中校驗(僅作輔助參考)

Brier Score 的限制

它不是萬靈丹:

  • 二元 vs 多元:本文公式僅適用二元結果;多分類需用 Brier 的多類推廣。
  • 極端機率懲罰過重:預測 0.99 卻失敗,懲罰 (0.99-0)² = 0.9801; 預測 0.50 失敗僅 0.25。這是特性而非缺陷——敢於表達信心就要承擔結果
  • 不衡量經濟價值:高 Brier Score 不代表能贏錢,因為賠率變動、 賽事取消等因素會影響實際 ROI。

為何我們公開 Brier Score?

本平台所有統計指標僅為研究用途。

我們相信,統計學校準指標比「命中率」「必中」「穩贏」這類行銷話語 更接近科學事實。在香港,受《賭博條例》(第 148 章)規限, 平台必須以研究與教育為定位,避免任何博彩促銷用語。 Brier Score 正是這種定位下的最佳對外表達—— 它告訴讀者「這個模型的預測在統計學意義上是否經得起檢驗」, 而不是告訴讀者「你應該下注」。


延伸閱讀:隱含機率:從賠率反推市場怎麼看這場賽事 · Kelly Criterion:如何用數學決定下注比例

參考文獻:Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review.

感謝閱讀。如對研究方法有疑問,歡迎透過會員中心的「聯絡研究團隊」與我們交流。

← 回到研究隨筆列表