Softmax ve sıcaklık
Lab · Softmax ve sıcaklıkpᵢ = e^(zᵢ/T) / Σ e^(zⱼ/T)
“Bugün hava çok …” → sıradaki kelime
güzel%47.3
sıcak%26.0
soğuk%15.7
bulutlu%7.8
garip%2.6
mor%0.6
- entropi
- 1.90 bit
- en olası
- %47
Kaydırıcılar modelin ham puanlarını (logit) değiştirir; softmax onları toplamı 1 olan olasılıklara çevirir. Logit değerleri örnek amaçlıdır.