BPE tokenizer
Lab · BPE tokenizer25 olası birleştirme
yapay·zekâ·mühendisi·olmak·için·önce·temeller,·sonra·modeller,·en·sonunda·ürünler.·temeller·sağlamsa·modeller·kolaylaşır;·modeller·anlaşılınca·ürünler·hızlanır.
- karakter
- 160
- token
- 111
- sıkıştırma
- 1.44×
- farklı token
- 36
Son birleştirmeler
- l + a → la ×5
- · + m → ·m ×4
- · + s → ·s ×3
- ·m + o → ·mo ×3
- ·mo + d → ·mod ×3
- ·mod + eller → ·modeller ×3
- e + n → en ×2
- n + c → nc ×2
Başta her harf bir token. Her adımda en sık yan yana gelen ikili tek bir token olur. Gerçek modeller bunu milyarlarca kelime üzerinde, on binlerce kez yapar; “·” boşluğu gösterir. Kendi metnini yaz, Türkçe eklerin nasıl ayrı token’lara dönüştüğünü izle.