Het verhaal
Hugging Face (21 sep 2026) publiceert tokenizers v1: encode, decode en scaling, met gemeten performance.
Samenvatting
HF released tokenizers v1 met focus op encode/decode-performance en schaalbaarheid (gemeten benchmarks).
Hugging Face tokenizers v1: encode/decode + scaling gemeten