# GigaToken: ~1000x faster Language model tokenization

**GigaToken** 是一個新的語言模型 **tokenization** 工具，宣稱比現有的工具快了約 **1000 倍**。開發者透過針對多種 CPU 和 **tokenizer** 進行優化，使用 **SIMD**、減少分支和其他技巧，同時也優化了 **caching** 和 **Python** 互動，從而實現了極大的效能提升。

原始來源（Hacker News）：https://github.com/marcelroed/gigatoken/

— ai.luvai.net（繁中 AI 情報站）