Tag: tokenization

All the articles with the tag "tokenization".

• 从 UTF-8 到 Token：你的 Prompt 进入 LLM 前发生了什么

  Created: 25 Mar, 2026

  把字节、码点、UTF-8、BPE、Regex 预切分、特殊词表、tiktoken 串成一条线，看清一段人类可读的 prompt 是如何被压缩、切割、编号，最终变成 LLM 唯一能消费的 token 序列。