返回内容列表
教程

词元 token 是什么?中文 AI 用户如何理解成本

用中文解释 token/词元、上下文长度、输入输出成本,以及为什么中文用户要学会估算 token。

一句话解释

词元 token 可以理解为大模型处理文本时使用的最小计量单位。你输入的文字、模型输出的文字、标点和格式都会被切分成 token,并影响上下文占用和 API 成本。

为什么中文用户要关心 token

中文文本不一定按字或词直接计费,不同模型的 tokenizer 也不同。对于长文档、PDF、知识库、批量写作和 API 调用,token 数会直接影响能不能放进上下文,以及一次调用大概花多少钱。

实用建议

长文档先摘要再追问;Prompt 保留角色、目标、约束和输出格式;重复背景信息尽量压缩;正式 API 调用前先用词元计算器做预算。