教程
词元 token 是什么?中文 AI 用户如何理解成本
用中文解释 token/词元、上下文长度、输入输出成本,以及为什么中文用户要学会估算 token。
一句话解释
词元 token 可以理解为大模型处理文本时使用的最小计量单位。你输入的文字、模型输出的文字、标点和格式都会被切分成 token,并影响上下文占用和 API 成本。
为什么中文用户要关心 token
中文文本不一定按字或词直接计费,不同模型的 tokenizer 也不同。对于长文档、PDF、知识库、批量写作和 API 调用,token 数会直接影响能不能放进上下文,以及一次调用大概花多少钱。
实用建议
长文档先摘要再追问;Prompt 保留角色、目标、约束和输出格式;重复背景信息尽量压缩;正式 API 调用前先用词元计算器做预算。