模型与 Token

Token、上下文与费用

看懂输入、输出与重复上下文带来的消耗。

Token 不是字数

模型会把文本转换成 Token 后处理。中文、英文、代码、标点的切分方式不同,因此不能把一个字或一个单词机械等同于一个 Token。实际数量以服务返回的用量和控制台记录为准。

一次请求可能包含哪些内容

  • 你的当前问题、系统指令和项目规则。
  • 客户端带上的历史对话、文件片段与工具输出。
  • 模型生成的答案,以及该模型可能使用的推理用量。

输入与输出可能采用不同价格,缓存也可能有独立计价。先查看模型与渠道的实际规则;不要假设全部输入都会命中缓存。

控制花费的几个习惯

  1. 任务描述明确到可验收,减少来回猜测。
  2. 只提供相关文件和错误片段,不重复粘贴整段日志。
  3. 阶段完成后总结关键结论,新的独立任务开新会话。
  4. 按任务设置合适的模型、输出长度与密钥额度。

怎样核对账单

以使用记录中的模型、Token、渠道倍率和实际扣费为准。遇到意外增长时,先比较调用次数和单次输入规模,再查客户端重试与长任务工具循环。

发现内容有误,或有未解答的问题?反馈文档问题 ↗
SOTA AI / 文档中心为每一次创造,减少一点阻力。
输入关键词,查找 28 篇文档
↑ ↓ 选择Enter 打开Esc 关闭