维度 · 计分权重 35%
切词器家族指纹
本维度检测什么
确定性斜率测试估计服务端 token 计费切词器家族。它回归 API 返回的 prompt_tokens 与重复探针单元次数 k;斜率等于服务端切词器对一个探针单元的精确 token 数。结果与 js-tiktoken 的 o200k_base、cl100k_base 精确计数对比。注意 o200k_base 是当前 OpenAI 从 GPT-4o 到 GPT-5.x 全系旗舰的切词器,因此切词器家族匹配确定性覆盖最贵的 OpenAI 旗舰。对于切词器闭源的 Claude 与 Gemini,浏览器端无法精确计算;差分模式下直接比对被测端点与可信参照端点对同单元的 prompt_tokens 斜率——参照端点的斜率就是真模型切词器的精确计数,无需本地切词器即可确定性识别是否被换。
算法
对 CJK、emoji、罕见 Unicode、长 ASCII 等单元发送 k = 0、1、2、3 的重复 prompt。每个单元拟合 prompt_tokens ~ k,要求 R² ≥ 0.98,再将四舍五入后的斜率与 o200k_base、cl100k_base 精确值比较。若所有单元一致指向同一家族,即确认或排除 OpenAI 切词器家族;若所有单元呈一致倍数大于 1.0,则同时提示可能存在 usage 注水。差分模式下,还将被测端点斜率与可信参照端点对同单元的斜率比对;斜率不一致即表明被测端点使用了与真模型不同的切词器,即使该切词器闭源(Claude/Gemini)亦然。
阈值
| 条件 | 对 verdict 的贡献 |
|---|---|
| 所有单元拟合同一声称精确家族,且 R² ≥ 0.98 | 切词器家族计分匹配 |
| 斜率指向另一精确家族,或声称模型可精确检查但结果非 o200k/cl100k | 计分 mismatch,但若无其他计分维度佐证,仅作 likely 证据 |
| 单元缺失、计数非线性或家族不一致 | unavailable;权重在计分维度内重平衡 |
局限
本维度测的是服务端 token 计费切词器家族,不是直接读取隐藏模型身份。它通常等于所服务模型的原生切词器,但网关可能用规范化切词器计费。单独 mismatch 应视为 likely 证据,需要能力或差分维度佐证后才能支撑 confirmed verdict。图像模型(如 gpt-image-2)不在本框架内:没有 chat 的 prompt_tokens 切词、无文本能力题、MMD 也是文本分布检验。图像模型防掺水需另一套方法(图像统计/延迟指纹),当前不支持。
参考文献
- OpenAI tiktoken 编码表,github.com/openai/tiktoken
- js-tiktoken 精确 o200k_base 与 cl100k_base 编码器
- TrueLLMs lib/identity-audit/tokenizer-fingerprint.ts