这个项目在做什么
围绕意图和场景分类组织候选模型评测,保留原始响应和失败记录,分别看回归集、独立留出集、协议正确性与响应时间。
先固定比较的条件
把输入集、候选标签、提示版本、输出协议和运行设置固定下来,再比较模型。无法解析、超时、空响应都单独记录,不从分母中悄悄消失。
已知错例和新问题,分别回答
回归集用于观察修改是否修好了已知问题,独立留出集用于观察能否迁移到新样本。提示在回归集上改善,只能说明这批问题改善了,不能直接推导出生产环境也会提升。
看逐题变化,而不只看总分
将前后版本按样本配对,分别统计修复和退化,并检查协议正确性与响应时间。分类体系不清楚时,先澄清标签边界,再讨论模型选择。这里公开的是方法,原始业务样本不在站点中。
主要工作
- 冻结输入与版本
- 回归集与留出集分离
- 逐题修复与退化分析
候选模型的离线实验,不代表线上替换或生产效果。


