Structured Classification Experiments · 2026 · 研究原型

结构化分类模型对比

区分修好了已知错例,和学会了处理未知问题。

结构化分类模型对比的产品概念效果图,AI 辅助生成;设备与界面为设计展示
AI 产品概念效果图 · 功能与完成阶段以本文说明为准

这个项目在做什么

围绕意图和场景分类组织候选模型评测,保留原始响应和失败记录,分别看回归集、独立留出集、协议正确性与响应时间。

先固定比较的条件

把输入集、候选标签、提示版本、输出协议和运行设置固定下来,再比较模型。无法解析、超时、空响应都单独记录,不从分母中悄悄消失。

已知错例和新问题,分别回答

回归集用于观察修改是否修好了已知问题,独立留出集用于观察能否迁移到新样本。提示在回归集上改善,只能说明这批问题改善了,不能直接推导出生产环境也会提升。

看逐题变化,而不只看总分

将前后版本按样本配对,分别统计修复和退化,并检查协议正确性与响应时间。分类体系不清楚时,先澄清标签边界,再讨论模型选择。这里公开的是方法,原始业务样本不在站点中。

主要工作

  • 冻结输入与版本
  • 回归集与留出集分离
  • 逐题修复与退化分析

候选模型的离线实验,不代表线上替换或生产效果。

接着看看

AI 研究 ↗