数据与指标：从回答质量到业务结果

01每个指标都有分母和适用对象

“准确率 90%”需要补充：在什么数据上，评价什么对象，一条样本怎样判定。分类任务的准确率与生成答案的人工通过率不是同一概念。样本难度、比例和规则改变，也会让数值变化。

产品报告里还要区分用户、会话和任务。一个用户可能发起多次会话，一次会话可能包含多个任务。不同分母的解决率和留存率不能直接比较。

02把常见指标放回对象

选指标取决于具体目标；下面列出的是理解口径的起点。

03一个数字如何产生误解

教学示例：版本 A 在 100 个简单问题上通过 90 个，版本 B 在 100 个包含复杂工具任务的问题上通过 80 个。不能直接得出 A 更好，因为样本不同。若两版在同一固定样本、同一规则下比较，才更容易解释版本差异。

再如平均延迟下降，但最慢的一部分请求仍让用户等待很久。只看平均数会遗漏长尾体验。要根据产品场景同时检查分布和关键类别，而不是一律增加指标。

04SQL、埋点和 A/B 实验分别做什么

埋点记录发生了什么，SQL 把记录汇总为口径一致的数据，实验设计帮助判断变化是否由某项改动引起。它们并不互相替代。记录缺失时，再复杂的查询也无法恢复没有收集的信息。

A/B 实验通常将可比用户分配到不同方案再观察差异；结果解释还涉及样本量、随机分配和业务环境。一个“上线前后”对比通常只是观察到变化，不足以单独说明因果。