Product Evals
让一个观察，成为可以验证的改进。
将真实产品任务、实际结果与支撑证据关联起来的评测工作流，输出有优先级的发现和具体可执行的验收条件。
概念示意 · 非应用截图
设计问题
怎样的产品评审，既能让团队据此行动，也能让另一位评审重新验证？
先定义成功条件，再执行任务；区分观察与推断，保留反例，并写清楚下一次如何验证。
- 我的工作
- 评测准则、测试任务、结构化证据记录，以及本地报告校验与生成工作流。
- 当前阶段
- 评测工作流 · 首轮样本
- 探索方向
- Task-based evals · Evidence · Review gates
工作流
01
定义
明确任务、约束和成功条件。
02
观察
执行任务，保留对应输出与证据。
03
判断
区分直接观察、影响推断和原因假设。
04
验证
为有依据的问题排序，并制定复测条件。
走进一个场景
目标改对了，任务仍可能没有通过。
Lovart 历史观察 · 2026 年 10 月 10 日 · 单次样本，待复核
01 / 04
只修改一张海报的日期。
请求明确要求保持原图尺寸不变。
02 / 04
日期修改正确，但尺寸也发生了变化。
原文件为 1088 × 1440，修改后为 1536 × 2048；原图仍然保留。
03 / 04
一个小修改，扩大了用户需要检查的范围。
这是对影响的推断；仅凭本次观察，无法确认底层模型或路由原因。
04 / 04
同时检查修改目标和受保护属性。
重复任务，对比日期、导出宽高，以及事先约定的非目标区域。
这是一份有明确日期的单次样本，不代表产品现状或稳定性结论；正式人工复核和重复样本仍待补充。
实现与机制
让流程可理解，
让边界可检查。
评测设计
基于任务的准则覆盖产品体验、AI 输出质量和人机协作。
证据约束
结构化记录将发现关联到证据，未验证的假设不能标记为确定优先级。
复核门禁
规则校验约束必填字段与评审归属；存在待复核发现时，报告不能标记为已复核。
当前
评测工作流
已建立 10 项任务集、完成 3 项任务的首轮实测，并具备结构化证据和本地 HTML/PDF 报告生成能力。
下一步
仍在探索
补齐关键任务重复样本，与人工评审校准准则，再覆盖更多产品类型。
人工主导、机器辅助的评测流程。报告生成器负责校验和呈现已有发现，不会自主检查产品或自动评分。