多轮比较与置信区间
什么时候两轮结果可以比较，以及如何读“无法区分”。
本页内容
优化之后，最常见的问题是“数字变了，是真的变了吗？”。AI 的回答本身有波动，测量范围也可能在两轮之间发生变化。PeakGEO 比较两轮结果时，只拿条件一致的回答做对比，并用置信区间判断差异是否超出了正常波动。本页说明比较的规则和结果的读法。
什么样的结果可以比较
比较的最小单位是一个可比单元：同一个问题、同一个模型、同一种问题类型、同样的采样条件（如地区、采集方式）。只有这些都一致，前后两轮的回答才放在一起比较。
以下情况会让单元变得不可比：
- 问题文本改过，或换成了问题库里的新版本；
- 前后使用的模型不同，或某个模型是第一次采样；
- 采样条件不同；
- 某一轮这个单元没有拿到有效回答（失败、超时或空回答）。
配对单元
在可比单元中，只有前后每一轮都有有效结果的单元才进入比较，称为配对单元。这样可以避免“这一轮多问了几个容易被提到的问题”造成的假变化。
- 复测对比和监测的轮间对比中，配对单元内的重复采样全部计入样本。
- 可见度面板的“效果对比”还会平衡前后两侧的重复采样数量，使两侧的有效回答数相同。
控制台会同时显示纳入和排除的数量，例如“3 组可比条件 · 前后各 12 条有效回答”和“未进入对比：优化前 2 条，优化后 4 条”。如果只有部分单元可比，看到的变化只代表这些单元，不能把“换了样本范围”解读为优化效果。
如何判断变化
每一侧的比率都按配对后的回答重新计算，并附带 95% 置信区间（见指标口径）。然后按以下顺序得出结论：
| 结果 | 条件 |
|---|---|
| 暂时没法对比 | 任一侧没有可比的有效回答 |
| 持平 | 两侧的比率完全相同 |
| 抽样误差内，无法区分 | 比率不同，但两侧的置信区间重叠 |
| 改善 | 两侧区间不重叠，且朝更好的方向变化 |
| 恶化 | 两侧区间不重叠，且朝更差的方向变化 |
“更好的方向”取决于指标：提及率、推荐率升高是改善；已核实事实错误比例这类指标则是降低才算改善。
示例
某个模型上，优化前 20 条可比回答中 3 条推荐了本品牌（15%），优化后 20 条中 8 条推荐（40%）：
- 优化前的区间约为 5.2%–36.0%，优化后约为 21.9%–61.3%；
- 两段区间重叠，因此结果是 抽样误差内，无法区分，尽管点估计相差 25 个百分点。
如果两侧各有 40 条回答，比率分别为 30%（12 条）和 70%（28 条），区间约为 18.1%–45.4% 和 54.6%–81.9%，不再重叠，结果为 改善。
想让差异更容易被区分，可以在监测计划中提高“每题重复采样”的次数，或扩大问题范围，见监测、复测与告警。
在哪里做比较
- 可见度面板 › 效果对比：可以按“两次测量”“两个时间段”或“优化事件”比较，并按模型、主题拆开查看变化来自哪里，逐题对比时可分别打开前后的回答。
- 监控与复测 › 复测对比：把首次诊断与每次复测并列展示，每项指标标注改善、恶化、持平、无法区分或暂时没法对比，并给出整体判断：有改善、还没有改善、变化不明显（正常波动）、有升有降、暂时没法下结论。
两边都有数据但问题版本、模型或采样条件不一致时，界面会明确提示无法给出可信变化，而不是硬算一个差值。
发布记录与首次被引用时间
在内容创作中登记发布链接后，或在可见度面板的“记录已发布的优化内容”中手动补充，发布记录会出现在“优化记录与效果”里：
- 首次被引用／检出：发布之后，第一次有有效回答实际引用这个 URL 的时间。还没有回答引用时显示“尚未检出”，不会用发布时间代替。
- 文章引用：前 → 后：按具体 URL 统计，不用整个域名代替。
- 选择“优化事件”比较时，优先使用关联行动的优化前基线，否则观察发布前 14 天；发布后持续观察 14 天，已有结果随时可查。
变化不等于因果
对比展示的是观察到的变化，不能直接认定为某次优化的效果。
即使区间不重叠、结果标为“改善”，也只说明在可比范围内前后出现了超出正常波动的差异。模型自身更新、其他网站内容变化、竞品动作都可能带来变化。同样，某篇文章被检出引用，也不能证明它让推荐率上升。PeakGEO 不承诺任何优化一定带来提升。