监测、复测与告警
定期监测、复测对比和告警触发规则。
本页内容
一次诊断只是一个时间点。“监控与复测”用同一组问题持续采样:监测计划按固定时间自动运行,复测用来对比优化前后的变化,提醒则在指标明显下降或回答出现错误品牌信息时通知你。本页说明这三部分如何工作、结果如何解读。
开始之前,品牌需要完成一次包含有效测量问题和模型回答的首次诊断,问题库中也要有通过自动检查的测量问题。
日常监测计划
在 监控与复测 页面的“日常监测计划”中点击“编辑计划”,有两个设置页:
问题与模型
- 选择要监测的问题和模型。保存时,计划会固定这些问题当时的文本。
- 问题库之后有更新时,计划会提示“题库已有更新”,但仍使用保存时的问题;勾选“更新为当前已通过检查的问题”后,才会换成最新的正式问题集。
- 每题重复采样:同一问题、同一模型每轮问几次(1–5 次)。次数越多,置信区间越窄,前后变化越容易区分;调用量按倍数增加。
时间与提醒
- 执行频率(每日或每周)、星期、执行时间和计划时区。启用定时监测并保存后才会生效,保存时不会立即补跑。
- 开启站内提醒,以及外发通知到 Webhook(见下文)。
如果只想临时采样一次,可以使用“发起测量 › 立即监控”,它只采样并记录回答,不改动日常监测计划,也不做前后比较。
执行记录
每次监测都会出现在“执行记录”中,显示范围、状态和回答。可以按模型筛选、搜索问题或回答,并查看每条回答的提及依据和推荐依据。有失败时可以点击“补试失败回答”,只重试失败的部分,已有结果保留。
最近一轮变化
每轮监测完成后,PeakGEO 会按模型,把自然发现提及率和自然推荐率与上一轮比较。比较只使用两轮中问题、模型和测量条件都一致、且都有有效结果的回答,口径见多轮比较与置信区间。
可能出现的标记:
| 标记 | 含义 |
|---|---|
| 比上一轮高/低 N 个百分点 | 两轮置信区间不重叠,变化超出正常波动 |
| 变化不明显(正常波动) | 两轮置信区间重叠,差异在抽样误差内 |
| 连续两轮下降 | 见下方“连续下降规则” |
| 已经不再下降 | 此前在下降,本轮回到或高于上一轮 |
| 这一轮没法和上一轮对比 | 没拿到回答,或目前只有一轮结果 |
| 监控的问题改过了,从这一轮重新开始对比 | 本轮问题集与上一轮不同 |
问题集变化:PeakGEO 会记录每轮所用问题文本的组合。只要这个组合变了,本轮就作为新的比较起点,不会把改题前后的数字接起来比较。
复测
复测用同一组问题再采样一次,并与比较起点对比,结果显示在“复测对比”中。
- 发起复测:选择问题与模型,确认比较起点。可以关联优化行动,也可以不关联(常规复测不修改行动状态)。默认问题范围来自“核心复测集”。
- 结果来源:可以启动新复测,也可以关联已有的监测结果;关联已有结果不会新增模型调用,但仍要满足问题、模型、测量条件和采样时间的比较条件。
- 发布后自动复测:在内容创作中登记发布链接后,系统会针对该行动关联的问题自动建立复测,不会扩大到无关问题。
每项指标标注改善、恶化、持平、抽样误差内无法区分或暂时没法对比,并给出整体判断。复测观察的是同口径指标的变化,不承诺因果提升。
提醒规则
所有提醒集中在 提醒与风险 中,分为三类。
监测提醒:复测出现明显下降
复测完成后,PeakGEO 按以下规则判断是否产生提醒:
- 先看推荐率,再看提及率;
- 与比较起点相比下降至少 10 个百分点;
- 且前后两侧的置信区间不重叠。
同时满足才产生提醒;一次复测最多产生一条。只降了几个百分点、或区间重叠的变化,不会触发提醒。
例:复测前推荐率 70%(40 条中 28 条),复测后 30%(40 条中 12 条),下降 40 个百分点,区间约为 54.6%–81.9% 与 18.1%–45.4%,不重叠,产生“推荐表现下降”提醒。
连续下降
监测计划按“计划 × 模型 × 指标”跟踪连续下降:
- 取最近三轮问题集相同的监测,三轮都需正常完成;
- 在三轮共同有效的回答上,比率一轮比一轮低,即连续两轮下降,就开启提醒;
- 之后若继续下降,记为“连续下降仍在持续”;某轮无法比较时记为缺口,不跨过缺口比较前后结果;
- 当某轮比率回到或高于上一轮,提醒结束。结束时会区分“已回到下降前的水平”和“已经不再下降,但还没回到下降前的水平”。
连续下降提醒是一个需要关注的信号,不等于统计上已经证明下降。请打开回答核对:是不是竞品被推荐得更多,或者 AI 引用的网页变了。
事实风险
当监测发现模型回答说错了品牌信息,或把品牌和别的品牌、产品、公司搞混时,会开启事实错误提醒。这类提醒独立于下降提醒,只有之后的回答确认已经更正才会结束。
Webhook 外发通知
在“时间与提醒”中开启“外发通知到 Webhook”,选择通知渠道并填写地址:
- 通用 Webhook(JSON)
- 飞书机器人
- 企业微信机器人
- 钉钉机器人
每个品牌一个外发地址,只接受公网 http(s) 地址。站内提醒与外发通知互不影响。
会推送的事件:
| 事件 | 优先级 |
|---|---|
| 回答里出现错误的品牌信息(首次发现) | P0 |
| 复测推荐率或提及率下降 15 个百分点及以上 | P0 |
| 复测推荐率或提及率下降 10–15 个百分点 | P1 |
| 连续两轮下降(提醒开启) | P1 |
| 连续下降提醒结束 | P2 |
| 错误的品牌信息已更正 | P2 |
“仍在持续”和缺口只记入时间线,不重复推送;同一次复测也不会重复推送。飞书、企业微信、钉钉使用各自机器人的文本消息格式;通用 Webhook 发送 JSON,包含提醒类型、品牌、计划、模型、指标、优先级、标题、说明和时间,便于你在自己的系统里按类型或优先级分发。通知语言跟随保存设置时的界面语言。
趋势从哪里来
可见度面板的趋势、问题追踪中的逐题趋势,以及监控页面引用的趋势,都由同一批真实测量的回答计算,不存在另一套单独的趋势数据。图上每个点都是一次实际测量,不补零,也不补造历史数据。不同测量的范围可能不同,看趋势时请结合样本数和比较依据;要判断变化是否可信,请使用同范围的多轮比较。