三个输入产生动作,读者可以叫出它们的名字
调用方收到的动作,由三个输入组装而成:字节上限、一份已编译的策略快照,以及确定性层。上限在解析之前先框住正文,正文还没被拆开,规模已经被限制住。快照负责选出动作,选的是记录、警告或拦截这一类策略动作。确定性层只供给这份快照里的规则所要求的匹配,不另起一套判断。读者即使从不打开本页的表,也应当能把这个顺序复述出来。顺序就是设计。评估时如果有人问这个动作从哪里来,答案应当停在这三样东西上。
把这件事讲完,三个输入就够了;另外只有服务自己的时钟,它决定快照里的例外是否已经到期。一场演示如果必须再引入第四个输入才能解释这个动作,就已经离开了设计。这条路径为动作本身拒绝的第四个输入,是生成式模型。快照旁边也不存在另一套更安静的策略,在求值器已经说出结果之后再去改写它。一份快照,一个动作。买方可以把这句话带进评审:动作是组装出来的,零件有名字,零件之外的东西不参与这个动作。
评估记录里值得单独写下一行:字节上限在解析之前生效,快照选出动作,确定性层只供给规则所要求的匹配。这行写全了,演示再想加一个模型来解释动作,就会和记录对不上。对不上的时候,要改的是演示,不是把模型补进路径。
查看器与执行读的是同一个求值器
有效策略查看器和执行路径调用同一个求值器。求值器内部的优先级固定为:例外,然后是发布阶段,然后是规则动作。看查看器的人,看到的就是执行将要应用的那一套顺序。这次共用调用,使查看器成为决策的证据,而不是在决策旁边另画的一张图。演示里打开查看器,应当是在看即将执行的判断,而不是在看一份可以各自表述的平行说明。
不一致就是失败的演示。查看器放行而执行拦截,或者执行放行而查看器拦截,被测的构建就是错的。本说明没有“差不多”这一档。修复的办法是让两个调用方回到同一份快照上。把屏幕标注成仅供示意,会把分裂藏起来,而不是把它合上。评估应当把这种分裂记成缺陷。讲解上的措辞不同,不能代替两个调用方读到同一份快照。
核对的办法很具体。拿同一条输入、同一份快照,分别问查看器和执行会给出什么动作。两个答案相同,这次演示才站得住。答案不同,就还没有回到同一个求值器上,屏幕上的说明再完整也补不了这个缺口。优先级在两边都是例外,然后是发布阶段,然后是规则动作。
别扭的情形仍然留在快照上
确定性层拿不准的时候,不会去询问生成式模型。别扭的提示词仍然由快照和确定性层决定。只在难例上调用通用模型,会恰好把这些提示词放到查看器无法依据快照重放的系统上。这种分裂,就是本页要挡在路径之外的失败。难例不是开一扇旁门的理由。旁门一开,查看器就不再是决策的证据,评估也就无法核对“屏幕上看到的”和“路径上执行的”是不是同一件事。
编码器接缝是已披露的替代物,它受的限制和禁止生成式模型不是同一条。本 POC 不为这个接缝公布精确率、召回率或质量数字。编码器给出的分数不是裁决。接缝不在的时候,缺失保持为它自己的状态,不会换上另一个模型来把面板填满。无论接缝在不在,动作仍然是快照的动作。评估记录里应当能同时看见两件事:分数没有被当成动作,缺失也没有被涂平。
难例因此没有特权通道。提示词别扭,仍然先看上限有没有框住正文,再看快照选定了哪个动作,再看确定性层给出了规则所要的匹配。这三步走完,动作就已经有了。再去请一个通用模型“帮忙看一眼”,看到的就不再是这条路径愿意负责的那个动作。
发布移动指针,已经开始的请求在它开始的地方结束
发布写入一个新的策略版本,并移动活动指针。执行持有该指针所选定的已编译快照,并把这份快照作为整体交换。已经开始的请求,在它开始时的那份快照上结束。请求进行期间指针发生移动,不会把两个版本拼进同一个动作。下一笔请求才看见新的快照。进行中的工作不会在半路被改写,操作者也不必猜测这一笔到底用了哪一半规则。
先前的版本在指针移动之后仍然留着,所以历史还可以读。回滚把指针移回较旧的版本,已经发布的规则保持原样。本节说到这里,是为了让裁决路径和策略历史描述同一次操作。审计链另有自己的确认规则:锚定节奏只在摘要与已存储的字节匹配时才前进。那是另一份记录,不在这里重新推导。两件事可以同时为真:策略指针已经移动,审计节奏仍停在它自己的条件上。
操作者若要确认某一笔请求用的是哪一版,就看它开始时指针所指的那份快照,而不是看它结束时指针停在哪里。发布写入的是新版本,移动的是指针。已经在途的请求不跟着指针改道。把“发布已经点下去了”说成“这一笔已经按新版本裁决”,就多讲了设计里没有的那一步。
延迟字段是空的,空不是一项基准
裁决延迟的百分之九十五分位是空的。字段空着,是因为额定负载下的测量属于后面的阶段,还没有做。用少量开发请求算出来的数字,很难和一项基准区分开,所以产品把字段留空,而不发表那个看起来像基准的数。吞吐、图形处理器以及模型质量方面的数字,也因为同样的原因缺席。它们还没有被测量。空着的字段是限度,不是一张等着填数的表格。
空也不是零,更不是在说这条路径很快。评估如果需要一份延迟预算,应当在自己的条件下去测。本页不会编造这个预算,也不会把“路径上没有生成式模型”说成好像这个缺席本身就是一项计时结果。速度和架构是两句话。这里只陈述架构。买方若把空字段读成很快,或者读成零延迟,读法就错了。
空字段要原样留在评估笔记里。笔记可以写:额定负载下的延迟尚未测量,所以不引用数字。笔记不该写一个“大约”来填空,也不该用“因为没有调用生成式模型,所以一定更快”来代替测量。架构已经说完了。速度要等测量做完再单独说。
如何阅读这张表
| 把它读成 | 意思是 | 不要读成 |
|---|---|---|
| 输入 | 字节上限、已编译快照、确定性层 | 第二套更安静的策略 |
| 生成式模型 | 留在这条路径之外 | “难例”助手 |
| 延迟 | 测量之前保持为空 | 几次开发调用得出的数字 |