法不净空,觉无性也。

第十章 预测怎样改变被预测者

2026.09.07

预测帮助人在未来到来前准备。天气预报改变出行,需求估计安排库存,风险评估可把支持提前给最需要者。拒绝所有预测,会让制度只能在损害发生后反应。预测也可能进入它所描述的过程。一个人被判断高风险后获得更多支持,结果改善;也可能受到更多限制,机会减少,结果恶化。后来看到的结果同时包含原始条件和预测后果。

延续虚构社区服务联盟。唐的综合资格已拆分,各部门仍使用“服务中断风险”安排跟进。设想两组起点相近的成员:过去迟交次数、收入波动与培训记录大致相同。甲组被标为高风险,得到提前提醒和交通支持;乙组也被标为高风险,却被减少岗位、增加核查并延后申请。三个月后,两组表现不同。

这不是现实模型实验,也没有统计效力。本章用合成对照提出反身预测的问题:判断改变了什么,结果由哪些路径产生,预防与预先处罚怎样区分,模型何时应因自己的影响而修正。

“预测性规训”把预测、预先限制与内化监视连成一项制度诊断。这个名称指向的是本章最严厉的结构,不能凭风险模型存在就直接使用。只有当预测提前分配监督、惩罚或机会,制度造成的后果又被删除并回写为对象本性,主体还必须持续按模型可见的形状行动才能保留基本资格时,预测才从有限判断转成规训环境。提前支持、可逆保护和能够接受反证的预测不属于同一结构。

预测怎样介入对象

“唐下月可能迟交”是概率判断;“因此每周提醒”是决定;“他最终按时完成”是结果。三层相连,不能合成模型准确或错误的一句话。若提醒有效,未发生迟交不表示预测虚假;若限制制造迟交,发生结果也不纯粹证明预测正确。记录应说明唐获得哪些资源、限制与观察。没有这些材料,模型只看到结局,会把制度参与删除。干预本身也可能依据预测强度变化,高风险者得到更多措施。比较时不能把不同后果当作相同环境。实际系统很难获得完整反事实。不能知道唐在另一决定下一定怎样,只能用对照、时间变化和机制证据逐步提高判断。承认不确定不等于放弃决策。制度可以采取可逆、比例有限的行动,并保留结果对模型和规则的反馈。

甲组得到交通券、截止提醒与人工联系,迟交减少。模型帮助发现需要,预测通过改变条件避免了自己所说的风险。这种成功不能只按“预测事件是否发生”评分。若目标是减少损害,风险未出现可能正是系统有效。也可能甲组本来就不会迟交,提醒只是增加打扰。要比较相似对象、不同支持强度和主体反馈,不能用善意推断效果。支持若必须接受高风险身份才能获得,会迫使人采用问题叙事。可以按具体需要提供交通或提醒,不把总体标签作为人格入口。资源有限时,预测排序有现实作用。完全平均可能让高需要者得不到足够支持。排序应说明误差、替代入口和最低保护。预防的伦理优势来自扩大行动能力,而非预测天然正确。若支持转成监视或强制,仍需另作比例判断。

乙组因高风险被减少班次,以防岗位中断。收入下降使成员更难支付交通,迟交增加。模型参与制造了后续数据。限制可能有正当理由。高后果任务不能等待所有不确定消失,临时减少权限可以保护他人。若暂停危险设备操作,可以同时提供训练和其他岗位,不必让全部收入中断。限制对象越窄,制造无关风险越少。决定者应记录限制期间的新困难,避免它们自动升级原风险。唐因班次变化错过培训,与无故拒绝培训,不应使用同一解释。限制结束需要条件。若每次受限结果都证明仍需限制,状态没有可产生反证的路径。一项最严厉的推论是,制度可以先减少机会与资源,再用受限者表现证明预先判断,形成没有公开造假的服从循环。指出风险是为了拆分后果,不提供怎样构造循环的步骤。

模型可能只说某群体中断概率较高,执行者却把每个成员当作已经会失败。概率从资源规划变成个体判决。群体信息可以作为初步材料,不能替代与当前任务相关的个体证据,尤其在高后果决定中。唐可能需要更多支持,却尚未违约。提供提醒可以基于需要;处罚和人格评价应基于实际行为与明确规则。某些预防措施本身对所有人普遍适用,例如安全培训。用统一低负担保护代替高污名筛选,可能减少误判。普遍措施也会浪费资源或给低风险者增加负担。分层不是天然歧视,关键是层级与后果是否相称。“预先有罪”是规范警示,不应替代技术分析。模型输出什么、执行规则怎样转译、主体实际失去什么,需要分别证实。

公开、监督与执行的变化

高风险成员被要求每日签到,低风险成员只需每周汇报。前者产生更多迟到、修改和异常记录,因为观察密度更高。记录数量差异可能来自行为,也可能来自检测机会。直接比较会把监督强度当作对象本性。细密记录可以及时发现困难,为唐证明自己按要求行动;也可能让微小偏差累积成风险史。低监督者的错误未被记录,不表示不存在。模型训练若只看到显性事件,会学习既有观察分布。审计可按观察机会计算、比较同类窗口,并记录规则变化。具体统计方法需由专业研究确定,本章不自造公式。主体知道被监督后会调整行为,这可能是真实规则遵守,也可能只在可见处合规。制度不能从可见改善直接读取内在认同。

唐知道自己被列为高风险,能够检查错误,也可能因预期失败而降低投入,或为了解除标签集中优化可见指标。秘密预测避免被针对性表演,却剥夺主体的更正和申诉。透明与有效性存在真实张力。主体不必取得敏感安全细节或他人数据,但应知道主要因素、用途、后果、期限和更正路径。只有一句“系统判断”不够。完全公布权重可能诱导形式合规,也可能让不合理规则更快被发现。担心规避不能成为永久秘密的空白理由。可以公开因素类别和决定逻辑,对高风险操作细节受控审计。透明有层次,不是全部公开或全部隐藏。唐为了改善评分而按时培训,行为也许符合公共目的;“为了分数”不自动使结果虚假。要看指标是否与任务相关,有无挤出其他价值。

唐多次看到风险提示,开始认为自己不适合稳定工作。他可能据此调整计划,也可能把制度限制误作固定能力。外部标签确实会进入自我叙述,但影响强度需要经验研究,思想实验不能断言统一心理后果。人会反驳标签、寻求其他材料,也会借风险说明理解真实困难。预测可能提供语言和支持,不只产生伤害。制度应把输出写成有限任务和时间判断,避免“高风险者”成为完整身份。提示哪些条件可改变,比宣告稳定类别更可修正。支持者也不能替唐决定正确自我解释。反对模型的人若要求他必须否认风险,同样占用主体叙述。自我理解不是模型效度的直接指标。唐认同预测不证明准确,拒绝也不证明错误;仍要回到材料和后果。

模型给出风险区间,住房人员把它解释为“不得例外”,岗位主管则视为提醒。相同输出进入不同职责,产生不同现实。模型开发者不能承担所有决定,执行者也不能把责任全推回模型。翻译规则是独立的制度选择。在哪一点增加支持、暂停任务或要求复核,取决于错误成本、容量和公共目标,不是数据自动给出。阈值也可能被绩效压力改变。部门害怕承担漏判责任,会倾向限制;预算紧张时又可能减少支持。模型准确度不能解释这些方向。执行者需要权限说明、升级入口和记录异议。下一章将讨论他们在目标、资源和现场冲突之间如何失去余量。个别工作人员不能随意忽略模型,但可以在授权范围内标记不适用、暂停高后果或请求复核。专业判断与可审计规则可以合作。

反馈污染及其责任

乙组受限后迟交增加,数据进入模型训练,类似成员以后更易被判高风险。制度后果被保存成历史规律。若不标记干预,模型会把自己参与的结果视为自然观察。时间越长,循环越难辨认。记录当时的资源、监督、规则和限制,让后来者知道行为在什么条件下形成。版本变化不表示旧数据无用,只是适用范围不同。删除所有受干预数据会损失重要经验,也不现实。可以分层分析,比较支持型和限制型后果,明确不确定。模型更新后仍需看现实结果。技术验证、程序审查和主体反馈分别发现不同错误,不能由一项准确率统领。若系统拒绝记录自身作用,预测会逐渐取得解释垄断:成功归模型,失败归对象,限制产生的困难继续证明限制必要。

漏掉真实高风险可能伤害本人、同事或公共资源;误把低风险者判高则可能剥夺机会。两种错误都不能只用另一种最坏情形取消。决策应按任务比较严重性、可逆性和承担者。高风险设备与普通课程需要不同门槛。机构常更看得见漏判后的公开责任,误判损失分散在个体生活中,因而偏向过度限制。审计要把两侧后果都带回。反对者也可能只统计被拒者,忽略他人安全和服务连续。完整责任不是预设放宽,而是让损失对称可见。可逆措施允许在不确定时先行动,例如增加观察而不取消全部资格。观察本身有成本和隐私影响,仍需期限。补救随错误方向不同。误判需要恢复机会、纠正传播和处理连锁损失;漏判需要照料受影响者并修正保护,而非寻找替罪者。

高风险名称看似技术中立,却能决定谁获得工作、住房和行动权限。掌握模型与阈值者因此拥有分配权。这种权力可以用于公共保护,也可能被用于压缩异议者机会。是否发生有意利用,需要输入选择、规则变更与后果模式证据。限制跨域调用、分开支持和处罚阈值、提供独立复核,可以在意图不明时先降低伤害。若某类表达被当作风险代理,制度可能使成员主动避免批评。需要确认表达是否真正与任务安全相关,不能从相关历史自动推出正当用途。一种更封闭的安排会让预测无法被外部检验,又把所有重要机会连接输出。主体为了生活优化为模型可见的形状,制度将结果称为自主秩序。批判不能反向提供代理变量或规避方法。这里需要核对权限、证据、后果与修复,不能从结构相似推定具体动机。

联盟宣布某街区中断风险较高,资源提前进入,也可能使供应商减少合作、居民遭遇怀疑。预测对象从个人扩到地方关系。群体风险有时是资源规划所需,不能只做个体评估。灾害、交通和供给本来具有区域差异。基础设施风险应推动设施投入,不应自动降低每位居民信用。把环境问题个体化,会让受限者再次提供恶化数据。公开群体预测可能动员支持,也可能造成退出和资产变化。发布者需说明不确定、用途和避免无关调用的边界。居民有权提供地方材料,但地方声音也不自动比综合数据正确。中心比较与现场经验需要可相互改变。群体标签解除后,关系后果可能继续。更正、资源恢复和外部通知是模型更新之外的修复。

怎样检验预测的实际作用

第一步说明预测对象与时间:什么事件、在何种任务和期限内。第二步记录它触发的支持、监督、限制和传播。第三步比较结果时保留干预差异,不把成功或失败直接归给模型。第四步检查主体能否更正输入、理解主要理由和获得替代入口。一项预测可能有效降低中断,却使用过度隐私;也可能程序透明却预测无效。技术效果不能替伦理,良好程序也不能替效果。还要问收益与错误由谁承担。总体中断下降,若少数人长期失去基本机会,不能只用平均结果结案。反例包括预测提供支持后扩大能力、透明风险信息帮助个人计划、分层资源减少既有不平等。批判必须容纳这些结果。停止条件同样重要。模型在哪些变化后重验,标签何时到期,什么材料会削弱使用理由,应在部署前能够回答。

联盟原来的决定单只有三格:风险等级、处置结果、经办部门。三格都能填满,责任链仍然是空的。它后来改用一张不计算总分的“预测处置记录”。一份虚构摘录如下:

预测处置记录 07-C

对象与期限:岗位连续性/未来三十日

输出与版本:中断风险偏高/模型3.2、岗位规则5.1

制度处置:交通支持;不降低岗位资格

未采用方案:减少班次——可能反向增加交通与收入风险

决定与复核:岗位主管签署;第十四日由异部门复核

到期与传播:第三十日失效;仅进入岗位支持系统

这张记录先写对象、任务和期限,再列模型与规则版本、输出怎样被翻译成决定、实际增加的支持或限制、没有采用的替代、决定者及复核者、标签到期和重新打开条件,最后登记结果曾传播到哪些入口。记录不是为了把一次决定包装得更专业,而是让后来者能够区分模型判断、制度翻译和现实干预。若一张表不能改变复核、资源或更正,它只是新的服从文书;若它让不同角色的决定获得版本和返回路径,制度才第一次能够观察自己的参与。

这项安排与 NIST《人工智能风险管理框架1.0》把治理、情境映射、测量和管理放在系统生命周期中持续处理的要求相呼应,也与美国政府问责局把治理、数据、绩效和监测列为相互补充的问责维度相近。两份框架不能证明唐的虚构案例会怎样发展,也不能替任何法域决定权利;它们提供的现实锚点较有限:模型上线后的用途变化、表现漂移、角色责任和持续监测,本来就是技术系统治理的一部分,不能在“准确率已经验收”后交给使用部门自行消失。

联盟把支持与处罚分开:需要提醒不自动降低资格,高后果限制需另有任务证据。所有决定记录干预版本,结果分析保留制度作用。唐能查看关键输入、提交更正并选择部分支持。拒绝支持不自动提高风险,真实违约仍按行为处理。在可行时,先用低负担支持、普遍安全和可逆措施,减少预测制造损害的机会。高风险任务仍可使用相称限制。独立复核者检查模型、阈值和部门翻译,能改变现实资源。更新沿传播链到达住房、岗位和其他入口。执行者可以标记不适用并升级,主体反馈进入审计却不被要求证明模型一定错误。多方材料共同修正。制度承认无法获得完整反事实。有限知识不是免责,而是采取较可逆行动、保留替代和诚实报告不确定的理由。

唐因风险判断未获岗位,机构后来只能观察被录用者的表现。没有进入的人缺少结果,模型无法从他们身上直接知道自己是否误判。选择决定了后续可见数据,这使高后果预测天然存在验证困难。不能把没有失败记录当作限制正确,也不能假设被拒者一定成功。录用者经过模型和人工筛选,其表现不能直接代表所有人。未录用者可能在别处产生材料,也可能完全没有可比机会。有限试用、替代任务或后续跟踪能增加信息,却会占用资源并影响主体生活。真实评估需专业设计与同意边界。制度至少应报告哪些结论无法由现有数据验证,并在不确定较大时采用较可逆后果。无法获得反事实不是宣布模型错误,也不是免责。若预测只奖励已经有机会者的成功,历史优势会进入模型。审计需检查机会生成过程,而不只检查结果表面一致。

联盟让三个系统分别评估唐,结果都显示高风险。多源一致可以提高确信,前提是来源和方法足够不同。若三个系统读取同一历史、共享同一标签或按相同阈值训练,一致可能来自共同依赖。数量不等于独立。一个模型低风险、两个高风险,需要比较任务适用、数据版本和错误成本,不能由管理者选择最方便结果。人工判断可以补充语境,也会受模型先验影响。让复核者先查看原材料或记录其独立判断,有助于辨认影响,具体程序需专业评估。模型组合可能提高稳定,也可能让责任更难追踪。最终行动仍由具有权限的人或机构决定,不能用投票式输出消除责任。共同依赖应进入说明:哪些数据共享、哪些方法独立、分歧如何处理。技术多样只有在现实路径上不同才形成校正。

期限、例外与拒绝的边界

“本周中断风险”与“未来五年不可靠”使用相似数据,后者范围更大、反证更难。短期判断容易过期,长期标签更可能追随主体。有些风险确实具有长期条件,制度不能每次遗忘历史。时间范围需要领域材料,而非由模型方便决定。收入、交通或培训可能迅速改变,旧数据应更快复核;稳定资质和长期设施条件可有不同周期。频繁更新能接近当前,也会增加监视和波动。主体可能因分数每日变化持续调整行为,失去可预测性。稳定窗口提供计划条件,重大新材料仍需更正。到期不是自动通过,而是旧预测失去单独决定未来的资格。长期预测若连接基本资源,需要更严格证据和申诉,因为一次误差占有更多未来。不能用“以后可以改善”掩盖当前关闭入口。

工作人员看到唐的交通记录已变化,决定暂不采用高风险输出。例外让现实材料进入,也可能产生熟人偏袒和不可预测规则。取消人工裁量能提高一致,却让已知不适用仍被机械执行。可靠制度需限制而非假装消灭判断。工作人员记录哪些输入过期、采取何种临时决定、何时复核。记录使相似个案可比较,也让上级不能只处罚偏离。主体不应依靠讨好工作人员获得例外。独立复核、替代入口和抽样审计减少私人关系成为唯一资源。例外过多说明模型或规则可能不适用,不能把每次成功救场都归为人性化服务。结构需根据模式改变。反过来,一次错误例外不证明所有裁量应取消。比较误差两侧和责任,才不在自动与人工之间来回摆动。

联盟停用旧模型,唐的风险标记仍存在于部门记录和工作人员印象。技术下线不等于现实后果结束。机构需要列出已知接收者、更新决定并说明哪些历史事实仍相关。不能因系统删除而抹去追责证据,也不能让旧输出继续作为当前资格。数据库状态更新,若岗位主管仍按打印名单工作,修复没有完成。传播链应有确认和失败返回。已发生的机会损失不总能恢复。补偿、重新申请优先或书面更正各自处理不同后果,具体权利依现实制度。工作人员形成的谨慎可能有新事实依据,应允许重新判断;仅凭旧模型印象则不能无限延续。模型停用也可能使真实高风险失去支持。迁移期应保留相关事实和人工入口,不把纠错变成突然无保护。主体可以要求说明,却无权删除所有不利历史。准确行为记录与争议预测要分开,保存目的和决定效力也要分开。退出审计让模型的生命周期包含遗留世界。否则制度只在技术面宣布结束,个体继续生活在预测制造的未来里。

唐要求完全退出风险评估。若模型只用于推荐低后果服务,退出较容易;若用于公共安全或稀缺资源,制度可能仍需处理相关风险。拒绝权不能由“数据属于个人”一句话决定,也不能因公共目的而消失。要看授权、必要性、替代和后果。唐可以反对跨域模型,同时接受任务培训和事实核验。制度不应把有限拒绝解释为总体不合作。对于必须评估的决定,主体至少应知道用途、提出更正并获得人工复核。非必要个性化则有更强退出理由。退出者不能因此被自动判为更高风险,否则选择成为惩罚。真实缺少必要材料时,机构可以暂停相应决定,并说明补充路径。预测治理的边界不是人人拥有无风险身份,而是风险判断不能未经论证扩成完整生活的持续观察。

下一章讨论执行者为何也失去余量。预测输出需要人解释,现场人员却常承担冲突而无权修改模型、资源或目标,最终用最保守执行保护自己。风险判断一旦提前分配监督、支持和机会,就可能改变后来用于检验预测的数据。限制可能制造困难,观察密度可能增加被记录的异常;若模型把这些制度后果当成对象原有属性,预测便可能形成自证回路。是否发生污染,要比较干预、观测与更新过程,不能只看最终准确率。同一机制也能用于预防。提前支持可以阻止损害,群体预测可以合理安排公共资源,透明提示可以扩大计划能力。判断的中心不是预测是否影响现实,而是影响路径是否可见、后果是否相称、结果是否把干预算回模型,以及主体能否产生反证。预测可以参与未来,不能因参与而垄断未来的解释。