作者简介:张雨,女,法学博士,湘潭大学法学学部信用风险管理学院讲师。
本文原载于《行政法学研究》2026年第3期,转载已获作者授权,因版面有限,省略注释。作者身份信息为发文时信息。
摘要:算法决策系统既不能被简单视作行政机关或公务人员,亦不能等同于公有公共设施,而是人、数据与算法相互作用形成的社会技术系统。适用“人的违法致害”或“物的瑕疵致害”进行行政归责,难以有效解决算法决策致害的行政归责难题,需重新梳理致害原因、致害行为、致害后果等要件。算法行政决策的致害原因既包括算法决策系统的设置缺陷,又包括行政机关的监督管理瑕疵。致害行为能否归责于行政机关,需判断是否构成行政职务行为、是否为最终行政决定、是否为具体行政行为。若不符合上述任一要求,则行政机关可免责。致害后果有实际损害、致害风险两种形式,行政机关不需承担纯粹利益损失、致害风险的损害赔偿责任,只有造成权利与利益双重受损的实际损害,才可由行政机关承担损害赔偿责任。
关键词:自动化决策;鉴别分类;实际损害;致害风险

一、问题的提出
数字时代,越来越多的行政机关选择拥抱算法,依靠自动化决策系统来履行或辅助履行行政职能。这一做法在我国被大力支持与推广,《法治政府建设实施纲要(2021-2025年)》指出,数字法治政府要“善于运用大数据辅助行政决策、行政立法、行政执法工作”。数据是自动化行政决策的原料,算法是自动化行政决策的引擎。但自动化在行政领域的广泛应用将改变行政权力的基本结构与运作方式,极易产生算法歧视、算法权力失控等不良现象,侵害相对人的合法权益。当机器接管原本由人类执行的行政任务时,针对人的行为设计的正当程序规则与行政问责机制在保障相对人权益方面开始出现不足。这引发学界对自动化行政的合法性担忧,提出要从“技术正当程序”“算法解释与算法透明”“算法技术可问责”等多方面来对其进行法律控制。其中,明确行政机关的法律责任是对自动化行政合法性控制的最佳方式之一。
通过政府采购、行政委托或授权等方式,行政机关可将其全部或部分行政职能交由算法决策系统来实施。算法决策系统的加入打破了传统行政法律关系中行政主体与相对人的二元关系。虽然在法律意义上将自动化行政算法决策系统的行为归属给行政机关并无难处,但在实际问责过程中将极大加重行政相对人的法律负担。因为相对人很难透过决策系统清晰地判断权益遭受侵害的真实原因,而这将增加其证明损害后果与侵害行为间存在因果关系的难度。传统的行政归责路径大致可分为两类:一是判断损害后果是否因行政机关及其工作人员违法履行行政职能而导致(即“人的违法致害”);二是辨别损害后果是否因行政机关设置或管理的公共设施而导致(即“物的瑕疵致害”)。但算法行政决策致害在适用上述两种路径进行归责时将面临挑战,主要原因在于算法决策系统既不能简单地被视作行政机关或其工作人员,也与传统的公有公共设施存在差异。基于此,本文将重新梳理自动化行政中算法决策的致害原因、致害行为、致害后果等归责要件,以进一步明确行政机关在自动化行政算法决策致害中的归责路径。
二、自动化行政算法决策的致害原因分析
算法行政决策系统不同于传统的公有公共设施,也与一般的行政机关或公务人员存在差异,其行政职能的实现离不开人、数据与算法的互动,属于社会技术系统的范畴。任何公有公共设施的致害过程都或多或少地包含人为的因素,但在算法决策致害过程中,人与物的结合,以及互动方式比传统的公有公共设施更为密切。自动化行政算法决策系统既不能缺少算法、数据等“物”的因素,更不能缺少算法设计者、行政专家等“人”的参与。算法只能确定自动化系统产生的部分结果,其余很大一部分结果必须依靠人、数据与算法的互动。算法设计者对数据的选择与部署方式、采用的测试方法与评估手段,行政专家提供的专业知识,行政机关工作人员的决策偏好等多种要素,在更大程度上决定了算法决策的最终结果。算法行政决策结果是由多种因素(既包括人的因素,又包括物的因素,还包括人机交互因素)决定的事实,极大增加了判断致害原因的难度。而因果关系的判断,会对行政机关是否承担责任、承担何种责任及相对人的损害能否得到弥补等核心问题,产生决定性影响。因而,有必要专门分析算法行政决策系统的致害原因。在实践中,算法决策系统的设置缺陷、系统管理瑕疵常被视为主要致害原因。
(一)自动化行政算法决策系统设置缺陷
算法决策系统在设置上的缺陷通常表现为“算法设计失误”与“数据输入瑕疵”两个方面。这两种缺陷既不能单纯地归属为“物的瑕疵”,也不能简单地等同于“人的行为违法”,而是在更多情况下表现为人与物的共同作用。
第一种缺陷为算法设计失误。算法行政决策系统的设计失误包括逻辑规则错误、统计模型偏差两种情形。首先,算法逻辑规则是构建决策系统模型的基础。若逻辑规则不正确,则决策结果出现错误的概率将极大增加。在美国阿肯色州医疗服务评估算法决策失误系列案件中,阿肯色州公共服务部采用的算法评估系统(RUGs和ARIA)仅基于“标准化的评估设计”,没有考虑需要医疗护理的残疾人的个体差异。对于残疾人士的判断,系统仅考虑“是否存在足部疾病”,而不另外识别“是否存在肢体缺失”这一特殊情形。在这种逻辑规则下,截肢者被判定为“无足部问题”而被剥夺获得上门护理的权利。对于精神疾病患者的识别,算法也没有进一步区分痴呆、精神分裂等影响上门护理需求的特殊因素,患者一旦被分配到某一护理等级,即使病情恶化,系统也不会动态进行调整,导致医疗护理资源分配不公。其次,统计模型出现偏差也会影响决策结果的正确性。阿肯色州的算法评估系统采用线性回归模型,但现实中患者的护理需求受多因素的非线性影响,如瘫痪、精神疾病的叠加因素都未被纳入考量范围。最后,机器学习过程中需通过分析训练数据来发现潜在规律,并依据发现的规律来作预测。若机器自主选择的训练数据不完整,也会影响结果的准确性。例如,阿肯色州算法评估系统依赖的InterRAI评估问卷在采集训练数据时未能涵盖患者的跌倒频率、失禁情况等决定是否需要医疗护理的关键指标,导致模型无法准确预测患者真实的护理需求。
算法逻辑规则错误与统计模型偏差均是在人与物的共同作用下而产生的,如算法设计者未能考虑更加个性化的因素,导致统计模型设置过于简化;机器自主选择的训练数据因抽取规则设置不全面,导致决策结果出现失误;等等。但算法设计者的行为并不一定构成公务人员的违法行为,同样,算法决策系统自主选取训练数据过程中出现的失误也不同于传统的公有公共设施的管理瑕疵。
第二种缺陷为数据输入瑕疵。输入算法决策系统的数据质量低劣、数据更新滞后、数据与算法不匹配也会影响行政决策效果。以美国密歇根州失业保险局采用的MiDAs系统为例,数据录入依赖人工,但基层工作人员的录入记录存在错误或缺失数据的情形。比如,数据库录入的字段格式不统一,录入的自然人“姓名”字段有些包含中间名,有些则不包含。这些数据录入瑕疵导致无辜的人被错判为存在失业救济欺诈行为而被罚款。在数据更新方面,系统采用的雇主季度报税数据与申请人的实时申报数据存在3至6个月的延迟,并且系统也未对“未更新”状态进行单独标注。在数据与算法的匹配方面,该系统主要采用基于历史数据的监督学习模型,其使用的训练数据中“欺诈”案例多为极端个案,导致模型对普通失业保险金申领者过度敏感,那些存在多任雇主、零工经济收入情形的低收入者更易被系统误判为“失业欺诈者”。
数据输入瑕疵也不一定构成公务人员的违法行为,但也并非仅仅表现为人的失误,因为人有时也无法介入训练数据与测试数据的选择过程。例如,在无监督机器学习模型中,机器随机抽取训练数据与测试数据,根据其抽取的数据来提炼规律并以此规律做出预测判断。若机器找到的规律只符合某些极端个例,与现实中的多数情形并不相符,则会出现更大范围的误判。因而,数据输入瑕疵也不能简单地归属为“人的违法行为”或“物的瑕疵”。
(二)自动化行政算法决策系统在管理上的瑕疵
算法决策致害还可能归因于行政机关对算法行政决策系统的管理瑕疵。行政机关对算法决策系统的管理目的在于保障系统发挥预设的行政决策功能,其管理权限应贯穿于算法决策系统的设计、建造、使用与维护等全过程。但算法决策系统不同于一般的公有公共设施。行政机关不仅要对数据、算法与网络采取更高级别的安全保障措施,还需要满足依法行政、正当程序、为相对人提供行政救济等行政法上的基本要求。一般而言,行政机关对算法决策系统的管理瑕疵可分为两种情形:一是对算法决策系统的审查与监管缺失;二是未能为相对人提供有效的申诉救济渠道。
第一种情形为行政机关对算法决策系统未尽审查与监督义务。首先,若行政机关在设计开发过程中未能对算法进行验证,则算法逻辑规则可能偏离实际需求,导致侵害相对人的权益。例如,美国阿肯色州医疗服务评估算法决策系统的开发团队只是在理想的数据环境下测试算法,州政府也未进一步审查该算法是否符合行政管理的实际情况,导致系统忽略阿肯色州低收入群体的实际需求。同时,政府未能及时发现算法决策系统未设置针对自动化决策错误的“熔断机制”。因在整个系统决策过程中没有人工复核的流程,系统作出的错误决策将直接对行政相对人生效,相对人无法在事前听证并提出异议。其次,若行政机关未能在算法使用过程中跟踪审查、监督算法决策系统的运行,则无法针对错误决策及时采取补救措施,将使行政相对人权益受损情况加剧。例如,美国密歇根州MiDAs系统检测到未报告的多笔小额收入,或者发现申请者的信息与系统中雇主提供的信息不符时,就会将其标记为“失业欺诈者”,并自动向该申请者发送一封类似于罚单的决定书,要求申请者返还已获得的失业救济金并缴纳罚款罚息。相对人不仅被错误地标记为失业欺诈者,还丧失了申请失业救济金的机会,甚至要缴纳巨额罚款。但这样一种对相对人权益影响巨大的行政决策过程几乎没有人工参与,州政府不仅忽视了算法决策的潜在风险,甚至在案件庭审过程中表示其压根就“不懂该系统如何运作”。美国政府对算法决策系统的盲目信任正好说明其未能履行相应的监督与审查义务。最后,若行政机关在发现算法决策系统存在漏洞后,仍怠于对系统进行更新与修复,将扩大权益受侵害的范围。美国密歇根州的MiDAs系统自2016年开始被起诉,在Zynda诉Arwood案中双方达成和解,该系统短暂地被停止使用,但仍未对算法进行修复与更新,导致出现越来越多的受害者。随后受害者们向法院起诉时指出,密歇根州失业保险局及其算法供应商明知MiDAs存在高达93%的失业欺诈误判率,但并未采取任何有效措施来解决该缺陷,并继续执行错误的失业欺诈决定,使得受害范围不断扩大。
第二种情形为行政机关未能保障相对人的正当程序权利。在由人作出行政决策的过程中,行政机关设置听证、告知等正当程序机制,便于相对人知悉自己的权益保障状态并及时采取救济措施。但算法行政决策系统将削弱甚至消除这些程序性要求的保护作用。首先,行政机关在算法行政决策作出前,若未能为行政相对人提供适当的听证参与渠道,则可能消解相对人的听证权并侵害其他权益。例如,美国移民与海关执行局(ICE)采用一种风险评估算法,来帮助决定是否对美国境内的非法移民适用保释。ICE风险评估算法排除了“具结释放”的可能,系统实质只能提供“无保释直接拘留”的建议。但只要移民法官举行保释听证会,则大约40%被ICE拘留的人就可被授予保释释放。由于保释听证会是在拘留决定作出后举行,这预示着许多应被保释的人丧失了初始释放的权利,从而遭受更长时间的行政拘留。其次,行政机关在算法行政决策作出时,若不能将影响其决策结果的事实及时通知相对人,则可能侵蚀相对人的知情权导致相关权益受损。例如,美国联邦调查局管理的“禁飞名单”,因其列入标准和纳入程序未完全公开,只要政府认为某公民符合列入标准就将其列入“禁飞名单”,而在列入名单时该公民并不会接收到任何通知,公民直到乘机时才得知自己被禁飞。由于决策作出时相对人未获通知,其知情权受到限制的同时也将限制其他合法权益,如行动自由、财产权益等。最后,行政机关在算法行政决策作出后,若不能为相对人提供便捷的申诉渠道,将加重相对人负担,阻碍相对人行使救济权。在美国密歇根州MiDAs系统与移民风险评估系统致害案件中,由于缺乏必要的申诉救济渠道,受害者最终只能向法院起诉才能质疑算法行政决策,极大增加了受害者的救济成本。
算法行政决策致害的原因既有决策系统设置上的缺陷,又有行政机关对算法决策系统监督管理方面的不足。算法决策系统的设置缺陷是人、数据、算法等多元因素共同造成的,而行政机关未能对决策系统进行监督管理又将加剧算法致害的范围与程度。因此,不能简单套用“人的违法致害”与“物的瑕疵致害”归责框架来分析算法决策致害的法律责任,需重新梳理算法决策行政归责的基本要件,并剖析不同要件在归责过程中存在的特殊问题。
三、自动化行政算法决策的致害行为判断
致害行为是算法行政决策的归责要件之一。但“行政决策”并非行政法上的固有概念,应先明晰“行政决策”这一核心概念。在心理学上,决策是一个通过处理外部信息而获得内部认知,并将其表达为外部观点的思维过程。该思维过程高度依赖信息处理,思维结果能否正确地反映现实情况,直接与其获取的信息质量以及对信息的处理过程密切相关。类似的是,行政法的适用也遵循信息收集、信息处理与结果输出这样的思维过程。行政机关输入事实信息,将其与法律规范要件进行匹配,判断该事实能否适用法律规范并得出适用结果,最终再对外输出该结果。因而,行政决策可以视为信息输入—处理—输出的过程视角下对所有行政行为的抽象概括。不论是行政规则制定、行政给付,还是行政许可、行政处罚等行政行为,均遵循收集信息、处理信息并得出结果的决策框架。因而,本文所讨论的行政决策是对上述行政行为的一种抽象概括。
并非所有的算法行政决策都能被追责,其通常需要满足特定的条件:一是判断算法行政决策是否为行政职务行为,以排除算法设计者与行政机关工作人员的私人行为;二是判断算法行政决策是否为终局性行政行为,以排除某些行政决策的过程性或辅助性行为;三是判断算法行政决策是否针对特定的个体行政相对人或相对人群体,以排除那些抽象的针对不特定对象的行政行为。若不能满足上述任一条件,则行政机关均能以此免责。
(一)自动化行政算法决策的行政职务行为判断
政府采购、行政委托或授权是私营主体参与或执行行政职务的重要渠道。根据参与方式不同可分为两种模式:第一种模式是政府与私营部门合作共同搭建数字行政决策平台,由政府提供数据,私营部门设计与开发专门的自动化系统,专供行政机关使用,私营部门对系统进行更新与维护。第二种模式是政府将其部分行政决策业务委托给私营部门,私营部门开发特定算法模型,由该私营部门开发的算法决策系统代表政府来履行特定行政职能。
在第一种模式下,算法决策系统可能涉及解释已有行政法规与规章、行政裁量甚至创设新的行政规则,这些行为一般可归属为行政职务行为。在专家系统中,算法设计者与行政专家开展合作,将法律规则转译为代码规则,这种转译算法的应用过程实际是对法律规则的解释。行政专家与算法设计者解释、说明与补充行政决策的法定条件,为机器判断事实要件是否与法律要件相匹配确立基准。如果这一环节出现问题,转译算法模糊甚至丢失部分法律规则的原意,则系统最终决策结果将出现偏差。算法设计者与专家因是在行政委托或授权的基础上开发系统,其转译法律规则的行为可被视为行政职务行为。在机器学习模型中,行政机关为算法设计者提供抽样数据与训练数据,算法设计者建构底层算法逻辑规则,选择适当的统计模型,由机器自主选择训练数据与抽样数据。机器通过自主学习可在其选择的数据基础上发现并提炼数据间的相关性规律,这些相关性规律最终将演变为行政决策的基本规则,但这些规则仅通过行政委托或授权不能获得合法性支持,因为其可能对相对人的基本权利产生实质性影响,理应受到法律保留原则的限制。此种行为因缺乏合法性基础而存在越权的嫌疑,可能构成行政机关的违法行政行为。某些“完全自动化”行政决策系统实际是在行使行政裁量权,但其可能忽略裁量行政行为的判断余地,而直接变为单一路径的羁束行政行为。例如,上文提到的美国密歇根州的MiDAs系统仅根据申请者输入数据与存量数据比对结果不符这一事实,就直接将特定公民判定为“失业欺诈者”,而忽略对其他影响裁量结果因素的考量。在此情形下,算法行政决策系统的行为改变了行政裁量行为属性,限制了相对人的基本权利,构成行政职务行为。
在第二种模式下,政府向私营部门购买算法决策系统,系统为行政决策者提供决策辅助与指导,可根据其与决策结果的关系来判断是否构成行政职务行为。算法决策系统在行政决策过程中至少具备如下功能:一是向行政机关提供决策信息支持。例如,用于帮助指导美国移民法官确定是否适用保释以及保释条件的ICE风险评估系统,其对申请者的风险进行预判并向移民法官提供保释建议。人类决策者可自由选择是否接受系统建议,不受系统建议的约束。当接受该建议并依据该建议作出决策结果时,算法决策系统的行为是后续人类作出最终行政决定的过程性行为,是组成行政决定的一部分。二是对输入的事实信息进行鉴别分类,而鉴别分类结果将决定未来选择何种决策路径。例如,英国使用的移民筛查工具,自动为申请者分配不同颜色(如红色、琥珀色、绿色或超级绿色)标签,用于指示申请者入境风险。根据这些颜色标签,系统将申请转发给具有不同资历的移民官员,如带有红色、琥珀色与绿色标签的申请者需要移民官员进一步判断风险,而超级绿色标签的申请者则不需要移民官员判断。此时系统已对案件事实做了初步裁决,即根据特定规则对相对人分类,虽然不能算作最终决策的结果,但却可能已对相对人权益产生危害,这种鉴别分类既可能是最终行政决定的过程性行为,也可能作为独立的行政职务行为而被追责。三是通过合并、汇总并分析多项决策结果,为行政决策者推荐最优决策结果。例如,在信用联合奖惩过程中,拟作出行政奖惩的行政机关需参考其他行政机关对同一行政相对人或类似事项所作出的奖惩决定,决策系统可以帮助其汇总类似奖惩决定,并向其推荐与其情况最相符的决策结果。对于系统汇总的类似决策结果以及最优决策结果的推荐,人类决策者仍具有自由选择的余地。若人类决策者选择接受建议,则系统行为仍可构成行政职务行为。
(二)自动化行政算法决策的行为终局性判断
行政决策通常是由多个前后衔接、次序递进的行政行为构成的行为集合。只有行政机关对相对人作出的具有法律约束力的最终行政决定,才可能被追究法律责任,某些过程性或辅助性的行政行为因最终行政决定的吸收而被排除在外。算法行政决策也符合行为集合的特点,但决策前提、信息沟通、决策路径以及决策结果并非总是按照既定秩序井然排列。仅从行为发生的先后次序来判断行为终局性仍有所不足,需综合考虑行为对最终决策结果的影响程度。
可行政归责的算法决策通常是行政机关决策过程的最终步骤,而非中间性或程序性决定。例如,在“何×诉上海市公安局黄浦分局交通警察支队”一案中,虽然违法鸣号电子监控系统自动生成的图片是一种决策结果,但该结果是作为何某交通违法的证明材料,而不是直接代替警察作出的最终违法裁定。若发生违法认定错误造成相对人权益受损,可行政归责的行为应为交警作出交通违法裁定这一最终行为。当系统仅作为行政决策的辅助工具时,算法决策多发生在行政决定作出之前,因其对决策结果的效果被最终的行政决定吸收,而可判断为行政过程性行为不具有终局性。
即使某些算法行政决策在发生次序上不是最终的,但若已对相对人产生了单独、不可逆的损害,也可判定为具有终局性而被追责。这种情形出现在全自动化行政决策中的可能性较大。在无需人工参与的全自动化决策系统中,错误的算法决策可能引发多样损害后果,不同的损害后果之间存在一定关联性,而该决策行为发生在作出产生损害后果的行政决定之前。例如,美国MiDAs系统自动对申请者作出“失业欺诈”判定,申请者因该错误的“失业欺诈”判断结果,首先被失业保险机构作出拒绝申领失业救济金的决定,然后被社会保障部门作出退还已申领的失业救济金并缴纳罚款的处罚决定。如果未按时退还并缴纳罚款,则还将被税务部门作出扣押其个人所得税退税的决定,或者被扣押工资。算法决策系统的“失业欺诈”决定引发了一系列连带的不利于相对人的行政决策后果,但“失业欺诈”错误判定行为本身就侵害了相对人的名誉权,且这种损害一旦发生很难恢复原状。虽然“失业欺诈”决策发生在惩罚性决定前,但其是导致惩罚性后果的直接原因,对相对人产生了单独的、不可逆的损害。
(三)自动化行政算法决策的行为具体性判断
即使算法决策行为构成行政职务行为,也可能因行为属于抽象行政行为而被排除在行政可诉范围外。《中华人民共和国行政诉讼法》第13条规定的“行政机关制定、发布的具有普遍约束力的决定、命令”这一类行政决策行为不具可诉性。算法决策系统除了对已有行政法规与规章进行转译之外,还可能参与制定或发布新的行政决定或命令。但能否将上述行为排除在行政可诉的范围之外,关键在于判断其是否具有普遍约束力。对“普遍约束力”的判断可分为两个方面:
第一,判断受算法行政决策影响的相对人是否特定。自动化系统在行政机关制定、发布行政决定或行政命令时主要起到两种作用:一为辅助制定或作为发布的媒介。此时针对的相对人通常为不特定多数人。例如,通过电子政务系统发布行政命令,或者将行政机关作出的行政决定公之于众。二为代替行政机关作出行政决定或行政命令。当算法决策系统代替行政机关作出行政决定时,其根据类似事实或情形对多个行政相对人批量作出的行政决定并不会影响行为的特定性。例如,人力资源和社会保障部门为提升行政效率而采用无人工参与的“全自动化审批”方式来审理每一位应届毕业生的档案材料。此时虽然是批量处理但并不会影响审批行为针对对象的特定性。可见,算法行政决策针对的当事人是否具有特定性,不能仅凭受影响相对人的数量来判断。
第二,判断算法行政决策是否对外产生法律效力。算法在行政决策中的作用可分为五种情形。第一种情形是为制定行政决定提供材料支持。例如,行政机关工作人员利用自动化系统自动生成会议纪要,作为制定行政决定的支撑材料。该自动化决策结果并不对外产生直接的法律效力,而是单纯的政府内部程序行为。第二种情形是作为行政决定的过程性行为。例如,交警采用交通违规电子监控系统拍摄违规照片,作为作出行政处罚决定的证据材料。即使没有算法决策系统,行政决策者也需要经过寻找或发现证据、对决策事项进行分类等过程来帮助其作出行政决定。此类过程性决策行为在大部分情形下因最终行政决定的吸收而不单独对外产生法律效力,但若其对行政相对人产生了单独的、不可逆的损害,则仍有可能被行政追责。第三种情形是由自动化系统作出预测性行政决定,但是否接受仍由人类决策者来决定。虽然该决策结果由机器自动作出,但其能否对外部的行政相对人产生约束力仍取决于人类决策者。只有人类决策者接受其预测结果,才有可能产生外部约束力。第四种情形是由自动化系统作出行政决定,且人类决策者不对其进行审查,直接对行政相对人产生法律约束力。例如,行政机关采用“无人自动化审批”决策系统,审批结果由机器直接面向相对人作出,对相对人产生法律效力。第五种情形是自动化系统作出的行政决定或命令仅存于系统内部尚未对外公布,如何判断是否对特定相对人产生影响。以美国密歇根州MiDAs系统为例,当系统内部将特定群体标记为“失业欺诈者”,且该结果一直未通知该群体,亦未对公众公开时,虽然此时受到算法行政决策影响的当事人是特定的,但由于发生在系统内部并未对外公开,其对该特定相对人的影响暂处于一种风险状态。这种风险能否视为已经对相对人产生实际损害,下文将详细分析。
四、自动化行政算法决策的致害后果区分
自动化行政中算法决策的致害后果可区分两种情形:一种是导致发生实际损害;另一种情形则是存在损害发生的风险(致害风险)。判断行政机关是否需对上述两种致害情形承担法律责任,还需根据致害后果的具体情形来辨别其对相对人权益的侵害程度与侵害范围。
(一)实际损害
实际损害指的是实际存在或已经发生的损害,是一种事实的损害状态。《中华人民共和国国家赔偿法》采用实际损害的赔偿原则,规定只有“行政机关及其工作人员侵犯行政相对人的合法权益,造成损害”,才需要承担国家赔偿责任。但对于“合法权益”的具体范围并未作明确规定。算法决策致害有时指向相对人的权利受到侵犯,如相对人的正当程序权利受限;有时又指向利益的减少或损失,如相对人因算法决策结果而被罚款或限制人身自由。如何判断算法决策造成对相对人的实际损害,进而确认行政机关应承担的责任,需要区分具体情形分析。
第一种情形为相对人的权利受到算法行政决策侵害的同时,财产利益以及法律保护的非财产利益也被减损或限制,此时构成实际损害。例如,在美国阿肯色州医疗服务评估算法决策失误系列案件中,相对人的生命权与健康权被错误的算法决策侵犯,其免费获得护理的财产利益也被减损,若其要获得额外的护理就必须自行承担费用。这种损害因错误的算法决策而导致,且损害后果是实际发生而非主观臆断的。权利的侵害除了导致财产利益受损外,还可能导致人身自由的减损。例如,美国ICE采用的移民风险评估算法因删除建议“具结释放”的功能,导致美国移民人身自由的减损。相对人的法定权利被侵害,财产利益或人身利益也被减损。这种损害状态已相对具体明确。
第二种情形是相对人的权利受到算法行政决策侵害,但并未产生实际的财产利益损失或非财产利益损失,此时也可视作一种实际损害。例如,行政机关未能对算法行政决策系统进行监督审查,导致相对人的听证权、建议权等程序性权利受损,但暂未造成相对人财产性利益或其他非财产性利益的损失。再如,行政机关根据算法决策系统预测特定公民为“严重失信者”“恐怖分子”或“失业欺诈者”,但其并未对外披露也未向其他行政机关公开,仅存储在系统内部数据库。此时这种给相对人错误地打上算法标签的行为已构成对相对人名誉权的侵犯,是一种实际上的损害。这些行为因尚未造成现实的财产性或非财产性利益的损失,即使应当予以纠正或者被谴责,也因没有特定利益损失需要行政机关承担,而使得行政机关不需要承担损害赔偿责任,但仍需要承担行为改正、赔礼道歉或恢复名誉等责任。
第三种情形是算法行政决策对纯粹利益的侵害。算法行政决策系统在作出具有普遍约束力的行政决定或者命令时,虽然针对对象不具有特定性,但存在部分相对人因该决策结果而实际获益的情形。若算法决策系统在搭建算法模型、确定算法逻辑规则时,未对该特定的纯粹利益受益者进行考量,则不一定构成实际损害。例如,美国阿肯色州医疗服务评估算法决策系统在算法设计阶段就忽略了阿肯色州低收入、农村人口的实际需求,导致这一部分人获得免费上门护理的机会减少。此时算法设计过程实际是对政府医疗服务管理规则的转译过程,此过程可被视为作出具有普遍约束力的行政决定,以确定哪些人可以获得政府提供的免费上门医疗护理机会。虽然算法行政决策系统设计上的失误可能导致部分人预期利益减少,但此种利益是一种期待利益,存在不确定性,不宜将其视作实际损害。
(二)致害风险
致害风险是指尚未发生损害事实,但将使损害发生概率上升的情形。算法决策系统的“轻推”策略可令某些对相对人不利的决策结果发生概率上升。系统不需要作出具有确定约束力的决定来锁定决策结果,而只是通过诱导决策人作出特定决策结果或者通过限制“选择架构”的方式,让行政决策者选择特定决策结果的可能性增加,而这些结果有可能侵害相对人的权益。例如,某些算法行政决策系统利用“贝叶斯说服规则”,令人类决策者难以抵抗算法提供的建议,诱导其选择预设的决策结果导致相对人利益受损。再如,上文提到的英国签证与移民局使用的移民筛查工具,它虽然没有作出最终的行政决定,但其通过系统内部的分类已经在某种程度上限制了人类决策者能够作出最终行政决定的范围。在这种情形下,该决策结果最终并非由算法决策系统作出,但算法决策结果却使得相对人权益受损的概率上升。对于那些被错误判定的行政相对人而言,其接收到的是由人作出的最终行政决定,并不能清楚地知悉算法决策系统在行政决定作出过程中所起到的负面作用。算法行政决策系统若采用机器学习算法,其可以在系统使用时动态学习并不断调整其决策方法,在数据处理过程中采用一些人类很难发现的决策规则,这些隐含的规则也可能导致算法歧视的风险。这些因算法行政决策而可能产生的致害风险,虽然可能对相对人的权益产生直接或间接的影响,但是其暂未产生现实的损害,因而也不宜将其作为可行政归责的损害后果。
五、自动化行政算法决策的致害责任分类
由于涉及三方主体,算法决策的致害责任可分为两个面向:一是算法(开发)设计者与行政机关之间的内部责任面向,另一则是行政机关与行政相对人之间的外部责任面向。为了最大程度地保护相对人合法权益,当发生实际损害后果时,行政机关应先对外承担法律责任,事后再根据算法(开发)设计者与致害后果的关联程度、是否存在过错等因素,来明确是否对算法(开发)设计者进行追责。因而,本文主要讨论的是行政机关与行政相对人之间的外部责任面向,即因算法行政决策导致相对人权益受损,行政机关应承担的法律责任范围。
(一)造成实际损害应承担的法律责任
算法行政决策造成的实际损害主要包括权利与利益双重受损的实际损害、权利受损但利益完好的实际损害以及纯粹利益损失三种情形。相对人遭受的损害不同,行政机关是否承担责任、承担何种责任也不同。
其一,针对权利与利益双重损失的实际损害,行政机关可能需要承担返还财产、恢复原状与支付赔偿金等法律责任。若算法行政决策侵害的是相对人的财产权,导致其财产利益受损,则可能面临“返还财产”或“支付赔偿金”的法律责任。例如,电子警察错误地向相对人作出交通违规的行政处罚决定,并要求相对人缴纳罚款与罚息。行政机关需返还相对人缴纳的罚款与罚息,并撤销错误的行政处罚决定,以恢复相对人无交通违法记录的良好状态。在一些特别严重的权益侵害情形下,相对人因算法行政决策造成的损害无法通过返还财产、恢复原状的方式予以弥补时,行政机关还需支付一定数额的赔偿金。例如,美国移ICE对移民采取的风险评估算法,错误的算法决策使得无辜的相对人遭受更长时间的行政拘留,而由于感染新冠肺炎又导致该无辜关押的人员身亡,此时相对人的人身自由遭受侵害,同时又造成了医疗费、丧葬费等财产性利益的损失。这些损失无法以返还财产、恢复原状的方式来弥补,通过金钱赔偿则更能被相对人所接受。若相对人人身权利受到损害,同时也造成了严重的精神损害后果,行政机关可能还需要支付精神损害抚慰金。例如,相对人被算法决策系统错误地认定为“严重失信者”,不仅被排斥在正常社交范围外,还被多个国家机关采取失信联合惩戒措施,导致其精神压力巨大并患抑郁症等精神疾病。在权利与利益双重损失的实际损害中,相对人不论是财产上还是精神上的损失,都相对确定,能够通过一定的客观标准进行计算。因而,行政机关对此类实际损害进行损害赔偿具有现实意义。
其二,对于权利遭受侵害但财产性利益或法定非财产性利益未受损害的,行政机关不承担损害赔偿责任,但需要采取停止侵害、排除妨碍、消除危险、恢复名誉、消除影响等措施。例如,当算法决策系统错误地给相对人打上“严重失信”的标签时,虽然该标签内容并未对外公布暂未造成实质利益损失,但行政机关应采取措施防止该错误的失信认定向外扩散,避免引发更大的利益损失。若失信者错误认定结果已公之于众,但暂未造成财产性或法定非财产性利益严重受损,行政机关除了要停止侵害外,还需及时删除公共信用信息数据库中的错误认定信息,并采取措施恢复相对人名誉,阻断此类错误信息的再次传播。对于某些程序性权利的侵害,行政机关除了要及时更正算法行政决策系统的设置缺陷外,还需积极履行其对算法决策系统的监督与审查义务,为相对人行使程序性权利排除妨碍。由于此种实际损害暂未出现实际利益损失,无法客观确定相对人的实际损失,此种情形下一般不宜由行政机关承担支付赔偿金的损害赔偿责任。
其三,对于因算法行政决策而造成的纯粹利益损失,行政机关不需要承担损害赔偿责任,但其在审查监督算法决策系统时应更加谨慎。例如,算法设计者将法律规则转译为机器可读的代码规则时,行政机关应审慎地监督该转译过程,同时还应对算法底层逻辑能否准确反映行政管理的实际需求进行审查,尽可能地减少算法设计过程中可能出现的算法不公或算法歧视现象。行政机关还应确保决策系统保留一定的“人工介入”渠道,以“熔断”算法决策过程中可能出现的连续性风险事件,确保算法行政决策遵循正当程序、依法行政、法律保留等行政法基本原则。
(二)因致害风险而应承担的法律责任
致害风险通常表现为抽象的损害概率,而不是现实的损害结果。严格意义上来说,行政机关并不需要为所有可能造成相对人权益损失的情形承担法律责任。但在算法技术的加持之下,相对人与行政机关之间的不对等关系更为严峻,算法行政决策致害的风险无处不在,相对人无法预见甚至在风险发生后也无法及时知悉,此时强化并明晰作为算法使用者与算法监督者的行政机关的法律责任具有现实意义。但此种责任并不是法律后果意义上的责任,而更多地表现为一种职责与义务方面的责任。通过履行此种职责与义务,行政机关可较好地控制算法行政决策系统未来可能出现的致害风险。
首先,行政机关在算法决策系统设计与开发时就应履行审查与监督义务。一方面是因为算法决策系统的设计开发需要行政机关提供训练与测试数据,还需要行政机关工作人员作为专家参与构建算法底层的逻辑规则。另一方面则是因为算法决策模型的搭建过程是将现实世界的法律规则转译为算法可识别的代码规则,可能涉及行政规则制定、行政裁量等行政权力的行使,需要行政机关对该过程进行合法性控制。
其次,在算法决策系统搭建完成后,行政机关还要对系统能否准确决策进行验证。算法设计者与开发者在实验室对算法系统的训练与验证具有一定的局限性,无法真实地模拟出现实世界中人的实际需求。算法将法律规则转译为技术规则,也会模糊甚至丢失部分法律规则的原意,导致决策结果出现偏差。行政机关需要对偏差较大的情形进行反复验证,并采取相应措施进行纠正。
最后,行政机关的审查与监督范围还应拓展到算法决策系统使用、维护与更新等全过程之中。算法行政决策系统在使用过程中会收集更多数据,将对收集到的新数据进行自主学习,并不断更新数据处理规则。机器学习算法随时间的演变而不断调整数据处理规则,这意味着行政机关也需要不断追踪并更新对算法的审查与监督方式。行政机关可以要求算法开发者向其公开算法逻辑规则,或邀请第三方专业机构对算法进行独立审计,防止算法运行超出其授权范围。行政机关还应保留特定的人工介入渠道,为人工纠正错误的行政决策预留一定余地。
六、结语
行政机关引入算法决策系统辅助甚至代替其作出行政决策,可以提升行政效率,为行政相对人提供便捷的公共服务。但算法行政决策也极易对相对人权益产生各种危害。只有明确行政机关、公务人员、算法(开发)设计者等相关主体的法律责任,根据算法决策的特点来构建一条更为精细化的行政归责路径,才能在有效提升行政效率的同时,而又不过度牺牲相对人权益。这种归责路径主要包括两个面向:在外部责任面向,行政机关不需要对所有的算法决策致害后果承担法律责任,通过行政职务行为判断、行为终局性判断以及行为具体性判断,可将算法设计者、公务人员的私人行为、抽象行政行为排除在外。在发生致害风险、纯粹利益损失等情形下,行政机关主要履行的是监督与审查职责,也无需承担损害赔偿责任。只有当相对人遭受权利与利益双重损害时,行政机关才可能需要承担损害赔偿责任。在内部责任面向,当发生实际损害后果时,一般应先由行政机关对外(相对人)承担责任,再根据过错来明晰算法(开发)设计者的损害赔偿责任,但行政机关与算法(开发)设计者之间责任的具体分配规则仍有待进一步研究。