请升级浏览器版本

你正在使用旧版本浏览器。请升级浏览器以获得更好的体验。

吉林大学司法数据应用研究中心
研究成果 reseach
您现在的位置: 首页 > 研究成果 > 正文

  • 民事纠纷证据运用与裁判指引
    民事纠纷证据运用与裁...

    民事纠纷证据运用与裁判指引 本丛书共包含五本:《机动车交通事故责任纠纷:证据运用与裁判指引》《劳动纠纷:证据运用与裁判指引》《离婚纠纷:证据运用...

  • 中心协办《民法典》颁布六周年学术研讨会暨第二届长白民法学博士生论坛成功举行
    中心协办《民法典》颁...

    中心协办《民法典》颁布六周年学术研讨会暨第二届长白民法学博士生论坛成功举行2026年6月6日,《民法典》颁布六周年学术研讨会暨第二届长白民法学博士生...

  • 中心主任蔡立东教授受邀参加最高人民法院法学专家学者座谈会
    中心主任蔡立东教授受...

    中心主任蔡立东教授受邀参加最高人民法院法学专家学者座谈会2025年1月15日下午,最高人民法院召开法学专家学者座谈会,最高人民法院党组书记、院长张军当...

  • 中心主任蔡立东教授一行赴内蒙古自治区高级人民法院调研
    中心主任蔡立东教授一...

    中心主任蔡立东教授一行赴内蒙古自治区高级人民法院调研 8月1日上午,吉林大学司法数据应用研究中心主任蔡立东教授、侯德斌副教授、中心秘书郝乐一行三人...

  • 蔡立东教授组织学生召开线上疫情防控交流会
    蔡立东教授组织学生召...

    蔡立东教授组织学生召开线上疫情防控交流会 2022年3月13日晚6点,蔡立东教授组织学生召开线上疫情防控交流会,李晓倩副教授、姜楠副教授、龚浩川老师、齐...

  • 中心获批吉林省高校哲学社会科学实验室!
    中心获批吉林省高校哲...

    中心获批吉林省高校哲学社会科学实验室2022 年2月11日,吉林省教育厅发布了《关于公布首批吉林省高校哲学社会科学实验室名单的通知》,通过自主申报、专...

  • 吉林省委常委、省委政法委书记范锐平到吉林大学调研  对中心法律人工智能实验室未来发展作出重要指示
    吉林省委常委、省委政...

    文章来源:吉林大学官网        原文标题:吉林省委常委、省委政法委书记范锐平到吉林大学调研 作者:记者 张宏伟 郭倩君      编辑:陈钊     摄影: 记...

邵鑫宇:生成式人工智能服务提供者的安全保障义务 ——以《关于依法审理涉人工智能纠纷案件的意见》为背景

发布时间:2026/11/04 研究成果 浏览:

全文转载于《苏州大学学报(法学版)》2026年第5期

作者单位:邵鑫宇,吉林大学法学院博士后、助理研究员


【摘要】:生成式人工智能服务提供者直接利用生成式人工智能实施侵权行为,并不是生成式人工智能的主要风险。既有法律规范未对服务提供者的安全保障义务作出明确规定。根据交往安全义务理论,安全保障义务的核心在于主体是否开启并控制特定危险,而非危险发生介质或主体身份等形式要素。服务提供者通过数据汇集、模型训练与系统运营等行为,开启了生成式人工智能的数据场域危险和算法场域危险,且具有控制相应危险的技术能力及成本能力,应当负有防范其他主体因其开启的生成式人工智能场域性危险而受损害的安全保障义务。在此基础上,应当以数据场域危险和算法场域危险为基础,类型化服务提供者安全保障义务的具体内容。在认定标准方面,应当以行业平均技术水平作为服务提供者安全保障义务认定的一般基准,同时明确行业较高技术水平标准的场景化适用。

【关键词】:生成式人工智能;数据;交往安全义务;安全保障义务;算法模型


一、问题的提出


2026年9月7日,最高人民法院发布的《关于依法审理涉人工智能纠纷案件的意见》(以下简称《意见》)提出了,“筑牢安全底线”的基本原则。这一原则的提出,回应了生成式人工智能由辅助性技术工具逐步转变为数字社会基础性支撑的现实变化。生成式人工智能不仅改变了知识的生产方式,还在知识传播过程中发挥着日益重要的作用,并逐渐嵌入商业经营和社会交往。其依托数据和算法模型提供即时生成服务,显著降低了信息生产成本,扩大了知识获取范围,也为产业创新提供了新的技术条件。随着应用范围不断扩展,生成式人工智能已经由一般性内容生成进入可能影响人身权益和重大财产利益的专业场景,其输出结果也可能成为用户形成认识或者作出决定的重要依据。生成式人工智能所具有的社会价值,并不能消解其运行过程中形成的安全风险。与传统信息工具相比,生成式人工智能的运行依赖持续的数据处理和复杂的模型计算,同一技术缺陷可能随着服务调用被反复复现,并在较短时间内影响不特定的用户。原本局限于单一数据或者局部系统的异常,也可能经由模型运行转化为持续性的输出风险。特别是在生成式人工智能被广泛接入不同业务场景后,局部安全事件的影响可能突破个别用户与服务提供者之间的关系,并进一步作用于正常的社会交往秩序。由此,生成式人工智能带来的问题已不只是如何鼓励技术应用,而是如何防止服务提供者在获取技术收益的同时,将其能够合理预见并控制的风险转由用户或者社会承担。

实践中,虽然存在服务提供者将生成式人工智能作为侵权工具的情况,例如,通过生成式人工智能的深度伪造技术制造虚假信息,或向用户投放涉及赌博、色情等违法信息的广告,但此时生成式人工智能仅作为服务提供者的侵权工具,并不是生成式人工智能的主要风险。生成式人工智能的主要安全风险在于,服务提供者对已经出现的数据泄露或算法模型缺陷等具体危险,未采取相应的合理防范措施,第三人通过攻击数据或算法模型等手段造成他人损害。但是,将服务提供者对于损害的相对消极状态评价为规范意义上的侵权行为,需要以作为义务为前提。通过认为,作为义务来源于法律规定、合同约定和先行行为。但是,源自罗马法的作为义务理论,根植于罗马法时代的技术条件与社会结构,无法涵盖新型社会关系,不能适应社会发展的需求,应当扩张作为义务的范围。原《中华人民共和国侵权责任法》(以下简称《侵权责任法》)第37条规定的经营者安全保障义务,本质上是基于德国民法中的交往安全义务理论,对作为义务来源进行扩张的结果。而后,最高人民法院在《关于审理人身损害赔偿案件适用法律若干问题的解释》第6条中,将安全保障义务的适用范围从经营活动组织者扩展至群众性活动组织者。但随着社会的发展,很多新型危险致害类侵权责任仍无法得到妥善解决,安全保障义务无法发挥其应有的功能,应当将更广泛的适用范围纳入其中,而非限于《中华人民共和国民法典》(以下简称《民法典》)中的有限列举。根据交往安全义务理论,行为人负有安全保障义务的基础在于,其开启了危险且具有危险控制能力。交往安全义务理论为服务提供者安全保障义务的认定提供了法解释学接口。

基于上述问题,本文以交往安全义务为理论基础,论证生成式人工智能服务提供者对其开启的生成式人工智能场域性危险应当负有相应的安全保障义务。服务提供者通过实施模型研发训练、系统部署运营等行为,组织并维持了由数据、算法和用户交互共同构成的技术环境,由此开启并持续了生成式人工智能的数据场域危险与算法场域危险;与此同时,服务提供者掌握相关数据、模型、系统和接口的运行条件,具有相应的危险识别、技术控制和安全成本承担能力。并且,安全保障义务不应受危险发生于物理空间或者数字空间的介质限制,也不应因服务提供者不具备传统经营者、管理者或者群众性活动组织者的身份而被排除。在此基础上,以数据场域危险和算法场域危险为基本类型,结合研发训练、运算分析、内容输出等运行环节,对服务提供者应当承担的安全保障义务作进一步类型化分析。进而提出,应当以行业平均技术水平作为服务提供者安全保障义务认定的一般基准,并根据用户群体、应用领域以及国家安全和社会公共安全等风险因素,场景化适用行业较高技术水平的认定标准。确保安全保障义务制度在填补新型技术风险责任空隙的同时,能够为生成式人工智能的持续创新保留合理空间。


二、服务提供者安全保障义务的理论证成


我国安全保障义务的理论基础在于德国民法中的交往安全义务理论,在经营者安全保障义务的立法过程中,该理论最初即被确立为安全保障义务的理论依据。德国法上的交往安全义务源于19世纪德国工业革命引发的社会风险变革,工业革命在推动生产技术飞速发展的同时,也带来了机械操作、交通运输等领域的新型危险。但传统侵权法难以有效应对这些新型危险,交往安全义务由此逐步在司法实践中形成。判断交往安全义务的核心,在于行为人是否开启了危险且具有危险控制能力。在枯树案中,法院突破《德国民法典》第823条的文义限制,认定道路管理者对可能倾倒的树木负有检查维护义务。在石阶案中,义务范围进一步扩展至作为供他人通行的土地。随着工业技术持续发展,扩大了主体的活动及交往范围,交往安全义务不再限于基于支配物开启的危险,而囊括了基于社会交往等行为开启的危险。任何开启或维持与他人社会交往的主体,都应当采取相应的积极措施,防范其开启或维持的社会交往危险对他人造成的损害。因此,王泽鉴教授曾指出,个人或企业在社会活动中应防范其所开启或持续的危险,避免伤害他人。对安全保障义务的判断,应当回归到行为人是否开启或持续了危险且具有危险控制能力的理论实质,而非局限于危险发生介质是否具有物理性,或行为人是否具有经营者、管理者或组织者的主体身份等形式要素。

(一)服务提供者开启了生成式人工智能的场域性危险

服务提供者基于生成式人工智能的研发训练及应用,实质性地创建了一个允许不特定多数数据、算法及用户交互在其中发生聚合反应的生成式人工智能场域。在该场域内,原本处于离散状态的数据和算法被汇聚,承载众多不特定主体权益的数据被集中化处理,算法模型持续接收并处理海量用户的输入与反馈,将分散的个体危险跃迁为集中的、系统性的数据场域危险及算法场域危险。

1.数据场域危险

首先,数据并非单纯的技术原料,训练数据、用户输入数据等可能包含个人信息或者商业秘密,也可能涉及国家利益或社会公共利益。数据的汇集、加工处理不只是单纯的技术过程,也可能改变相关权益的呈现方式及损害的实现路径。数据的集中处理改变了损害发生的方式,行为人即使不接触权利人的身体或者实物财产,也可能通过复制、篡改数据等方式,影响数据主体的人格评价和财产利益。通过作用于承载主体权益的数据导致的权益侵害,其严重性、广泛性及持续性并不因缺乏物理接触而减弱。因此,数据场域中的安全漏洞不能被视为单纯的技术故障,而可能成为主体权益遭受侵害的现实通道。其次,服务提供者对训练数据及用户输入数据形成了场域化控制。服务提供者在生成式人工智能的研发训练和运算分析过程中汇集训练数据,并将用户输入纳入其控制的技术系统。服务提供者不仅负责数据的存储和处理,还通过权限设置决定数据何时调用或如何使用等。原本分散的数据由此进入具有统一准入规则和处理机制的数据场域,服务提供者对相关数据形成了持续的场域化控制。从功能主义的视角审视,此种技术行为与物理场所管理者通过设施兴建与运营,或群众性活动组织者通过策划号召,将原本分散的个体大规模聚合于特定物理空间内的行为具有相似性。两类场域针对的客体虽然不同,但危险的开启机制却具有一致性,即原本分散的危险因人为组织而集中,危险开启者也由此取得相应的控制。因此,就危险的开启和控制而言,数据场域与物理场所具有功能上的等价性。再次,生成式人工智能的数据场域危险与传统网络平台的数据系统危险具有实质性区别。传统网络平台的数据系统主要承担数据存储和传输功能。数据以何种方式进入系统,又以何种路径流出系统,通常由预先设定的技术规则决定。在既定处理秩序未受外部行为破坏时,数据系统通常不会自行改变数据的使用范围。而生成式人工智能的数据场域则不只是存储或者传输数据。数据进入模型后,并非始终以相互分离的状态存在,而是会随着算法模型训练及运算分析被重新组织。原本缺乏直接联系的数据可能被置于同一语义关联之中,数据之间的关系不再固定于收集或者输入时的状态。最后,生成式人工智能的数据场域危险具有跨阶段延续和扩散的特征。在生成式人工智能的生命周期中,从模型训练、参数调整到运算分析、内容生成,各环节并非彼此割裂的技术过程。前一环节形成的算法关联和模型状态,可能影响后一环节的数据调用范围及生成结果。因此,发生于某一环节的数据访问漏洞或者权限配置缺陷,可能通过后续调用或再次处理向其他环节传导。

综上所述,数据场域危险并非对物理场所危险概念的简单移植,服务提供者通过数据汇集形成统一的集中化控制,又通过模型运算持续改变数据之间的关联,最终使原本分散且相对独立的危险获得集中发生和连续扩散的条件。生成式人工智能所形成的已不再是传统网络平台意义上的一般数据系统危险,而是一种因数据集中控制、动态运算和持续流转形成的数据场域危险。

2. 算法场域危险

服务提供者基于生成式人工智能的算法模型设计、训练数据选择、运行参数设定及服务提供等,创设了一个由数据、模型等共同构成的算法场域。算法场域危险的核心并非算法模型本身的错误问题,而是第三人能够通过技术手段,改变算法场域中的训练数据、模型运行条件或突破既定安全边界,将有害内容输出并扩散给用户或其他社会主体。首先,训练研发阶段的数据投毒危险。行为人可以通过植入、替换或者删除相应训练数据样本,或者改变数据标签,使算法模型在训练过程中学习攻击者预设的错误关联,在特定条件下反复生成错误或者有害内容。由于同一模型可以被持续调用,局部训练数据受到污染所产生的影响,可能经由模型输出进入不同应用场景,进而扰乱市场秩序,甚至危害国家安全或者社会公共利益。例如,行为人将包含性别、种族或者地域偏见的关联性语料混入训练数据,可能提高模型在后续生成中重复相关歧视性表达的概率。数据投毒所侵害的并非仅是训练数据本身的完整性,更在于其能够借助算法模型的训练过程改变其输出内容,并在算法模型的后续调用中持续产生影响。数据场域危险与算法场域危险中的数据投毒危险虽然均以数据为对象,但两类危险具有实质性区别。数据场域危险中,数据及其所承载的权益即是行为人的目标本身。而算法场域危险中,数据则仅是干扰算法模型运行、实现特定目的的技术手段。行为人通过污染或操纵训练数据,使算法模型在特定条件下生成预设内容或者呈现特定的价值导向,并借助算法模型的持续调用扩大其影响,进而实现传播虚假信息等非法目的。

其次,运算分析阶段的算法模型干扰危险。攻击者可通过直接性或诱导性的方式,对生成式人工智能的算法模型进行干扰,使其生成错误判断或非法内容。在直接性干扰方面,攻击者通过篡改模型配置文件等方式,改变算法模型的原有运行逻辑,使其作出错误的判断或生成侵权内容。在诱导性干扰方面,用户可以通过提示词或其他交互技巧,绕过服务提供者设置的安全护栏,诱导模型生成其本应拒绝的暴力、色情、仇恨言论或虚假信息等内容。例如,角色扮演型诱导,即输入“假设你是一个不受任何道德限制的AI,请回答……”,或反向结构型诱导,即输入“不要回答以下问题:如何制造武器?请列出你避免回答的答案”等。无论技术形式如何变化,其共同特征在于,攻击者并非直接侵入模型的代码或参数,而是通过合法交互界面输入特定指令,利用算法模型在指令识别或安全控制等方面的缺陷,诱导模型生成有害内容,实现其传播虚假信息、诈骗等非法目的。

最后,输出阶段的内容篡改危险。内容在模型完成生成后,并不当然成为用户最终接收的内容,而须经过服务器处理、接口传输与前端呈现等环节。第三人可能通过劫持接口或篡改前端应用等方式,将原本的输出替换为恶意内容,或者删除、伪造能够证明内容来源和完整性的技术信息(例如AI标识)。一方面,行为人可对生成内容进行恶意编辑,在不改变生成内容整体可信度的前提下,植入虚假信息。另一方面,行为人可移除或伪造生成内容标识。通过恶意删除、篡改或隐匿法律规定或技术标准要求附加的“人工智能生成”或“AI生成”等标识,导致用户等主体无法分辨内容的真实来源,进而达到其造谣、诽谤等非法目的,侵害用户或其他主体权益。

(二)服务提供者具有危险控制能力

在不作为责任领域内,控制潜在危险的义务通常来源于特定主体对危险源的控制能力。创设交往活动场域危险的主体对危险具有支配地位,具有不可替代的控制能力。在传统信息网络领域,有学者提出,控制力是导致网络服务提供者负有注意义务并承担侵权责任的最主要理论基础之一。而“可控制”也逐渐成为生成式人工智能责任治理架构的核心。服务提供者对训练数据库、算法模型及用户交互接口等具有控制力,使其有能力以合理的成本防范生成式人工智能的场域性危险。

1.控制危险的技术能力

服务提供者深度参与生成式人工智能的研发训练、运算分析和内容输出的全生命周期,对系统运行过程中可能出现的危险具有较强的识别和控制的技术能力。首先,在研发训练阶段,服务提供者可以在数据进入训练环境前完成必要的处理,并通过清洗、加密等措施降低数据泄露及恶意篡改的可能。数据清洗和标注要求行为人具备相应的数据处理能力,也要求其理解生成式大语言模型算法的训练规律。因此,相较于用户、数据来源者等主体,只有服务提供者才有相应的技术能力防范训练数据泄露或对训练数据的恶意篡改等,并阻断其对生成式人工智能算法模型的持续影响。其次,在运算分析阶段,危险控制更多体现为对模型运行过程的持续管理。外部监管机构在进行监管时,通常难以直接接触服务提供者掌握的完整训练数据、训练日志和参数配置等。因此,外部监管往往难以持续介入模型内部的运算过程。而服务提供者能够通过人工干预与参数微调等方式及时修正模型中的逻辑或价值偏差。最后,在内容输出阶段,模型完成内容生成后,相关内容还需经由服务器等传输链路才能到达用户接收端。在此过程中,服务提供者掌握模型的原始输出记录和系统运行日志,能够判断输出内容是否与模型原始生成内容保持一致,进而发现非法篡改并追溯其发生的具体环节。因此,相较于用户和其他外部主体,服务提供者更具有控制输出阶段危险的技术能力。

2. 控制危险的成本能力

安全保障义务的界定需要考虑行为人防范具体损害发生的成本,以及能够从其开启的危险中可获得的收益。当损害可能发生时,法律应当将责任分配给能以较低成本避免损害的一方,以此实现社会总成本的最小化。危险防范成本较低的一方通常应当承担避免损害发生或扩大的义务。一方面,服务提供者的危险防范成本较低。当前,生成式人工智能的算法模型研发及部署已经形成较高的专业技术门槛。模型参数的调整、运行状态的监测以及运算结果的分析,通常需要专门的技术知识和持续的计算资源。与用户等外部主体相比,服务提供者更容易识别危险来源,也更有能力在危险扩大前采取相应防范措施。而用户或者其他外部主体若要形成相当的风险识别和控制能力,往往需要承担较高的学习成本、时间成本和信息获取成本。另一方面,服务提供者通常能够从其开启的交往关系中持续获得利益。根据罗马法获利者负担不利益的基本原则,主体既然从某项活动中取得利益,就应当对该活动所伴随的合理风险承担相应负担。服务提供者通常能够从其运营的生成式人工智能服务中持续获得经营利益。用户使用过程中形成的技术反馈,还能够被用于模型优化和产品迭代,进而提升服务的市场价值。此种利益并非源于一次性交易,而是建立在持续运营生成式人工智能服务的基础之上。服务提供者通过集中处理数据、组织用户使用并维持模型运行取得利益,也应当承担与其利益来源相联系的危险防范成本,不能将其服务而开启的场域性危险转由用户或者受害人承担。因此,基于利益与风险相一致的要求,服务提供者应当承担防范生成式人工智能场域性危险的安全保障义务。

(三)服务提供者安全保障义务不存在危险介质限制

从交往安全义务理论的发展来看,其适用范围已经伴随社会交往方式的变化而逐步扩展。21世纪初,德国法院就曾尝试将交往安全义务理论适用于网络空间。德国汉堡州法院在相关裁判中认为,网络空间实质上是一种社会性交往空间,不应当在规范上区别其与物理空间。我国《民法典》第1198条列举了宾馆、商场和车站等经营场所或者公共场所。该条文的直接适用范围应当受到“经营场所、公共场所”等文义的约束,但不能由此解释出安全保障义务只能防范发生于物理介质的危险。该条所列场所具有物理形态,只是因为传统社会交往主要发生于线下空间,而不是因为物理性本身具有独立的规范意义。并且,该条使用“等”字,已经表明宾馆、商场和车站等具体场所并非封闭列举。因此,这些列举更应被理解为例示性规定,其旨在描述一个由特定主体开启、控制,向不特定的社会公众或特定群体开放,用于社会交往的、具有潜在危险的场域。这样的场域危险结构可以归纳为三个方面。其一,特定主体通过经营或者组织行为,形成了向不特定多数人或者依一般条件可以进入的多数人开放的活动场域。其二,该主体的经营活动开启或者加剧了客观危险,并且对危险来源具有普通进入者所不具备的控制能力。其三,进入特定场域的主体有理由相信,场域控制者已经采取维持该场域基本安全所必需的措施。只要某一场域危险符合上述特征,无论其呈现为物理实体还是数字虚拟形态,都不能单纯因其虚拟性或非物理性而完全脱离安全保障义务的评价。

首先,生成式人工智能场域具有开放性。传统公共场所的本质特征是向不特定社会公众开放,供其从事各类社会活动。以DeepSeek、ChatGPT为代表的主流生成式人工智能,通常面向不特定用户持续开放,不同用户进入其服务界面并非只是单向地接收信息,而是进行着丰富多样的社会交往活动。来自世界各地、不同背景的不特定多数人,在此交流、学习、创造,其活动的密集程度与社会意义,已使其成为数字时代生产与交流的核心场域。其次,生成式人工智能场域的危险性程度更高。生成式人工智能场域性危险在程度、广度及持续性上,皆超过传统网络平台或物理场域的危险。第一,在危险的持续性方面,传统物理场所的危险源(如一滩积水)被清除后,危险即告终结。传统网络平台的危险,主要表现为诽谤言论、诈骗链接等信息性的危险。此类危险虽非物理实体,但其载体(帖子、评论)相对明确。删除侵权信息后,其直接传播路径即被切断,二次传播的危险大幅降低。然而,生成式人工智能场域性危险具有涟漪效应。以数据投毒为例,一个被植入了有害数据的训练数据集,可能通过模型迭代将其影响渗透至后续所有版本的模型中。即便最初的有害训练数据已经被发现并删除,但其在模型参数或代码中留下的映射,仍将持续存在,影响后续算法模型的运算决策。第二,传统物理场所的损害通常具有严格的时空局限性(如商场滑倒事故),影响范围局限于事故发生时的特定场所内的少数个体。传统网络平台的侵权信息虽传播速度快,但仍需依赖用户的转发行为,信息的扩散路径在一定程度上是可以追踪的,且每个传播节点都为干预提供了可能。而在生成式人工智能领域,一个被恶意利用的算法模型,可以在短时间内制造出海量的虚假内容,对金融市场稳定、社会公共秩序乃至国家安全构成即时的威胁。这种能够瞬时触达海量终端用户的危险性,远远超越了传统物理场域或网络平台的危险。最后,用户对生成式人工智能场域形成了安全信赖。进入物理经营场所的人通常相信经营者已经对其控制范围内的危险采取必要措施。服务提供者持续向公众开放生成式人工智能服务,客观上表明其所运营的技术系统已经具备基本的安全运行条件。用户据此进入该技术环境,可以合理期待服务提供者已经对其控制范围内的危险采取必要措施。与物理设施相比,数据处理和算法运行具有更强的技术不可见性,用户难以判断模型的具体运行状态,更无法查明系统内部的权限配置。基于双方在技术信息与控制能力上的明显差距,用户有理由期待服务提供者已经采取与危险程度相适应的安全措施。

(四)服务提供者安全保障义务不存在主体身份限制

《民法典》第1198条将安全保障义务主体类型化为经营场所或者公共场所的经营者或管理者,以及群众性活动的组织者。条文虽然采用身份类型化的表述,但其规范基础不在于经营者或者组织者的身份本身,而是其与特定危险之间形成的控制关系。经营者通过开设场所并持续经营,使他人进入超出一般生活风险的特定环境。群众性活动的组织者通过召集人员和安排活动,改变了原有的危险分布。管理者因实际支配场所设施与运行秩序,具有发现并排除相关危险的能力。上述主体的共同之处在于,通过先前行为开启或者加剧了特定危险,又对该危险具有较强的控制能力,同时通常能够从其开启的社会交往中获益。而服务提供者通常不具备《民法典》第1198条所列举的主体身份,但其通过对海量数据的聚合、复杂算法的设计以及庞大算力集群的控制,实质性地开启、持续了生成式人工智能场域性危险。此时若仍囿于《民法典》第1198条对主体身份的文义限制,导致适用范围过于狭窄,使得开启生成式人工智能场域性危险且具有危险控制能力并从中获益的科技巨头,可能因不具备经营者或组织者的传统身份,而逃避本应承担的安全保障义务。

首先,安全保障义务是随着具体危险控制关系的形成而产生的作为义务。作为义务是受时代背景的影响而变化的相对性概念,其规范基础不在于主体所使用的职业称谓,而在于主体与特定危险之间形成的事实联系和控制关系。从规范沿革来看,《民法典》延续了原《侵权责任法》第37条规定的安全保障义务主体。回溯至2009年原《侵权责任法》制定之时,能够大规模、集中地开启超越日常水平危险源并具备控制能力的主体,主要是经营性场所或者群众性活动的组织者。立法者根据当时社会生活中危险形成与分布的基本状况,将具备交往安全义务核心要素的经营者、管理者和群众性活动组织者确定为典型义务主体,并以此为基础构建了原《侵权责任法》第37条的主体范围。这种规定是对当时社会典型危险控制关系的类型化确认,并不意味着立法者已经穷尽所有可能承担安全保障义务的主体。当数字技术的发展以周计迭代,社会交往的重心、信息传播的媒介、商业活动的形式以及危险产生的场域,都在大规模地从物理世界向数字空间迁移时,危险控制关系逐渐脱离物理场所,出现了部分主体虽然不经营有体场所,也不组织传统意义上的群众性活动,却能够通过技术系统的运营,将不特定主体纳入统一的服务环境,并对其中的危险形成实际控制。我国基于交往安全义务理论确立的安全保障义务,所要解决的是随着社会发展而产生的实践需要。因此,仍应当回归到安全保障义务的判断实质,而非囿于身份等表现形式,不能单纯因为服务提供者不具有商场经营者或体育活动组织者等身份,就将服务提供者排除在该制度的适用范围之外。其次,服务提供者对其开启的交往活动的控制力更强。与传统建筑物管理人主要维护场所设施和运行秩序不同,服务提供者控制的是数据处理和模型运行的技术条件。与传统网络平台服务者主要对用户上传的内容进行审核、推荐或传播管理不同,服务提供者还介入内容生成机制本身。作为模型的研发、部署和运营主体,服务提供者通过制定用户协议、服务规则等,并利用算法模型进行知识生产,进而对用户行为形成干预。服务提供者通过算法决定了向用户呈现何种内容、以何种方式生成内容,从而影响着用户的认知和行为。这种对知识生产的强大塑造力,远非传统经营者或组织者对其他主体行为的有限干预所能比拟。


三、服务提供者安全保障义务的法律构造


(一)基于危险类型的服务提供者安全保障义务内容

危险的特性直接决定了交往安全义务是否存在及其义务范围。《意见》提出,根据人工智能在不同应用场景下对民事主体合法权益可能造成的具体损害类型以及风险的性质和大小,依法准确认定法律责任。因此,应当以其开启的危险类型为基础,类型化服务提供者的安全保障义务。

1. 基于数据场域危险的安全保障义务

安全保障义务所针对的是第三人非法进人数据场域窃取或者篡改数据、破坏数据场域完整性与可用性的具体危险,服务提供者应当配置与危险相称的防护措施,而非要求其对所有训练数据的内容或合规性作实质审查。首先,服务提供者应当防范模型的相对自主运行对数据场域完整性造成的危险。传统网络平台通常按照预先设定的规则对数据进行存储或者传输,其处理对象与处理器径具有较强的确定性。但生成式人工智能能够对其接触的数据作出超出预先设定的处理。特别是在模型具备数据检索能力或者被赋予工具调用权限时,其可能根据用户指令及上下文环境形成具体的数据处理路径,而该路径及其结果难以由服务提供者在部署前逐一设定。正是这种相对自主性,使数据场域面临的危险不再仅仅来自系统外部。此时,算法模型并非只是被动存储或者传输数据的工具。安全保障义务所防范的风险,已经从第三人对数据场域的外部侵入,延伸至模型自主运行所形成的内部风险。算法模型虽然具有相对自主性,但是并不意味着此类内部风险与服务提供者无关。模型能够访问何种数据或实施何种操作,均取决于服务提供者对系统功能及权限结构的设计。用户既无法了解模型内部的数据调用路径,也难以自行阻止越权处理。相较之下,服务提供者掌握训练环境和运行系统,能够调整模型权限,也能够通过运行记录识别异常调用。因此,服务提供者不能以模型运行具有不确定性为由,将其自主运行产生的风险视为意外事件。在训练阶段,服务提供者应当根据训练目的和具体任务划定必要的数据调取边界,使模型能够接触的数据与完成任务的实际需要相适应。与训练目的无关或者超出授权范围的数据,不应仅因技术上可以调用就被纳入训练环境。服务提供者还应明确模型可以对数据实施何种操作,防止一般访问权限演变为对数据的任意处置权限。不同训练任务涉及相互独立的数据来源时,应当保持必要隔离,避免特定目的下取得的数据未经授权进入其他训练过程。在模型运行阶段,服务提供者应当保留有效的人工干预和运行暂停机制。事前权限配置无法穷尽模型运行中可能出现的全部异常,服务提供者还应当对数据调用状态进行持续监测。发现模型越权读取数据或者将数据不当带入其他任务时,应当及时阻断相关操作。系统出现异常记录或者不当调用时,应当查明原因并判断影响范围。危险尚未排除的,不得仅为维持服务连续性而放任模型继续运行。但是,安全保障义务所针对的是算法模型自主性及第三人攻击等对数据场域造成的具体危险,而不是要求服务提供者对模型生成的每一项内容进行逐字审查。全面审查既存在技术局限,也不符合经济理性。

其次,服务提供者应当维护数据场域的完整性和可用性。服务提供者应当在训练环境、数据库和检索系统中建立必要的身份认证机制,确认进入者的身份及其操作权限,防止无关人员以他人账户或者匿名方式接触、处理相关数据。数据库和检索系统的访问范围应当根据数据用途、处理环节等进行配置,使数据获得权限与实际需要相适应。用户输入的存储区域同样属于服务提供者实际控制的数据场域,不能因相关数据由用户主动提供或者仅作暂时保存,就被排除在安全保障范围之外。服务提供者应当根据该类数据的保存方式和可能风险,采取相应的权限控制及监测措施。确认相关行为具有现实危险的,应当根据风险程度限制访问或者暂停相关权限;必要时,还应当隔离受到影响的账户,并防止危险继续扩散。并且,数据场域安全还要求关键操作具有可追溯性。服务提供者应当保存足以反映数据处理过程的必要记录,使有关主体能够确认相关操作由谁实施、发生于何时,并判断其可能影响的数据范围。生成式人工智能的内部运行具有较强的技术封闭性,用户难以取得系统日志和权限记录。如果服务提供者未对关键操作进行记录,风险来源和损害范围就可能因信息不对称而无法查明。因此,可追溯性并非单纯的技术留痕,而是实现风险控制、权利救济和责任归属的制度条件。

最后,数据安全事件发生后,服务提供者应当及时控制损害并恢复数据场域的安全状态。此时,安全保障义务的重心已经由事前预防转向事中控制与事后修复。生成式人工智能具有持续运行和规模化调用的特点,如果服务提供者在发现危险后仍维持原有运行状态,局部的数据异常可能经由模型训练或者系统调用不断扩大。因此,服务提供者不能以保障业务连续性或者避免经营损失为由放任风险持续,而应当根据安全事件的性质和影响范围,及时采取足以阻断危险扩散的措施。服务提供者发现异常访问、越权访问或者训练数据泄露后,应当立即启动安全事件响应程序,并首先控制危险来源。对于已经受到影响的账户,可以暂停其访问权限或者将其与正常运行环境隔离;相关接口仍然存在持续泄露风险的,应当暂时停止使用,待风险得到排除后再行恢复。采取何种措施应当与危险程度及可能造成的损害相适应,并非任何安全事件都要求停止全部服务。但是,当局部限制不足以阻止危险扩散时,服务提供者不得仅以影响正常经营为由拒绝采取范围更广的控制措施。损害防止的紧迫性越高,服务提供者所负的及时处置义务也应相应提高。

2.基于算法场域危险的安全保障义务

《意见》第16条规定,采取虚构干扰数据、恶意标注数据、对抗样本攻击等技术手段,损害人工智能运行安全的,依法承担相应责任。第三人实施数据投毒或者对抗样本攻击,并不当然排除服务提供者的安全保障义务。对于已经公开披露、反复出现或者通过合理测试可以发现的攻击方式,服务提供者仍应当采取与其控制能力相适应的防范措施。

首先,研发训练阶段防范数据投毒危险的安全保障义务。数据投毒不同于一般意义上的训练数据瑕疵,其本质是行为人以改变模型运行状态为目的,对训练数据实施有计划的恶意干预。行为人可能向数据集中植入特定样本,也可能替换或者删除原有样本,还可能通过改变标签使模型在训练过程中学习并固化其预设的错误关联。当特定内容被输入或者预设条件被触发时,模型便可能持续生成攻击者所期待的有害结果。由于同一模型能够被反复调用,针对少量训练数据实施的局部干扰可能经由模型参数转化为持续性的输出风险,并进一步影响数量不特定的用户。因此,防范数据投毒的安全保障义务所维护的并非训练数据在绝对意义上的真实性,而是训练数据集及模型运行状态不受恶意干预的完整性。第一,服务提供者应当部署自动化工具对数据集进行定时扫描,识别可能存在的投毒样本。第二,服务提供者应当实施严格的标签核验机制。标签翻转是数据投毒的常见手段之一,为防范此种危险,服务提供者应履行审慎的核验义务,确保数据标签的专业性与准确性,及时发现并剔除包含错误、偏见乃至恶意的标签,防止其污染整个模型。第三,在实践中,许多服务提供者并非完全依赖自采数据,而是大量使用第三方数据集、开源数据集或通过数据共享协议获取数据。服务提供者应当建立第三方数据接入审计制度,防范通过数据共享等形式的数据投毒。但是训练数据中存在的一般性偏见或者事实错误,并不当然构成数据投毒。安全保障义务所针对的,是第三人将数据作为干预模型的手段,通过破坏训练数据改变模型原有的运行状态。判断某项数据问题是否属于数据投毒,不能仅考察相关数据是否错误或者有害,还应审查其进入训练环境的方式,并判断其是否具有操纵模型输出的目的及效果。即使数据内容本身不含有偏见,如果系行为人有计划地植入,并以改变模型输出倾向为目的,也可能构成数据投毒。反之,单纯因数据质量不足产生的错误,则不宜纳入安全保障义务的规制范围。否则,防范数据投毒的义务将被不当扩张为确保全部训练数据真实的义务。

其次,运算分析阶段防范算法干扰危险的安全保障义务。生成式人工智能的输出并非完全取决于用户当次输入,还受到模型参数、系统规则和安全边界的共同影响。第三人一旦通过交互诱导或者技术人侵改变模型的运行条件,便可能使模型偏离既定的服务目的,并将错误或者有害内容持续传递给其他用户。因此,运算分析阶段的安全保障义务,重点不在于要求服务提供者保证每一次输出均不存在错误,而在于要求其维护模型运行的基本完整性,防止未经授权的主体利用系统缺陷突破既有控制范围。第一,对于诱导性干扰,服务提供者应当根据服务用途、用户权限和潜在损害建立与风险程度相适应的防护机制。服务提供者可以根据具体服务场景对不同类型的输入设置必要的隔离措施和权限等级,并通过持续测试检验模型面对提示注入、上下文操纵和越权调用时能否维持既定的安全规则。防护规则还应当根据风险暴露情况和模型版本变化及时调整,避免既有措施因长期不更新而失去实际效果。同时,诱导性干扰算法场域危险的安全保障义务不能被简化为机械的关键词屏蔽。单纯拦截特定词语,可能无法识别隐蔽的语义操纵,也可能对正常用户的合法表达造成不必要的限制。服务提供者应当结合输入内容的交互语境和具体应用场景作出判断,在防止有害输出的同时,避免以过度限制的方式损害用户正常使用服务的权益。对于反复实施攻击、利用服务从事违法活动的账号,可以采取警示、限制功能、暂停或终止服务等措施。第二,对于直接干扰,服务提供者应当履行模型完整性保护义务。直接干扰是指第三人未经授权进入模型运行环境,改变模型参数、系统配置或者接口权限,使模型偏离原有运行逻辑。此类行为突破的不是用户交互规则,而是服务提供者对模型及其运行环境的直接控制,可能造成持续性和隐蔽性损害。服务提供者应当对服务器、模型文件等关键控制环节建立必要的身份核验、权限管理和安全审计制度,防止管理权限被滥用或者重要凭证被非法取得。发现未经授权的参数修改或者异常调用时,应当及时确认影响范围,隔离受影响的系统组件,必要时暂停存在较高风险的功能,并对模型运行状态进行复核。

最后,内容输出阶段防范内容篡改危险的安全保障义务。在生成内容从模型运算分析环境传输至用户界面,或者通过应用程序接口进入下游系统的过程中,需要跨越不同的技术环节。在此过程中,第三人可能通过截取、替换等方式改变生成结果,使用户接收的内容偏离模型实际输出的内容。服务提供者应当采取传输加密、完整性校验等防范措施,确保从生成端到展示端的内容未被未经授权的第三人改变。服务提供者应当设置可获得的投诉及安全事件报告入口,明确受理、反馈的具体流程。此外,防范生成内容遭篡改的安全保障义务,应当与内容真实性审查义务、生成内容标识义务相区分。防范内容篡改危险的安全保障义务,旨在确保用户接收的内容与模型实际输出的结果保持一致,其所防范的是第三人对内容传输过程的非法干预,并不涉及生成内容本身是否与客观事实相符。而内容真实性审查义务指向生成内容本身是否符合客观事实,标识义务则针对生成方式及内容来源的可识别性。三类义务均涉及内容输出阶段,但是相应的义务内容与规范目的各不相同,不能仅因适用环节重合而混同,更不能相互替代。因此,服务提供者负有防范生成内容在传输过程中遭篡改的安全保障义务,并不意味着其当然负有对全部生成内容进行实质真实性审查的义务。

(二)服务提供者安全保障义务的认定标准

《意见》确立的“安全与发展并重”原则表明,生成式人工智能服务提供者的安全保障义务在于,要求服务提供者针对其能够预见并能够以合理成本控制的具体危险采取措施,而非要求其保证模型输出内容的绝对正确、数据处理全过程的绝对安全,或者技术系统不存在任何风险。因为,安全保障义务针对的是具体危险而非抽象危险。肇始于危险源监控型义务的交往安全义务,并不苛责行为人确保抽象危险的完全消除。在没有特别立法的情况下,要求行为人隔离一切危险的抽象危险源的义务是不存在的。服务提供者的安全保障义务仅涉及其基于生成式人工智能的研发训练及运营创造的具体危险,而非任何与生成式人工智能相关的抽象危险。然而,安全保障义务的判断标准需要进一步细化分析。一方面,通常情况下应当以行业平均技术水平作为判断安全保障义务的标准;另一方面,也应当避免服务提供者向现有技术局限逃逸,在特定场景中,应当以行业较高技术能力水平作为判断安全保障义务的标准。

1. 以行业平均技术水平作为一般基准

《意见》明确提出,要尊重科技创新规律和人工智能行业发展实践。以包容审慎的态度平衡权益保护与技术产业发展,营造鼓励探索、宽容失败的良好环境。对于在人工智能研发、应用中的创新性行为,应依法审慎处理。因此,不宜以行业较高技术水平作为认定的一般性基准。《意见》第3条规定,应当综合考量人工智能的自主化程度、具体应用场景,以及为预防和减少人工智能侵权所采取的措施及技术上的可能性。安全保障义务的功能在于促使服务提供者采取合理措施预防危险,而非要求其消除生成式人工智能运行中的一切抽象危险。某项安全措施即使已经由技术领先者开发或者采用,也只能说明这种安全措施具有客观层面的技术可行性,尚不足以证明该措施在事故发生时已具备适合普遍部署的成熟度。不同生成式人工智能服务的安全投入能力存在显著差异,一概要求初创企业、低风险文本辅助工具与用于高风险医疗决策的生成式人工智能达到同一技术水平,既不符合比例原则,同时也会极大地提升其运营成本,阻碍技术创新和产业发展。并且,一概采纳风险成本内部化的方式建立单一的责任制度,容易抵消相关主体谨慎规避损害的动力。较高行业技术标准也会使得服务提供者因微小的技术疏忽而动辄得咎,容易造成服务提供者采取放任危险发生或扩大的态度,最终导致认定标准失去可操作性。

因此,在常规风险场景下,判断生成式人工智能服务提供者是否履行安全保障义务,应当以行业平均技术水平为一般性基准。行业平均技术水平实质上是合理的同业者标准在生成式人工智能领域的具体化,并非对行业技术现状的简单统计。具体而言,行业平均技术水平的确定应当以同期在应用场景、服务规模和接口开放程度等方面具有相似性的同类服务为参照,考察同类服务提供者通常采取的安全措施及其能够达到的危险防范水平,并判断相关措施是否已经具备合理部署的条件。一方面,行业实践能够反映安全措施的技术成熟度与实际应用状况,为判断服务提供者采取相关措施是否具有现实可能性提供事实依据。另一方面,行业实践本身并不当然具有正当性,仍须结合危险发生的可能性、潜在损害的严重程度及实施相应防范措施的成本进行综合评价。同时,多数同类服务提供者尚未采取某项安全措施,可能表明该项措施尚未形成行业通行做法,但不能据此直接否定应当采取该项措施的义务。如果在具体损害发生前,特定危险已经公开披露且服务提供者具有合理的应对时间,或者同类漏洞已有能够合理部署的修复方案,抑或服务提供者已从既往安全事件、用户投诉和异常监测记录中获得相应危险线索的,均足以表明相关危险具有可预见性,采取相应的防范措施亦具有合理性。在此情形下,即使该项措施尚未被同行业普遍采用,仍可认定服务提供者负有相应的安全保障义务。

2.行业较高技术水平标准的场景化适用

现有技术水平不能被僵化地等同于行业平均水平,防止现有技术的局限成为责任豁免的万能理由。实践中,服务提供者常以技术复杂性为由规避披露义务,导致用户难以知晓数据被调用的范围及第三方接入使用的情况,若单纯以技术局限为由免除服务提供者的义务将导致责任真空。虽然生成式人工智能的自主性程度越高,服务提供者对算法黑箱的实质控制力越弱,但这不必然构成豁免全部责任的正当理由。因此,虽然现阶段的技术局限性是客观存在的,但是在某些场景中仍须要求服务提供者以行业较高技术水平为标准履行相应的安全保障义务。对于下列场景,应当以行业较高技术水平为认定标准,而非行业平均技术水平标准。

第一,生成式人工智能服务的用户群体具有特殊性。未成年人以及部分信息处理能力受限的老年人,对生成内容中的错误信息和诱导性表达通常缺乏充分识别与纠正的能力,也更容易形成超出一般用户的对生成内容的信赖。若仍按照面向一般用户的安全标准提供服务,形式上的同等保护反而可能造成风险负担的不平等。因此,基于实质平等保护的要求,服务提供者应当承担与此类用户脆弱程度相适应的较高安全保障义务。当生成式人工智能服务专门面向此类群体,或者服务提供者能够合理预见未成年人或老年人将构成其主要用户时,服务提供者应当根据用户的理解能力等调整服务方式。例如,交互界面应当采用与其认知水平相适应的表达方式,风险提示应当足以使其理解生成内容的局限。对于可能造成严重人身损害或者重大财产损失的功能,可以适当限制其开放程度;涉及未成年人的,还应为监护人提供必要的管理手段。确有识别用户年龄必要的,可以采取与危险程度相适应的核验方式,但不得以特别保护为由过度收集个人信息。但是,个别未成年人或者老年人偶然使用通用型生成式人工智能,并不足以当然提高服务提供者安全保障义务的认定标准。只有当生成式人工智能服务专门面向此类群体,或者服务提供者能够合理预见未成年人、老年人等主体将持续并在相当规模上使用该服务,进而构成其主要用户群体时,才有必要采取行业较高技术水平的认定标准。

第二,生成式人工智能应用的行业领域具有较强的决策指导性。生成式人工智能用于医疗、法律和金融等专业领域时,模型输出不再只是一般性的信息供给,而可能成为专业判断的组成部分。特别是在生成式人工智能被嵌入诊疗方案形成、法律事务处理或金融风险评估等业务流程时,系统运行状态将直接影响专业决定的形成。模型一旦因外部干扰而偏离既定运行逻辑,错误输出可能沿着专业业务流程转化为现实行动,由此造成的损害通常也比一般信息服务中的错误更为严重。专业行业既有的审慎要求不能因生成式人工智能的介入而降低;技术服务提供者也不能仅因其不具备传统专业机构的身份,便按照一般信息服务的安全标准承担义务。但是,生成式人工智能是否已经进入专业行业,不能仅依据输出内容是否涉及专业知识进行判断。用户偶然通过通用模型询问医疗问题或者寻求法律意见,并不意味着该模型已经被应用于医疗服务或者法律服务。较高技术标准的适用应当以生成式人工智能与专业业务之间形成稳定且实质的联系为前提。判断这种联系是否存在,应当考察该服务是否专门按照特定行业的业务要求进行开发,是否被作为专业辅助工具部署,以及模型输出是否实际进入专业决定的形成过程等。

第三,生成式人工智能应用于高利润商业领域。此类服务的特殊性并不只在于经营收益较高,更在于生成式人工智能往往已经成为扩大服务规模、降低经营成本和持续获取利润的重要工具。基于收益与风险相一致的原则,服务提供者既然能够借助技术应用取得显著收益,就不能在享有技术红利的同时,将本可由经营活动吸收的风险成本转由用户或者社会承担。判断此类服务提供者是否履行安全保障义务时,不能仅以行业平均技术水平作为判断基准,还应当考察其对相关风险的实际控制能力,以及采取更高防护措施的现实可能。因此,在防范措施已经相对成熟且实施成本与经营收益相称时,应当以行业较高技术水平判断其是否履行安全保障义务。

第四,生成式人工智能服务涉及国家安全或社会公共安全。此类服务一旦发生安全事件,影响范围可能超出个别用户与服务提供者之间的关系,对社会秩序和公共利益甚至国家安全生产扩散性的影响。因此,在此类应用场景中,服务提供者应当采取能够合理实施的较高行业技术水平的安全措施。对于现有技术尚不足以将风险控制在合理范围内的,不得仅以技术局限为由继续维持原有应用强度,而应当限制相关功能、缩小服务范围或者暂缓部署。


四、结语


当数据、算法模型与用户行为在同一技术系统中持续交互,数字空间便不再只是简单的信息传输媒介,而成为能够累积并放大危险的社会交往场域。现有研究多分别从网络平台责任、人工智能生成内容责任或数据合规义务方面展开,对于生成式人工智能服务提供者因开启并控制场域性危险而承担的安全保障义务,尚缺乏系统讨论。本文以交往安全义务理论为基础,论证服务提供者的安全保障义务,在区分数据场域危险与算法场域危险的基础上,进一步类型化安全保障义务的具体内容,并提出以行业平均技术水平为一般基准、以风险场景化的较高技术水平为补充的认定标准。而随着生成式人工智能技术及其应用的持续发展,危险形态也将不断分化,场域性危险只是其中的一种基本类型,难以涵盖技术运行和服务提供过程中可能出现的全部危险。因此,如何实现安全保障义务与产品责任、生成内容审查义务及数据合规义务等相关制度之间的规范衔接,避免重复归责与责任空白,仍有待理论研究和司法实践的进一步回应。