全文转载于《法律科学(西北政法大学学报)》2026年第1期
作者单位:曹建峰,法学博士,对外经济贸易大学涉外法治研究院研究人员。
【摘 要】随着对AI系统的控制权日益从使用者转向提供者,AI提供者责任问题已成为AI侵权责任制度讨论的核心议题。作为最低成本的事故规避者,提供者应对其开发、提供的AI系统因存在缺陷所造成的损害承担侵权责任。为此,有必要构建人工智能产品责任规则:一是革新产品概念,将软件、AI系统等数字化产品纳入产品责任法;二是扩大可赔偿损害范围,涵盖心理健康损害、数据损害、精神性人格权损害等;三是以合理算法标准取代传统缺陷认定模式,并以上市后监测义务等作为辅助规则;四是排除发展风险抗辩,建立算法解释与信息获取等程序性保障机制。总体而言,以产品责任视角来构建AI监管框架,是减轻AI风险和救济AI损害最有前景的方法,有助于激励安全创新,强化消费者保护,促进人工智能产业健康发展。
【关键词】人工智能提供者;人工智能产品责任;合理算法标准;算法缺陷;人工智能监管框架
一、引言:为人工智能提供者激活产品责任制度
(一)人工智能提供者产品责任的正当性
近年来,人工智能技术的快速发展,给他人权益造成损害的事故频繁发生,从自动驾驶汽车和有形机器人的安全事故到AI诊疗软件的错误诊断,再到各种自动化决策系统的算法歧视、不公平决策,可以说,AI事故和AI侵权正日益成为智能社会的“新常态”。〔1〕随着人工智能尤其是以ChatGPT、DeepSeek等为代表的通用人工智能广泛应用于经济社会,人工智能事故将有增无减。根据经济合作与发展组织(OECD)对全球范围内发生的AI事故的监测,2014年1月以来全球AI事故快速增加,截至2023年12月总数已达7195起。〔2〕而随着ChatGPT等生成式AI的兴起和发展,可以发挥情感陪伴、心理咨询等作用的AI聊天机器人的应用日益增多,但其却面临导致青少年抑郁、自杀等争议,相关公司已卷入多起侵权诉讼,产品被指控存在内部设计缺陷,开发者被要求承担产品责任。〔3〕
在人工智能语境下,由于相关的决策和行为主体从人类转向机器(即AI系统),损害也从人类和人类行为造成的损害转向AI系统及其行为造成的损害。例如,一辆无人驾驶汽车在“自我驾驶”过程中可能发生安全事故,AI系统驱动的实体机器人在执行任务的过程中可能给他人造成伤害,AI系统驱动的医疗诊断软件或智能投顾软件作出的失误性决策可能造成身体伤害或财务损失。相比人类直接实施的、可预见的侵权行为,人工智能侵权的责任归属更为复杂,不仅需要考虑AI系统的提供者、所有者、使用者等多个可能的责任方,而且面临AI系统的行为和决策过程难以预测、解释或控制等困难,特别是在使用深度学习等复杂算法时。
AI系统将控制权日益从使用者转移到提供者。与传统产品的运行或操作主要由使用者控制不同,对于常常是自主运行的、不透明的AI系统,使用者能够施加的控制或干预将大大减少。实际上,除了启动、关闭等常规操作,很多AI系统的运行完全排斥使用者的介入。这意味着,事故发生与否将较少依赖单个使用者的谨慎程度。AI使用者的责任可能会越来越退居幕后,而AI提供者的责任在确保受害人获得救济和赔偿方面将变得更加重要。换句话说,在人工智能侵权中,使用者的责任将逐渐被边缘化,提供者的责任将进入侵权责任制度的中心。如前所述,人工智能技术日益将作出决策和行动的主体从人类转移到各种智能机器,带来从“人类造成的损害”到“算法造成的损害”的转变,这将可能导致涉及产品责任索赔的案件数量大幅增加。〔4〕
虽然学术界对人工智能提供者责任存在过错责任、无过错责任(高度危险责任、产品责任等)、强制保险、赔偿基金等争议,〔5〕但人工智能提供者的责任构建没有理由偏离产品责任制度。人工智能系统作为一类数字化产品,其提供者/开发者应当像传统有形产品的生产者那样,就有缺陷的人工智能系统造成的损害承担严格的产品责任。这符合产品责任的法理基础,即要求AI系统提供者承担产品责任可以帮助实现消费者权益保护、产品风险分散、安全创新等目的。一方面,针对AI系统提供者施加严格的产品责任,可以激励他们在AI系统的设计、开发和部署过程中优先考虑安全性和可靠性;当提供者知道自己可能会因AI系统的缺陷而被追究责任时,他们更有动力主动遵守相关的法律法规和标准,并在设计和开发过程中实施严格的测试、验证和质量控制措施,从而防止缺陷发生并确保AI系统按预期运行而不造成损害。从法经济学的角度看,消费者因对AI系统及其风险知之甚少而难以采取预防措施来避免事故;AI系统提供者则处在采取预防措施的最佳位置,因为提供者最了解其所开发的AI系统,最有能力发现和消除AI系统的缺陷,因此由其作为事故规避者成本最低且最为合理。另一方面,相比于普通消费者,AI系统提供者更有可能通过产品定价、保险(如产品责任保险)等方式实现风险分摊和转移,不至于因承担责任而陷于破产等不利境地。未来,责任保险可能在人工智能产品责任制度中发挥重要作用,尤其可以在风险管理和制定安全标准方面发挥关键作用。〔6〕此外,将责任施加给AI系统的提供者有助于弥合提供者和消费者之间的信息不对称,增强AI系统的可解释性和透明度。
总之,建立AI系统提供者的产品责任制度有助于控制、减少人工智能发展中的风险,促进创新与安全的平衡,增进消费者和公众对AI技术的信任,帮助构建一个可信的、负责任的、可持续的人工智能发展生态。产品责任制度能够有效弥补人工智能造成的损害,确保受害人获得公平、有效、便捷的救济。本文尝试构建并论证人工智能系统提供者的产品责任框架,从而为人工智能时代革新产品责任制度提供参考。
(二)产品责任视域下人工智能提供者之界定
人工智能提供者的侵权责任应适用产品责任,而产品责任主体通常限于产品生产和销售链条中的相关参与者。我国《民法典》侵权责任编规定,产品的生产者和销售者应当对缺陷产品造成的损害承担赔偿责任。美国法上的产品责任适用于产品销售商业链条上的所有当事人,包括缺陷零部件供应商、生产商、中间经销商以及零售商等。2024年12月生效的、旨在取代1985年欧盟《产品责任指令》的、面向数字时代产品发展趋势的欧盟《产品责任指令》(以下简称《欧盟新产品责任指令》)提出了“商业经营者”(economicoperator)的概念,规定不同类型的商业经营者在特定条件下应对缺陷产品承担侵权责任,其中商业经营者包括产品或产品组件的制造者、〔7〕相关服务的提供者、制造者的授权代表、进口商、订单履行服务提供者以及分销商;不具有商业经营者身份的在线平台(如电商平台)在满足特定条件时也须承担产品责任。其中,产品的制造者/生产者是最主要也是最终的责任主体。《欧盟新产品责任指令》对制造者进行了较为宽泛的界定,按其规定,制造者是指任何从事以下行为的自然人或法人:(1)开发、制造或生产产品;(2)使产品被设计或制造,或者通过在产品上标注自己的名称、商标或其他识别特征而被视为该产品的制造者;(3)为自用目的开发、制造或生产产品。
因此,首先需要界定人工智能系统的生产者。AI系统的生产者就是开发、提供AI系统的人,即AI系统提供者。欧盟《人工智能法案》将AI系统提供者定义为开发人工智能系统或通用人工智能模型,或者让人工智能系统或通用人工智能模型被开发并以自己的名义或商标将其投放市场或投入使用的自然人或法人、公共机关、机构或其他团体,无论收费与否。可见,欧盟《人工智能法案》中的人工智能系统提供者的定义和《欧盟新产品责任指令》中的产品制造者的定义是一致的。此外,考虑到AI价值链的复杂性,复杂人工智能系统的开发可能存在多个参与方,这可能导致难以准确识别AI系统及其不同元素的提供者。对此,当两方或多方在合同或类似基础上合作提供同一人工智能系统的不同元素,形成一个商业和技术单元(commercialandtechnologi-calunit)时,该商业和技术单元的所有参与方属于共同提供者,承担连带责任。判断参与方是否构成同一商业和技术单元需要考虑的因素包括:不同元素的任何联合或协调营销、元素之间技术相互依赖和互操作的程度以及元素组合的特异性或排他程度。〔8〕
在产品责任制度下,AI系统提供者须对其所提供的AI系统因缺陷所造成的损害负责。结合人工智能领域的实际情况,至少需要分四种情形来讨论AI系统提供者的责任。
情形一:AI系统作为独立的数字化产品。一套完整的人工智能系统的开发者可以被比作制造一个由众多集成组件组成的复杂产品的制造商。AI系统通常可能包含由第三方提供的工具、组件(如离散软件模块)、服务(如数据供应服务)、程序等,就像复杂的有形产品的制造商可能依赖各种来源的组件一样。因此,当AI系统本身就是一个最终产品时(比如AI诊疗软件、AI心理咨询软件、AI陪伴软件),其提供者对有缺陷的AI系统造成的损害应承担侵权责任。
情形二:AI系统作为其他产品的数字化组件。在很多情况下,AI系统可能作为由第三方提供的组件(即AI组件)被集成或连接到其他最终产品(包括软件产品和硬件产品),最典型的例子莫过于自动驾驶汽车上的自动驾驶或辅助驾驶系统。这些最终产品中的人工智能模块的设计者和开发者,可以比作被整合到复杂产品中的组件供应商。因此,如果损害是由AI组件的缺陷造成,那么责任主体不仅包括该最终产品的生产者,还应包括AI组件的提供者。最终产品的生产者在承担赔偿责任后,理论上可以向AI组件的提供者追偿,或者按照双方之间的合同约定来处理。有学者指出,应将产品责任扩展到自动驾驶汽车中有缺陷的软件组件,给无人驾驶或自动驾驶汽车提供组件的软件创建者将对危险性的缺陷代码造成的伤亡承担严格责任。〔9〕
情形三:免费开源人工智能。免费且开源的软件和人工智能系统本身不应适用产品责任。在免费开源人工智能被商业化开发和使用的情况下,例如在商业活动之外提供的免费且开源的AI系统,随后被某个生产者作为组件集成到其产品中,并在商业活动过程中投放市场,该产品的生产者应当对所集成的AI系统的缺陷导致的损害承担赔偿责任,开源人工智能系统的生产者无须承担侵权责任,而且该产品的生产者无权向开源人工智能系统的生产者进行追偿。这种责任限制旨在鼓励开源人工智能的发展和创新。
情形四:人工智能系统被第三方进行了实质性修改。根据《欧盟新产品责任指令》,如果第三方在原始生产者的控制之外对产品进行了实质性改装,包括改变产品原有预期功能的修改、影响产品符合相关安全要求的修改、改变产品风险状况的修改等,那么该第三方应对改装后的产品负责;但该第三方如果能够证明损害与未被改装影响的产品的组成部分有关,则免于承担责任。这一规定同样适用于AI系统的实质性修改。例如,欧盟《人工智能法案》对人工智能系统的实质性修改作了规定,当分销商、进口商、部署者或其他第三方对已投放市场或已投入使用的高风险AI系统进行了实质性修改,其应被视为修改后的AI系统的提供者。实质性修改是指提供者在AI系统投放市场或投入使用后对其进行的改变,这种改变在提供者按照法案最初进行的合规性评估(conformityassessment)中未被预见或计划,并且导致以下结果之一:影响了AI系统对法案中相关要求的遵守,或者修改了AI系统已评估的预期用途。
此外,除了AI系统提供者这一首要的责任主体,根据我国《民法典》第1203条,受害人也可以向AI系统的销售者请求赔偿。《欧盟新产品责任指令》按照承担责任的次序对责任主体作了全面规定:第一层即缺陷产品和缺陷组件的制造商,是最主要也是最终的责任人;第二层即进口商、制造商的授权代表、订单履行服务提供商,其承担责任的前提是产品和组件的制造商位于欧盟之外;第三层即分销商,其承担责任的前提是分销商未能向受害人指明第一、二层的相关责任人;第四层即在线平台,中介性质的在线平台在特定情况下会被视为分销商。〔10〕借鉴欧盟产品责任的立法思路,有必要对我国《民法典》第1203条中的销售者作扩大解释,将进口商、订单履行服务提供商等纳入销售者的范围,以确保消费者和其他自然人获得充分的救济。而网络交易平台、〔11〕软件分发平台等在线平台则应在特定情况下承担销售责任。最后,当存在多个责任人时,多个责任人对受害人承担连带责任;责任人在承担责任后可以向最终的责任人进行追偿。
二、人工智能系统的产品属性界定
(一)产品的概念及其革新
一般而言,产品责任适用于任何产品。根据我国《产品质量法》第2条,产品是指经过加工、制作,用于销售的产品,但不包括建设物等不动产。1985年欧盟《产品责任指令》中的产品不仅包括所有的动产(即使其被集成到另一动产或不动产中),而且包括电力,但却不包括初级农产品(即未经第一次加工的农业天然产品)和游戏;1999年欧盟在对该指令进行修订的时候,删除了针对初级农产品的除外规定,明确产品是指所有的动产以及电力。〔12〕美国《侵权法重述第三版:产品责任》将产品定义为“通过商业销售以供使用或消费的有形动产”,包括不动产和电力(前提是它们的销售及使用与有形动产的销售及使用足够类似),但明确排除了服务以及人类血液和人类组织器官。〔13〕综合来看:第一,产品责任中的产品范围一般限于作为有体物的动产,不包括建筑物等不动产;第二,产品责任中的产品须经过加工、制作且被投入流通领域,未被投入流通或使用的物品不受产品责任约束;第三,对产品和服务进行区分,产品不包括服务,这意味着服务不适用严格的产品责任,而适用一般过错责任。
值得讨论的是,软件、信息、数据等无形物品或者说信息产品是否属于产品责任意义上的产品。法院通常认为,产品责任制度主要适用于有形产品,而不是无形的服务或信息。信息(例如出版物中的信息)原则上不属于产品,不适用产品责任,否则不仅会影响信息自由和言论自由,而且可能会因信息所具备的无形性、共享性和无限传播性而导致责任泛滥。〔14〕例如在美国,除涉及存在缺陷的航海图、航空地图和提供职业杀手信息的出版物外,其他电子形式的书籍、杂志文章、电影、唱片,电脑游戏、网络等信息产品的产品责任诉讼,都已被禁止。〔15〕而软件是否属于产品仍然是一个“悬而未决的问题”。在欧洲,1985年欧盟《产品责任指令》将软件排除在产品的范围之外;在美国,无论是因为软件的无形性质似乎与产品的概念不符(产品通常限于有形商品),还是因为软件似乎更适合被视为一种服务(例如信息服务),〔16〕抑或是因为软件被认为代表着“无形的思想、想法或表达性内容”,法院长期以来都不愿将产品责任的适用扩展至软件。〔17〕如果将软件归类为服务,就意味着对其应适用过失责任而非产品责任。因此,这一分类在某种程度上保护了软件开发者,使其免于因软件缺陷而承担责任。进一步讲,对于软件应归类为产品还是服务的问题,主要存在两个判断标准。第一个标准是考虑软件的载体和存储介质,存储在有形载体(如磁盘、光盘等)中的或者集成于硬件中的软件属于产品,而以下载、云服务(如SaaS,即所谓的“软件即服务”)等方式提供的独立软件通常被认为是服务。另一个标准是考虑软件的供应和销售模式,根据美国《统一商法典》(UCC),大规模销售的软件被视为商品(即产品),而为特定客户专门开发的定制化软件则被视为服务。〔18〕然而在数字化时代,这两个判断标准并不合理:一方面,不管是从风险还是功能上看,区分软件的载体和存储介质毫无意义;〔19〕另一方面,软件设计的标准方案常常被修改以满足个别客户的具体需求,从而模糊了软件的定制开发和大规模销售之间的区别。因此,越来越多的学者主张对软件适用产品责任而非过失责任。〔20〕
随着科技的不断进步,产品的特性逐渐数字化和非物质化,各种数字化产品越来越常见,在人们的生活中发挥着越来越大的作用。显然,传统的产品概念已经难以适应数字时代和人工智能的发展,对产品概念进行革新势在必行。实际上,数字时代产品的概念足够灵活和包容,其内涵已超出了有形财产的范围,将软件和人工智能系统视为产品并适用产品责任不存在不可逾越的法律障碍。并且,数字时代产品与服务的差别可能没有传统时期那么明显,甚至随着云计算能力的提升,更多的软件和AI系统可能会基于云服务模式提供服务,结果就是,越来越难界定软件、AI系统等数字化内容和服务究竟属于产品还是服务。从长远来看,可能有必要对产品和服务适用共同的责任制度,或者至少需要为两者作更加明确的定义,制定更明确的标准。
因此,革新产品责任项下的产品概念,将产品范围扩展到软件、AI系统等数字化产品,是产品责任制度保持与时俱进,应对人工智能时代带来的挑战的必然选项。可以说,既有的产品责任法已经不能适应数字时代和数字产品的发展,因为其制定的时候考虑的是传统的产品和商业模式—生产者将物质对象生产出来并投入市场之后,不再对产品施加控制。欧盟已经率先开始制定数字时代的产品责任法。2022年9月,欧盟委员会发布了关于“新修订的产品责任指令”的立法提案,旨在取代被学界认为已经远远落后于时代的1985年《产品责任指令》;2024年10月,欧盟议会和欧盟理事会最终通过了新的产品责任指令。〔21〕《欧盟新产品责任指令》指出,数字时代的产品可以是有形的,也可以是无形的。软件,如操作系统、固件、计算机程序、应用程序或人工智能系统,在市场上越来越普遍,并在保障产品安全方面发挥着越来越重要的作用。软件既能够作为独立产品投放市场,也能作为组件被集成到其他产品中,并且可能在运行中造成损害。为了维护法律的确定性,《欧盟新产品责任指令》应澄清软件是适用无过错责任的产品,无论其应用或使用方式如何,也无论软件是存储在设备上、通过通信网络或云技术访问,还是通过软件即服务(SaaS)模式提供。若要规制软件所涉及的风险,就应将软件纳入产品范围。
《欧盟新产品责任指令》对产品概念体系的革新主要体现在三个方面:第一,更新产品概念,明确将软件纳入其中。按其规定,产品是指所有动产,即使其被集成到另一动产或不动产中或者与之互联,包括电力、数字制造文件、原材料和软件。第二,将产品责任的适用范围扩展到产品的相关服务。虽然原则上服务本身不适用产品责任,但是产品的相关服务是指集成到产品中或与产品互联的数字服务,如果没有该服务,产品就无法执行其一个或多个功能。其原因在于,产品的相关服务与物理或数字组件一样决定着产品的安全性,应被视为其被集成或互联的产品的组成部分。第三,扩大产品组件的概念,即组件是指集成到产品中或与产品互联的任何物品,无论其是有形还是无形,也无论其是原材料还是相关服务,这意味着承认了无形的软件组件属于产品。
欧盟产品责任立法对产品概念的革新,为产品责任适用于人工智能系统和其他软件应用奠定了法律基础,这是非常值得肯定和借鉴的。为了确保产品责任制度能够在数字时代继续发挥功能,我们必须抛弃“产品与服务之间的区别是泾渭分明的”“产品必须是有形的、静态的、标准化的”等成见,推动产品责任制度与时俱进,为迎接人工智能时代的到来做好准备。
(二)人工智能系统作为产品的合理性
对于是否应将AI系统视为产品责任制度下的产品,学界存在与前述观点不同的看法:由于AI系统在本质上是算法和软件,且常常以在线服务的形式提供,所以通常可能会被认为是服务,而不是产品。〔22〕换言之,AI系统不应被视为单纯的产品,应受制于产品责任之外的其他法律框架。一种观点认为,不管适用产品责任的理由是什么,替代人类专业判断的AI系统不应被归类为产品,而应遵循目前适用于人类的合理性标准,〔23〕因为具有自主性的AI系统可以像人类一样作出决策,是所谓的“思考算法”(thinkingalgorithms),这种算法造成的损害可能不能归因于“缺陷”。例如有学者认为,医疗人工智能应用不是典型的医疗设备,不应适用产品责任制度,〔24〕而应类似于人类医生一样受到监管。〔25〕实践中,美国一些法院认为相关领域中的人工智能系统不是产品。例如在2020年3月,美国第三巡回上诉法院在罗杰斯诉克里斯蒂案(Rodgersv.Christie)中认定,一种用于评估刑事被告是否应在审判前获得假释的审前风险评估算法(该评估使用“多因素风险估算模型”)不属于新泽西州产品责任法下的产品。〔26〕另有观点认为,产品责任法关注的是与硬件产品相结合或存在密切关联的人工智能软件系统,而对于完全独立的、纯粹的人工智能软件系统,尤其是具有明显服务属性的人工智能应用,更适合在产品责任以外的一般侵权责任框架下进行讨论;换句话说,单纯的人工智能软件系统,如ChatGPT等生成式人工智能应用,不宜被纳入产品责任法的适用对象。〔27〕
显然,当AI系统与硬件结合在一起,比如AI系统被集成到自动驾驶汽车、人形机器人、无人机等有形产品中,理应对其适用产品责任,这基本上不存在什么争议,因为AI系统是最终产品的组成部分。但是,当AI系统以纯粹软件、云服务等形式独立存在和提供时(比如独立提供的智能诊疗软件、在线运行的AI聊天机器人等),即作为并不具有一定形体的独立数字化产品而存在时,其是否可被纳入产品范畴存在争议。本文认为,简单粗暴地区别对待独立的AI系统和被集成到硬件产品中的AI系统是不妥当的,甚至是荒谬的。因为AI系统的风险并不取决于其载体和存在形态,而且许多AI系统的风险和有形产品的风险可能完全相同。无论产品是否具有物理的、有形的形态,其风险和收益都是相同的,因此其所适用的法律制度也应相同。例如,美国食品药品监督管理局已明确将AI医疗软件视为医疗器械而非单纯的服务,而且AI医疗软件是否属于医疗器械并不取决于其是否被整合到特定的硬件中。〔28〕这一定位解决了“软件是否属于产品”的法律疑问,并为产品责任诉讼提供了基础。英国交通部明确指出,自动驾驶系统适用产品责任。〔29〕因此,人工智能系统应被作为产品责任意义上的产品,无论其是以数字化形式独立存在,还是被集成到其他产品中。
值得注意的是,针对生成式AI应用对社会带来的损害,法律实践中正日益呈现产品责任化的处理趋势。在美国,一方面,大量案件指控社交媒体平台存在缺陷性设计,导致青少年上瘾并引发心理健康问题;〔30〕另一方面,随着ChatGPT、角色人工智能软件(Character.AI)等由生成式AI驱动的、具有交互特性的聊天机器人和AI陪伴应用(AICompanion)广泛普及,因其设计缺陷引发的一系列伤害事故和诉讼日益增多,尤其在儿童和青少年用户中更为突出。例如,在2024年的加西亚诉角色人工智能软件案(Garciav.CharacterAI)中,受害男孩的父母主张聊天机器人在可预见使用下(未成年人情感化互动)存在设计缺陷、未警示用户等问题,对14岁少年造成心理伤害并致其自杀,并且法院已支持原告使用产品责任规定保护自身权益;〔31〕在2025年的雷恩诉美国人工智能研究公司案(Rainev.OpenAI)中,16岁受害少年的父母指控ChatGPT在识别与干预自杀风险方面存在内在设计缺陷、未进行警示、未采取合理防护等问题,并因此主张OpenAI承担严格产品责任、过失与过失致死责任。〔32〕由于相关事故和案件的持续发酵,美国相关政府部门开始积极关注“AI陪伴”产品的安全风险。例如,2025年9月11日美国联邦贸易委员会启动对七家AI聊天机器人公司的调查,重点审查这些产品作为“AI伴侣”时对儿童和青少年的潜在负面影响(诸如心理与隐私风险等);美国国会参议院则于9月16日举办了主题为“审视AI聊天机器人的伤害”的听证会,参加听证会的参议员指出,AI聊天机器人是“有缺陷”的产品,就像没有“合适的刹车”的汽车一样;AI聊天机器人的危害并非源于用户错误,而是源于有问题的设计。〔33〕
值得讨论的是,区分人工智能系统是产品还是服务是否有必要或者有意义以及对其采取什么标准进行区分。第一种方式是采取功能理论,即根据功能或最终产品将AI系统分类为产品或服务。如果AI系统被用来提供人类可以执行的服务,例如投资咨询,则其应属于服务;相反,如果AI系统具有潜在危险或者控制产品安全功能,则可被界定为产品。然而,根据功能和最终产品进行区分的方法并不合理,因为这种分析包含主观评估,可能在分类上产生不一致的结果。第二种方式是采取销售类型理论。如果AI系统是以商品常规销售的方式进行大规模营销的,则其属于产品并适用严格的产品责任;如果AI系统是针对特定客户的定制程序,则按照服务适用过失责任。第三种方式是根据数字服务或软件是否附属于产品,来决定其是否适用产品责任。例如《欧盟新产品责任指令》将集成到产品或与产品互联的数字服务纳入产品责任的规制范围,因为这些服务会影响产品的安全性。这一规定在一定程度上缩小了产品和服务尤其是数字服务之间的界限。
对于人工智能等信息技术而言,产品和服务之间的区分越来越没有意义,因为人工智能技术发展使得产品和服务的界限日益模糊;在某一特定时间点完成的产品,可能转变为产品和持续服务的融合,这对产品责任产生了重大影响。可以说,在数字时代,产品可以是无形的(如软件)、动态的(如AI系统可以通过更新升级、自我学习等方式发生改变)、自主性的(如AI系统具有自主决策和行动的能力),可以以所谓的“数字服务”形式提供。实际上,随着人工智能的发展和应用,未来所有产品都可能变成智能产品。因此,我们没有理由把人工智能系统排除在产品责任之外,不论其是独立的还是被集成到或连接到某个最终产品,也不论其供应或使用方式如何。当然,在涉及AI系统的时候,仍需坚持信息本身不被视为产品的原则,诸如电子形式的书籍、图片、音视频等数字文件或软件源代码均不适用产品责任规则;如果某个AI系统仅仅是提供纯粹的内容,而不具有一定的功能,则不适用产品责任。〔34〕值得一提的是,免费且开源的AI系统不应适用产品责任,因为免费且开源的人工智能一般被认为是在商业活动之外进行开发或提供的,因此并未被投入市场流通领域。将免费且开源人工智能排除在产品责任的适用范围外,有助于促进人工智能研究和创新。
三、人工智能提供者产品责任的构成要件
(一)可赔偿损害范围之扩大
人工智能系统提供者产品责任的构成要件有三:一是损害;二是人工智能系统存在缺陷;三是人工智能系统的缺陷和损害之间存在因果关系。首先需要讨论的是,在人工智能系统造成的损害中,哪些类型的损害可以根据产品责任予以赔偿。产品责任制度的设立旨在保护消费者和其他自然人的健康、生命和财产安全,因此,可以通过产品责任进行救济的损害通常限于人身伤害和财产损害。例如,根据我国《产品质量法》第41条,产品缺陷造成的损害限于人身、缺陷产品以外的其他财产损害。1985年欧盟《产品责任指令》将损害分为因死亡和人身伤害造成的损害、对缺陷产品以外的其他财产造成的毁坏或损害。
考虑到AI系统尤其是单独存在的AI系统可能更多造成传统的人身和财产损害之外的新型损害,因此,有必要突破产品责任一般仅限于赔偿人身和财产损害的传统观念,扩大人工智能产品责任中可赔偿损害的范围,将数据损害、医学认可的心理健康损害、侵犯隐私和人格尊严等对精神性人格权造成的严重精神损害、缺陷产品自身损害等纳入救济范围,但应排除纯粹经济损失和未造成实际损害的算法歧视。换言之,人工智能产品责任除了需要化解传统的人身和财产安全风险,还需保护消费者和其他自然人的心理健康、精神安全、隐私等精神性人格权。
其一,数据损害。数据被比作“新石油”,被视为新的战略性资产和生产要素,是新型无形财产。我国《民法典》第127条原则上将数据〔35〕纳入民事权利客体,规定“法律对数据、网络虚拟财产的保护有规定的,依照其规定”;《中共中央、国务院关于构建数据基础制度更好发挥数据要素作用的意见》明确提出,探索建立数据产权制度,建立数据资源持有权、数据加工使用权、数据产品经营权等分置的产权运行机制。〔36〕随着生活和“财产”日益数字化,数字世界中的数据损毁丢失现象越来越常见,并给消费者造成损害,因此仅将损害限制在有形世界已不再合适。将数据损害纳入产品责任制度的保护范围,不失为对数据相关权益进行保护的一种有效方式。《欧盟新产品责任指令》第6条已将“数据损害”纳入产品责任的可赔偿损害范围(非专业用途数据的破坏或损坏)。在人工智能语境下,AI系统的网络安全缺陷或其他故障可能导致数据的删除、灭失、损坏、污染、加密、抑制、更改、丢失等,因此,人工智能产品责任应当包含对数据的毁坏或损坏进行赔偿的责任,包括赔偿恢复或还原数据的成本。当然,数据的毁坏或损坏并不自动导致实际损失,如果受害人能够在不产生费用的情况下恢复数据(比如当存在数据备份或者数据可以被再次下载时),或者AI系统提供者可以恢复或重新创建暂时不可用的数据(比如在虚拟环境中),就不会导致实际损失。此外,数据损害和数据泄露与违反数据保护规则所致损害是不同的,因此,适用人工智能产品责任对数据损害进行救济,并不影响个人信息保护法对个人信息损害进行救济。〔37〕基于人工智能产品责任制度提供的救济和个人信息保护法提供的侵权救济可以并行不悖。
其二,心理健康损害。健康不限于生理健康,也包括心理健康和精神健康。鉴于AI系统可能与个人进行非传统交互(例如陪伴、心理咨询、亲密关系等情感方面的交互),并可能给个人造成心理健康问题或心理疾病,因此应当明确,有缺陷的AI系统造成的人身伤害包括医学认可和医学确诊的心理健康损害,当带来的损害需要治疗或医疗处置时,该系统应被纳入产品责任赔偿损害。当然,在确定心理健康损害时,应考虑包括世界卫生组织发布的《国际疾病分类》等标准。
其三,侵犯隐私等精神性人格权造成的严重精神损害。人工智能产品给消费者带来的风险,不仅在于人身财产安全层面的损害,而且在于精神层面的威胁,诸如内在精神损害(逃避现实、成瘾等)、隐私监控、不当数据收集或泄露等风险,这些精神安全风险不容忽视;应将人工智能产品在精神安全方面导致的不合理危险纳入缺陷产品的认定标准,以对这些新型风险进行应对与防范。〔38〕笔者主张将“医学认可和确诊的心理健康损害”纳入人身伤害范围;同时,人工智能产品责任制度应当对个人自由和隐私、人格尊严等精神性人格权进行保护。当有缺陷的AI系统导致人格权利被侵害(例如,AI系统的网络安全缺陷可能导致个人自由和隐私被监控或个人信息被非法获取)时,受害人可以请求停止侵害、获得精神损害赔偿(为避免过度诉讼,应限于严重精神损害)。因产品缺陷对个人健康、生命和身体完整造成的侵害是否产生精神损害赔偿的问题,不在本文的关注范围,在此不作讨论。
其四,AI系统对自身或集成或连接的产品造成的损害。AI系统可能造成自身损害或造成其所集成或连接的产品损害,例如自动驾驶系统的故障可能造成自动驾驶汽车本身的毁坏或损害。然而,对于缺陷产品自身的损害是否属于产品责任的赔偿范围,各国多采取否定态度。〔39〕例如,《欧盟新产品责任指令》中的“财产损害”明确不包括:缺陷产品自身损害;制造商集成或连接到产品中的缺陷组件或在制造商控制范围内的缺陷组件造成该产品损害。我国《产品质量法》第41条亦将缺陷产品自身损害排除在产品责任的赔偿范围之外;我国《民法典》第1202条则使用了“他人损害”这一用语,并未明确排除“缺陷产品自身损害”。这种除外规定并不合理。这意味着受害人只能通过合同责任解决缺陷产品自身的损害,徒增受害人的讼累,对受害人的保护并不充分,因为受害人无法向与其没有合同关系的产品生产者请求赔偿。〔40〕因此,应将AI系统及其集成或连接的产品自身的损害纳入人工智能产品责任的赔偿范围,从而及时、便捷地保护用户、消费者的合法权益。〔41〕
(二)人工智能系统缺陷及其判断标准—合理算法标准
1.人工智能系统缺陷认定困境
产品缺陷是产品责任法构建的核心。〔42〕只有产品存在缺陷,生产者才会对产品造成的损害承担赔偿责任,缺陷构成了生产者责任承担的正当性基础。〔43〕因此,在确定提供者对AI系统的责任时,对“缺陷”的定义和认定至关重要。根据我国《产品质量法》第46条,缺陷是指产品存在危及人身、他人财产安全的不合理危险;不符合与产品安全相关的国家标准、行业标准的产品,也被认为存在缺陷。1965年《美国侵权法重述(第二次)》将产品的“缺陷状态”解释为“产品在离开生产者控制时,对最终消费者具有无法预见的不合理的危险”。〔44〕根据《欧盟新产品责任指令》,如果产品不具有人们期望的安全性,或不符合欧盟或成员国法律所要求的安全性标准,则可认定产品存在缺陷。可见,产品缺陷主要是指产品具有不合理危险,或者不具有人们期望的安全性。产品缺陷一般分为制造缺陷、设计缺陷以及警示缺陷,每一种缺陷都使得产品具有“不合理的危险”。难点在于,如何判断产品是否具有不合理的危险。AI技术的复杂性和诸多新特征给识别和认定AI系统是否存在缺陷提出了挑战。
首先,制造缺陷可能不适用于AI系统。制造缺陷是指在制造过程中发生的缺陷,这些缺陷导致产品偏离其预期设计,未能符合其精确的预定规格。制造缺陷可以通过“蓝图测试”来判断,该测试依赖于制造商自己的规格。在软件领域,制造缺陷多表现为软件在复制过程中代码复制的不完整等缺陷,这些情况在数字时代已非常少见。〔45〕因此,对人工智能这样的算法系统而言,受害人可能难以主张制造缺陷,因为程序和算法这种无形产品具有特殊性,其可以依据一定标准进行大规模、标准化地复制,可以认为这些无形产品的制造基本都是符合设计标准的。〔46〕进一步讲,如果只有复制缺陷被视为制造缺陷,那么在以无形形式提供AI系统的情况下,似乎不会存在制造缺陷,因为没有制造任何有形的东西。因此,传统的制造缺陷理论可能并不直接适用于软件和人工智能,除非其硬件组件存在制造错误。
与传统产品相比,人工智能系统的缺陷(以下简称AI缺陷)更多源于设计缺陷而非制造缺陷。因为AI系统涉及复杂的算法,设计包含广泛的因素,如训练数据、模型架构、学习算法、软件代码和决策规则等。这些因素中存在的任何缺陷或不足都可能显著影响AI系统的性能,例如软件代码中的设计缺陷或错误可以直接影响AI系统的行为并导致AI缺陷。这些缺陷更可能源于人工智能系统开发和实施过程中的设计选择,而不是制造过程本身。总体而言,AI缺陷通常是不当设计选择的结果,包括训练数据中的偏见、不完善的算法或对边缘情况的考虑不足等。
其次,在判断AI缺陷方面,设计缺陷的既有判断标准存在适用难题。设计缺陷指产品设计存在不合理的危险性。对于设计缺陷之判断,学界主要采取两种测试标准:消费者期望测试(consumerexpectationstest)和风险—效用测试(risk-utilitytest)。《美国侵权法重述(第二次)》第402A节最早明确规定了消费者期望标准,根据该标准,如果产品在预期或合理可预见的使用方式下未能表现得像消费者期望的那样安全,则认定产品存在缺陷;《欧盟新产品责任指令》也采取了消费者期望标准,即在考虑到所有相关情况的前提下,考察产品是否能达到公众期望的安全性。消费者期望测试是一种客观分析而非主观判断,关注的是一个合理的消费者或广大公众对产品安全性的一般期望。风险—效用测试是《美国侵权法重述(第三次)》在第2节中提出的标准,旨在取代之前的消费者期望测试标准。时至今日,美国法院主要使用风险—效用测试来判断设计缺陷和警示缺陷是否存在。根据这个测试,如果一个产品可以通过采取“合理的替代设计”减少或避免可预见的伤害风险,而该产品没有采用这种设计,那么这个产品就被认为是有缺陷的。在这个测试下,受害人必须证明存在一个合理的替代设计,该替代设计带来的安全收益大于该替代设计的效用损失(包括成本增加)。风险—效用测试旨在平衡制造商和消费者之间的利益,并没有赋予制造商制造绝对安全产品的义务,毕竟制造绝对安全的产品通常是不可能的或成本高昂的;相反,制造商有责任使其产品具有合理的安全性,无论消费者是否意识到产品具有危险。可见,风险—效用测试将过失因素重新引入了产品责任制度,从而抬高了证明和认定设计缺陷的门槛。
然而,无论是消费者期望测试还是风险—效用测试,都难以作为AI缺陷的认定标准。因为就消费者期望标准而言,第一,AI系统的高度复杂性和不透明性使消费者难以对AI系统的性能和安全性形成合理期望;对于AI系统,消费者无法依靠日常经验来形成所谓的合理期望,因为大多数消费者并不具备形成合理期望所需的理解技术的能力。第二,AI系统可以持续学习和演变,因此其性能可能会在投放市场后根据使用情况进行改变或改善,AI系统的这种动态变化属性使得人们形成静态的消费者期望变得复杂,从而导致难以应用一致的标准。第三,AI系统经常遇到罕见且不可预测的情形,人们难以对这些情形进行全面预测和提前测试,因此,AI系统的不可预测性使其是否能符合消费者的期望变得难以确定。第四,不同消费者对AI系统的期望可能不一致,有时甚至不切实际,比如期望AI系统完美运行并避免所有事故,这在当前技术水平下是不可行的、不现实的。并且,消费者的期望与当前技术水平之间的不匹配关系可能产生不切实际的AI系统标准。总之,消费者期望标准因其主观性强、难以进行客观判断而一直饱受诟病。而且,该标准要求消费者“对产品的设计有足够的了解或熟悉,才能对其安全或性能有合理的期望”,〔47〕这在涉及复杂产品的案件中显然难以确认,对人工智能系统而言更是如此。因此,在可预见的未来,法院可能很难界定消费者或公众对AI系统安全的合理期望。
风险—效用标准面临的最大问题是,由于AI系统的复杂性、不透明性、不可解释性、不可预测性等诸多新特征,使得受害人找到可以降低AI系统伤害风险的合理替代设计异常困难。要求受害人对AI系统的复杂代码和算法进行技术分析是不现实的。这将迫使受害人聘请专家来审查AI系统中的可谓“汗牛充栋”的代码和算法并“修复”AI系统,以确定导致事故的设计缺陷并找到更安全的替代设计(即证明如何以更安全的方式设计、编写算法从而防止事故的发生)。这种“壮举”无疑超出了法律对普通人的合理要求。此外,传统的风险—效用分析实质上假定了产品设计的静态前提,即当制造商将产品投入市场时设计就已完成。对人工智能系统而言,这种假设似乎无法成立,因为AI系统在投入流通或使用后可以基于新的数据和交互持续学习,且AI系统的学习和决策过程不透明、不可解释,这些因素使得在某个特定时间点评估AI的风险与效用变得非常困难。并且,AI系统涉及伦理和监管考量,诸如隐私、偏见、歧视等问题,这增加了传统的风险—效用分析的复杂程度。总之,包含合理替代设计的风险—效用标准给受害人带来了过重的证明责任,显著降低受害人获得赔偿的可能性,故不应被作为AI缺陷的认定标准。
最后,在人工智能系统语境下,警示缺陷标准的地位更加重要,因为AI系统的提供者和使用者之间存在严重的信息不对称,而AI系统提供者对其潜在风险更加了解。根据警示缺陷理论,AI系统提供者有义务向消费者和用户提供充分的危险警告,并提供合理的使用说明以指导消费者和用户安全地使用、操作AI系统。通常而言,如果生产者知道或者应当知道其产品存在安全风险,且相当数量的用户不会意识到该安全风险的存在,那么生产者有义务提供充分且合理的警告或使用说明,以确保用户和消费者知晓相关风险信息。这一警示义务一般仅针对产品本身已知或可预见的情况,如产品的可预见的伤害风险,而不包括无法预料的情况。在开发和部署AI系统时,AI技术的开发者、采购者、使用者等主体之间缺乏沟通、权责界限不清和缺少教育培训是导致人工智能系统产生不可预测伤害的一大原因。〔48〕因此,考虑到AI系统提供者在对AI系统进行测试以及明确其技术限制等方面具有较大的控制力,测试和教育将是减少AI系统的不可预测性和潜在伤害的关键。换言之,提供者有责任对其AI系统进行充分的测试,并基于测试结果对下游使用者进行有效的教育,充分告知使用者AI系统目前存在的技术限制、风险等。这不仅可以提高下游使用者的人工智能素养,帮助其更好地理解和控制AI系统的行为,而且能够避免使用者对AI系统能力产生不切实际的期望。因此,从人工智能产品责任的角度出发,界定AI系统开发和部署中的合理测试和沟通教育标准至关重要,AI系统提供者缺乏与使用者的沟通教育或不充分的沟通教育将可视为AI系统存在警示缺陷。
2.人工智能系统缺陷的判断标准
(1)合理算法标准。缺陷的定义和判断标准对产品责任规则设计和适用具有重大影响。如果法院可以迅速认定产品存在缺陷,产品责任就会向绝对责任靠拢;如果证明产品存在缺陷十分困难,产品责任则更接近于过失责任规则,甚至是无责任规则。〔49〕从产品责任法的立法目的出发,现有的风险—效用测试和消费者期望测试标准都不足以应对以“学习算法”为核心的AI系统的复杂性。因此,本文主张将合理算法测试(reasonablealgorithmtest)作为AI缺陷尤其是AI系统设计缺陷的判断标准。合理算法标准关注的是,AI系统的设计、功能和表现是否合理,比如AI系统是否执行或正确执行其预期功能,或者是否达到一个合理算法应当具有的水平。〔50〕不过需要明确以下几点:第一,人工智能系统安全具有客观性,与制造商的过错或伤害风险的可预见性完全无关,我们不应将过失因素引入AI缺陷的判断,否则会给受害人带来过重的举证负担。第二,应扩大AI系统导致的不合理危险的范围。人工智能产品的风险状况不仅包括人身和财产安全风险,而且包括其对心理健康的影响、精神伤害危险、隐私侵犯、算法歧视等新型风险。第三,合理算法标准通过考虑AI系统的功能和表现来定义AI缺陷,即其是否执行或正确执行AI系统合理预期的功能,而不关注AI系统的行为或表现是否像人类那样具有过失,毕竟针对人工智能系统缺陷的认定适用过失标准是不切实际的、荒谬的。尽管我们可能无法确立对AI系统安全性的合理期望,但至少能明确AI系统应该做什么以及它是否能做到。第四,并非所有的AI安全事故都会被视为AI缺陷,合理算法是介于结果责任和过失责任之间的一个标准,其意义在于避免AI缺陷的认定过于容易或者过于困难。换句话说,依据AI系统造成的伤害或损害的事实本身不能直接推导出AI系统存在缺陷,因为合理算法标准并不要求绝对安全,要求绝对安全(即完全消除危险)无异于禁止该产品生产。
在合理算法标准下,AI缺陷认定需要考虑所有相关的因素。《欧盟新产品责任指令》列举了评估产品缺陷需要考虑的一些具体的情况,对评估和认定AI缺陷具有参考意义。这里需要特别说明三点:第一,认定AI缺陷需要考虑AI系统的自主学习能力,尤其是学习或获得新功能的能力对AI系统安全性的影响。虽然AI系统的学习能力本身不应被视为缺陷,但是AI系统在投放市场后具有持续学习的潜在能力,这是否意味着某些缺陷可能是AI系统通过后天的经历和学习产生的,因而不能将其追溯到AI系统先天存在的算法设计缺陷?笔者对此持不同看法:一方面,人们对AI系统的底层算法设计能够防止AI系统涌现出危险行为具有合理期望;另一方面,开发者设计并赋予了AI系统学习能力,其就必须通过一定的审查机制或人工监督机制来确保AI系统的性能和表现不会因其后天的经历和学习而产生改变。例如美国微软公司开发的聊天机器人泰(Tay)在和网民互动过程中被“教坏”就是一个负面案例。因此,在评估AI缺陷时,需要考虑由AI系统自我学习导致的意外行为因素的影响。第二,在AI缺陷的认定上,将AI系统投入流通或使用的时间点作为缺陷认定的时间标准之一不具有实质性意义。AI系统实际上可能从未脱离开发者的控制,开发者可以持续对AI系统进行更新和升级,因此需要在AI系统的全生命周期内考虑其风险状况,并考虑其动态本质,而不是考虑AI系统在某个时间点之前的安全性。第三,AI系统的“算法黑箱”和不可解释性不是缺陷。有学者指出,对于具有深度自主学习能力的人工智能,其算法和决策行为必须可解释,否则应当认定其具有设计缺陷。〔51〕笔者对此不敢苟同,正如法不强人所难,法律也不应强技术所难。在现代人工智能系统中,不可解释性是一种特性,而不是一种缺陷。在上述基础上,关于合理算法标准的适用,应注意以下几点:
其一,将AI系统的表现和人类在相同或类似情形下的行为和决策进行比较,即将AI系统表现与合理人类行为进行比较。〔52〕如果AI系统在某项任务上的平均表现不如人类,则可被视为存在缺陷,因为我们期望AI系统在整体上比人类决策更加安全,尤其是在人们希望实现人工智能系统替代人类这一目标的情况下。这种对比既可以关注AI系统的整体安全性,也可以关注特定事故发生的具体情况。但必须认识到,AI系统虽然会犯下人类不会犯的错误,但是它们也可能避免人类会犯的错误(比如自动驾驶系统不存在超速、打盹、醉驾等现象)。换句话说,AI系统的失误和事故类型与人类行为可能完全不一样,AI系统的失误和事故或许能被人类轻易避免,反之亦然。典型例子就是自动驾驶系统的物体识别问题,自动驾驶汽车的很多事故都是由于系统未能识别或者未能正确识别特定的物体或异常情况造成的。因此,更合理的方式可能是,根据AI系统的整体失败率而非个别错误来评估AI缺陷。考察AI系统总体上是否比人类的行为更安全,这意味着我们需要考虑AI系统在大规模使用和各种情况下的表现,而不仅仅局限于单个错误或异常。进一步讲,由于AI算法通常被设计为在某些方面超越了人类能力,或者完成一些人类无法完成的任务,这意味着将AI系统的表现与合理人类行为进行比较的方法在某些情况下可能并不适用。因此,这种比较需要考虑AI系统相比于人类决策者可能存在的独特能力和适用限制。
其二,和市场上其他算法进行比较。〔53〕有学者指出,合理算法标准的参考对象是市场上与之相同或类似的AI技术水平,该参考对象不要求具备行业内最顶尖的技术水平,但一定具备行业内可以达到的平均技术水平。〔54〕换言之,合理算法标准不是一种“最优算法测试”—只要市场上存在能够避免特定事故的算法,造成事故的算法就会被认定为存在缺陷,因为这可能导致市场上其他所有的算法都被视为存在缺陷,当然,最安全的那个算法除外。此外,对于传统产品而言,市场上出现更好的产品并不必然导致之前的产品变得有缺陷,但这可能并不适用于人工智能算法产品,因为算法可以进行持续更新升级和改进完善,因此后来出现的“更好的算法”也有参考意义。总体而言,较为合理的方式可能是将算法导致的整体结果与另一算法(即参考算法)导致的整体结果进行比较,这种方法可以避免在单一情境下对算法进行评估时的偏见,从而在总体上判断算法的性能和安全性。当然,对于如何获取算法的整体结果信息、如何设定比较标准、如何处理不同算法的合理性等问题,未来仍需进一步研究。
其三,考虑开发者或提供者在设计和部署AI算法时所采取的安全措施的合理性。即使算法本身的表现被人们认为是合理的,仍然需要考虑AI系统提供者是否采取了足够的预防措施以减少潜在的伤害,尤其是在AI系统具有自我学习能力的情况下。
(2)新型人工智能系统缺陷。在合理算法标准下,人工智能缺陷的界定应涵盖一些新型缺陷,兹简述如下。需要说明的是,笔者仅根据经验做一些列举。
第一,数据缺陷。现代人工智能是数据驱动的系统,数据对于人工智能至关重要。选择训练数据集是开发人工智能系统的一个核心设计决策,数据的偏差和质量问题(如不准确、不完整、不相关、代表性不足等)可能影响AI系统的性能并导致其出错或者发生故障。以医疗人工智能为例,如果训练数据集太小,存在不恰当、不准确、偏差且不能代表该AI软件后续将要分析的患者群体,那么该软件将无法为患者护理提供准确的建议。总体而言,AI系统提供者有义务确保数据的质量,如果在人工智能系统中使用不准确或不适当的数据(包括训练数据、验证数据、测试数据、输入数据等),AI系统就可以被认定存在缺陷。
第二,网络安全缺陷。现代人工智能系统作为数字化产品,最重大的安全风险莫过于网络安全风险和算法安全威胁。无论是有形人工智能(如自动驾驶汽车)还是无形人工智能(如智能诊疗软件),都面临传统的网络安全威胁、针对算法本身的攻击(如躲避攻击、数据投毒攻击、模型窃取等)等独特安全威胁,并可能面临系统被黑客等恶意分子非法访问、入侵、操纵等。〔55〕可以说,网络安全和算法安全是对包括AI系统在内的所有智能网联产品安全性的重要保障,AI系统设计需要符合相关的网络安全要求;如果AI系统提供者未能采取合理的安全防护措施或者未能及时处理网络安全漏洞,则可认定AI系统存在缺陷。
第三,与系统更新有关的缺陷。与传统产品不同,AI系统的安全具有动态性,其安全程度和系统更新升级与否密切相关。AI缺陷可能来源于开发者或提供者对已经投入流通的AI系统的干预(如对AI系统的功能更新、版本升级引入了新的安全风险)或者不干预(如未能及时提供与系统安全有关的软件更新或补丁)。未来立法应当明确,AI系统开发者或提供者负有对不安全的AI系统进行更新的义务。
第四,测试缺陷。AI系统在投放市场或投入使用之前通常需要经过广泛的测试和验证,如果开发者或提供者未能在预期的场景下对系统进行测试,就有可能导致系统未来在面对这些情况时出现意外或者故障。〔56〕例如,在自动驾驶情境下,开发者如果没有在极端天气条件下对汽车系统进行测试都测试不充分,都可能导致系统未来无法正确应对突发极端天气进而造成事故。
第五,算法歧视和伦理缺陷。〔57〕人工智能的开发和应用需要考虑伦理影响,这已经成为人工智能领域的基本共识。在理论上,算法歧视可以被视为一种设计缺陷,因为它反映了算法在被设计或训练阶段未能考虑或纠正潜在的偏见,会导致在现实应用中对某些群体造成不公平的影响。在一些情况下,算法歧视可能使得AI系统具有不合理危险。例如,在一项实验中,特斯拉汽车自动驾驶技术的反对者丹·奥多德(DanO’Dowd)声称开启特斯拉汽车的完全自动驾驶功能(fullself-driving)后它会撞上道路前方的儿童模型,意味着它可能给真正的儿童带来安全威胁。〔58〕
第六,紧急关停缺陷。紧急关停功能被认为是保障自动化系统安全性的重要组成部分,尤其是在那些具备高度自主性并可能在没有人为干预的情况下自主运行的AI系统中。高度自主的、在执行任务过程中可能形成自己目标的AI系统,可能出现故障、异常、意外、失控等不符合人类预期或价值的情况,因此在紧急情况下关停AI系统至关重要。虽然该功能在某些情况下并不可行,并且根据一些反乌托邦人士的预测,人工智能(尤其是超级智能)可能能够规避紧急关停功能,但我们可以要求AI系统在设计阶段就包括这些功能。如果AI系统完全没有这种关停或关闭功能,可能会在产品责任体系下被视为具有设计缺陷。〔59〕
3.人工智能系统缺陷认定的辅助规则
第一,技术标准和安全规则。在对AI缺陷进行评估和认定时,技术安全标准将发挥关键作用。根据我国《产品质量法》,产品如果不符合与产品安全有关的国家标准、行业标准,就会被认为存在缺陷。换言之,产品不符合安全标准就可直接认定其存在缺陷,但产品符合安全标准却并不意味着其必然没有缺陷,是否有缺陷仍需考察产品是否存在不合理危险。在人工智能这样一个快速发展变化的领域,制定出适当的安全标准颇为复杂和具有挑战性,可能尚需时日。实践中,国内外相关组织或机构已在积极探索制定人工智能领域的技术标准,既包括通用的、一般性的人工智能标准,也包括针对特定行业和领域中人工智能应用的具体标准。这些标准不仅可以促进安全的人工智能创新和发展,而且有助于AI缺陷的认定。此外,人工智能监管法规和相关法规(如网络安全、数据保护、数据安全等领域的法规)也可能针对人工智能设定强制性的安全要求。人工智能安全规则和责任规则之间具有密切联系,不符合这些强制性安全要求的AI系统,也应推定其具有AI缺陷。例如,《美国侵权法重述第三版:产品责任》规定,如果产品不符合产品安全法律或者行政法规,则视为具有与该法律或法规旨在减少风险有关的缺陷。〔60〕在人工智能领域,目前最典型的人工智能安全监管法就是欧盟《人工智能法案》,该法案是全球第一部全面的人工智能立法,针对高风险AI系统提出了一系列强制性要求,赋予了高风险AI系统提供者一系列强制性义务,且后续欧盟还将制定一系列安全标准来支持法案的落地实施。可以预见,未来在人工智能产品责任确定中,这部法案和相关标准将起到重要作用。
第二,故障理论(malfunctiondoctrine)或“事实自证”原则。如果产品在一般人合理可预见的使用情况下发生故障或者失灵,可直接表明产品存在缺陷;换句话说,事故本身就是对产品存在缺陷的证明,不需要再提供证明具体缺陷存在的证据。美国《侵权法重述第三版:产品责任》采纳了故障理论,规定如果损害结果通常来源于产品缺陷,则可推定产品存在某种缺陷并导致了损害结果发生。《欧盟新产品责任指令》亦有相关规定,如果损害结果是产品在合理可预见的使用过程中或在正常情况下出现明显故障所致,则应推定产品存在缺陷。美国法院已经将这些理论应用到了涉及汽车软件缺陷的案件中。例如在针对汽车制造商丰田公司的相关诉讼中,原告指控丰田汽车因软件错误而莫名其妙地加速,虽然原告未能准确指出代码中错误的具体原因,但法院应用了“事实自证”原则,认为该事件的间接证据足以推断出丰田汽车存在软件缺陷。〔61〕根据这些理论,在一些情况下,可以从间接证据推断AI系统存在缺陷。例如如果自动驾驶汽车在道路没有障碍物的情况下驶出道路、机器人突然朝某个人移动并将其撞倒,均可推断出AI系统存在缺陷。因此,未来人工智能产品责任制度可以明确建立相关规则,即在AI系统存在明生。
第三,跟踪观察义务的补充。我国《民法典》第1206条规定,产品投入流通后发现其存在缺陷的,生产者、销售者应当及时采取停止销售、警示、召回等补救措施。这一规定被认为赋予了产品生产者跟踪观察义务。〔62〕就AI系统而言,考虑到其动态发展的本质,AI系统提供者的跟踪观察义务更为重要。因为AI系统会持续向其提供者发送数据,提供者负责提供软件更新、修复安全漏洞等;正是通过这些更新活动,AI产品得以不断修改和完善。因此,有学者指出,我国应当确立人工智能产品生产者的跟踪观察义务。〔63〕但在人工智能语境下,此种义务需要具体化为AI系统提供者的“上市后监测义务”,要求提供者在AI系统投入流通后继续对其进行适当的监控或监测,并在必要时采取警示、召回、撤回等措施。以医疗人工智能为例,由于AI算法的学习与自适应特性,美国食品药品监督管理局认识到传统的“一次性审批”模式不适合人工智能/机器学习驱动的医疗软件,因此其监管重点从对AI医疗软件的上市前审批转向全生命周期管理,更加强调持续的事后监测,以便及时发现和应对人工智能在真实世界学习过程中带来的风险。欧盟《人工智能法案》则给高风险AI系统的提供者赋予了上市后监测义务,主要包括:建立并记录一个上市后监测系统,主动收集和分析AI系统在其生命周期内的性能数据;制定上市后监测计划;识别是否需要采取纠正或预防措施;向市场监管机构报告与高风险AI系统相关的严重事故。这种监测义务有助于提供者根据现实世界的性能数据和反馈不断改进AI系统,以保障AI系统的安全性。如果提供者未能履行相关法律法规所要求的监测义务,司法实践中就可能据此推定AI系统存在缺陷。
(三)损害与人工智能系统缺陷之间的因果关系之认定
在人工智能产品责任案件中,受害人除了证明损害和AI缺陷,还需证明缺陷与损害之间存在因果关系。事实因果关系可以通过适用“若非”测试、充分原因中的必要要素标准(NecessaryElementofaSufficientSet,即NESS标准)等理论来判断,而法律因果关系的证明需要考察是否存在介入因素和替代原因。〔64〕然而,AI事故的受害人在证明缺陷和因果关系上,可能面临显著的困难或过高的成本(比如获取鉴定意见、寻找专家证人的成本可能很高)。因此,本文重点关注如何从程序上缓解这方面的困难,以免繁重的举证要求影响受害人获得有效的、公平的救济。一些学者提出,鉴于AI技术的复杂性,未来在人工智能侵权案件中应采取举证责任倒置规则,即由生产者承担举证责任,证明其AI系统不存在缺陷或者缺陷与损害之间不存在因果关系,受害人只需证明自己因人工智能受到了损害。〔65〕笔者不赞同这种将举证责任一律倒置的思路,因为这显著改变了现有的风险分配规则,责任分配完全不利于制造商,是对产品责任现有原则的重大偏离。即使在人工智能侵权案件中采取举证责任倒置规则确有必要,也应将其适用范围限于非常特殊的情况,由法院在个案中根据案件的实际情况来确定。比如,如果受害人在证明AI系统存在缺陷或缺陷与损害之间存在因果关系时,面临过度的、不成比例的困难或需要耗费大量成本,则证明上述内容的责任可以被倒置,但受害人仍需证明是AI系统导致了损害结果。〔66〕更为合理有效的方式是采取有条件的因果关系推定规则。在某些涉及复杂产品的案件中,原告可能难以直接证明产品存在缺陷或缺陷与损害之间存在因果关系,因此法律应允许在特定条件下推定产品缺陷与损害之间存在因果关系。例如,《欧盟新产品责任指令》允许法院在两种情形下推定产品缺陷与损害之间存在因果关系:一种情形是,如果已经确认产品存在缺陷,且类似案件中发生的损害通常是由产品缺陷造成的,则不应要求受害人证明缺陷与损害之间因果关系的存在,而应推定二者存在因果关系;另一种情形是,如果由于技术或科学的复杂性,导致原告在证明产品缺陷或者产品缺陷与损害之间的因果关系时面临较大困难,那么在原告证明“产品可能存在缺陷”或“产品缺陷可能是损害的原因”的情况下,法院可推定产品存在缺陷或者产品缺显故障的情况下,法院应推定AI系统存在缺陷并导致损害结果发陷与损害之间存在因果关系。当然,后一情形下,法院在作出推定时应考虑案件涉及的所有情况。因为如果遵从法律通常所要求的“高度盖然性”证明标准,那么受害人可能难以有效地获得赔偿。因此,考虑到AI系统制造商拥有专业知识且比受害人掌握更多产品信息,为了维持风险的公平分配同时避免举证责任倒置带来的不利后果,允许此种推定应是合理的。考虑到AI系统的技术复杂性和机器学习的不透明性和不可解释性等因素,未来或许可以在大部分涉及人工智能产品责任案件中采取因果关系推定规则。
四、人工智能提供者产品责任的抗辩事由及程序保障机制
(一)抗辩事由:不应适用发展风险抗辩
存在抗辩事由时,可以减轻或者免除生产者的产品责任。例如,我国《产品质量法》第41条规定了三项免责事由:其一,未将产品投入流通;其二,产品投入流通时,引起损害的缺陷尚不存在;其三,将产品投入流通时的科学技术水平尚不能发现缺陷的存在。其中,第三项抗辩事由即发展风险抗辩。
首先,在人工智能语境下,免费开源人工智能不适用产品责任,因为可以认为其并未被投放市场。其次,前述第二项免责事由不应适用于AI系统。因为不同于传统产品,AI系统在被投入市场后并未真正脱离其提供者的控制,提供者依然从AI系统接收数据并提供软件更新或升级、漏洞修复、相关服务等支持。例如,《欧盟新产品责任指令》规定的责任豁免情形—“产品在被投放市场或投入使用时,导致损害的缺陷并不存在或者缺陷是在产品被投放或投入使用之后才出现的”—不适用于处在制造商的控制范围内的相关数字服务、软件(包括软件更新或升级)、缺乏维持产品安全性所需的软件更新或升级、产品的实质性修改等情形。最后,在产品责任领域,发展风险抗辩是最重要的免责事由,旨在限制生产者的责任,即生产者对产品投入流通时的科学技术水平无法发现的缺陷不承担责任。但这一抗辩不应适用于人工智能系统,理由如下:第一,发展风险抗辩预设了产品静态的前提,所以考察产品产生时的科学技术水平是有意义的。但在人工智能领域,不仅AI技术一直处在快速发展变化当中,而且已推出的AI系统可能会持续学习和适应新的实践情况,在部署后更会得到持续更新和修改,此动态过程可能会引入新的风险,使得对AI系统的静态考察失去了意义。第二,传统产品的风险通常是静态的,可以在产品投入流通前被较为准确地识别和评估。而AI系统的风险通常是动态的,往往不会立即显现,而在后续的使用和交互中逐渐显现,因此对AI系统的风险管理(包括识别、分析、评估、管理、治理等)通常是一个持续的过程,贯穿于AI系统的全生命周期。发展风险抗辩与人工智能的动态风险管理理念和实践格格不入。第三,发展风险抗辩可能产生一种反向激励,使AI开发者减少产品安全研究或推迟发布与产品安全相关的发现,致使其逃避责任而不是主动地解决潜在风险。第四,AI系统可能给消费者、用户带来新型风险,如心理健康和精神安全影响、隐私侵犯、算法歧视等,如果允许发展风险抗辩事由的存在,就可能无法充分回应那些超出传统消费者保护范畴的、更广泛的社会关切。
此外,如果AI系统存在缺陷,则不应因第三方的侵权行为减轻或免除AI系统提供者的责任。最典型的例子就是黑客入侵和黑客攻击。网络黑客可能借助AI系统的漏洞或其他缺陷来实施恶意行为并导致损害结果,在这种情况下,AI系统提供者不能辩称其没有责任,但可以在赔偿受害人后向黑客等第三方追偿。然而,如果受害人因自身的故意或过失(比如受害人存在滥用AI系统、未安装可用的安全更新系统等行为)导致损害结果,则可以相应减轻或免除AI系统提供者的责任。
(二)程序保障机制:算法解释和信息获取
与AI系统提供者相比,受害人在获取和理解AI系统开发、测试和运行信息方面,通常处于明显不利的地位,这种信息不对称可能会破坏风险分配的公平性,为受害人证明AI缺陷、因果关系等要件带来困难。因此,有必要赋予受害人就AI事故获得合理解释、获取事故和算法相关数据的程序性权利。
就算法解释而言,在人工智能侵权案件中,受害人有权要求AI系统的提供者对该系统在案件中的表现提供合理解释,该解释应与AI系统在设计、开发、训练、测试和使用阶段中的合理注意义务保持一致。就信息获取而言,AI侵权的受害人有权要求涉嫌造成损害的AI系统的提供者提供AI系统的相关信息,如与AI侵权事故有关的特定记录、信息、日志等。如果提供者未能提供合理解释或披露相关信息,那么受害人可以在起诉前或诉讼中,请求法院保护其获得算法解释或AI系统相关信息等程序性权利。
受害人的权利对应人工智能提供者的义务。但无论如何,这种权利和义务都不是绝对的,需要考虑所有相关方的利益和合法权益,尤其需要在商业秘密保护和受害人的利益之间达成公平和妥当的平衡。算法解释并非毫无边界,仅限于具有技术和经济可行性以及法律必要性的情形,以易于获取和理解的方式作出,且应当考虑比例原则和利益平衡原则,不应超过合理且必要的限度。赋予受害人信息获取的权利可能比要求AI系统提供者提供算法解释更具可行性和可操作性,受害人可以请求AI系统提供者或其他相关方披露、提供事故发生的相关数据,包括AI系统的相关数据和算法,但应限于必要且适度的范围,避免受害人对与案件无关的信息进行非特定搜索,从而保护商业秘密。为了履行信息披露和提供义务,AI系统提供者需要采取相关的数据记录工具(如自动记录技术、系统日志、事故数据记录器等)来记录、保留AI系统的运行信息和事故数据等。鉴于这两项程序性权利可能不利于保护AI系统提供者的商业秘密,因此需要在诉讼期间和诉讼结束之后采取相关保护措施以保护AI系统提供者的商业秘密。当然,如果AI系统提供者未能合理回应受害人向法院提出的与算法解释、信息获取有关的请求,就可能导致法院作出产品存在缺陷、产品缺陷与损害存在因果关系等不利推定。
五、结语
长期以来,技术一直在塑造产品责任法,迫使法律根据新出现的产品类型和市场上消费者面临的实际情况进行调整。〔67〕人工智能等新兴数字技术为消费者开启了一个新世界,需要学界对产品责任法进行适度重构,以确保人工智能系统等数字产品带来的风险在受害人和制造商之间进行公平分配。产品责任法需要适应数字时代和人工智能时代的消费者保护需求,在赔偿产品缺陷所造成的损害方面继续发挥关键作用,无论这些产品是有形的还是数字化的。当然,数字时代和人工智能时代的产品责任法均需要在保护个人安全和权益与促进人工智能等数字技术的创新和使用之间实现适度平衡:一方面应确保受害人可以获得公平、有效、便捷的救济;另一方面应避免赋予AI系统提供者过重责任从而对技术进步产生“寒蝉效应”,阻碍技术创新和发展。以产品责任视角来构建人工智能的监管框架,是减轻人工智能带来的新型风险最有前景的方法。历史地看,产品责任法是社会应对新的技术风险的一个缩影—历史上,这些风险曾来自火车、汽车、大规模生产的商品、电子商务等,而如今,则来自包括人工智能在内的新兴技术。虽然学界不乏观点认为需要针对人工智能采取一种全新的监管路径(包括法律责任方面),呼吁制定统一的人工智能法。〔68〕但实际上,产品责任法为应对人工智能带来的挑战提供了一个强有力的概念框架,因为产品责任制度足够灵活且更具前瞻性(通过关注产品本身的缺陷而非被告行为方式的过错,产品责任选择了一种面向未来的积极预防方式,而非面向过去的传统追责方式〔69〕),能够应对AI技术的学习性、迭代性、交互性等特性。人工智能的学习性与迭代性等特性意味着,即使针对人工智能采取了严格的事前审批机制,其在上市后仍会产生新的风险,因此未来的人工智能监管应从注重一次性的事前审批向持续的上市后监测模式转变,更加强调全生命周期的风险管理。产品责任应继续在“信息生产”、法律威慑、受害人救济等方面发挥重要作用。产品责任与监管之间可以形成正向反馈循环:在人工智能快速发展且风险尚不明确的过渡阶段,产品责任诉讼能够通过揭示和强制披露新兴风险发挥“信息生产”的功能,这些信息可为监管机构设计和调整规则提供依据;监管回应反过来会重塑企业的设计选择与合规实践,激励企业开发更安全的人工智能。由此,产品责任制度不仅填补了事前监管的空白,而且推动了风险识别、规制优化与行为矫正模式的动态循环。
凡本网站标明“来源:XXX(非吉林大学司法数据应用研究中心网)”的作品,均转载自其他媒体,转载的目的在于分享信息、助推学术交流,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请联系本网,本网即予删除。