ARTICLE
10 September 2026

AI“犯错”,谁之过? ——三起司法案例揭示生成式人工智能服务提供者的“分层”注意义务

AB
AnJie Broad Law Firm

Contributor

AnJie Broad Law Firm is a full-service law firm with a wide range of practice areas. We are committed to delivering high-quality bespoke legal solutions to clients. AnJie Broad has extensive experience serving clients in practice areas such as Capital Market & Securities, Antitrust & Competition, Private Equity & Venture Capital, Intellectual Property, Dispute Resolution, Labor & Employment, Cross-border Investment & Acquisition, Insurance & Reinsurance, Maritime & Shipping, Banking & Finance, Energy, International Trade, Technology Media & Telecommunications, Life Sciences & Healthcare, Private Wealth Management, Real Estate & Construction, Hotels Resorts & Tourism and Media, Game and Entertainment & Sports.
2026年7月17日,以“智能伙伴 共创未来”为主题的2026世界人工智能大会暨人工智能全球治理高级别会议在上海启幕。这场盛会既展示着AI技术的迅猛发展,也引发了关于治理规则的深层思考——当AI“犯错”,谁来担责?
China Technology
Zhixing Chen’s articles from AnJie Broad Law Firm are most popular:
  • with readers working within the Construction & Engineering industries
AnJie Broad Law Firm are most popular:
  • within Technology, Environment and Finance and Banking topic(s)

2026年7月17日,以“智能伙伴 共创未来”为主题的2026世界人工智能大会暨人工智能全球治理高级别会议在上海启幕。这场盛会既展示着AI技术的迅猛发展,也引发了关于治理规则的深层思考——当AI“犯错”,谁来担责?

2026年6月,中国社会科学院法学研究所发布了“首批涉人工智能精品司法案例”,杭州互联网法院审理的梁某诉某人工智能公司案(简称“AI幻觉案”)、上海某文化公司诉杭州某智能公司案(简称“奥特曼案”)2 双双入选。这两起案件连同行某公司诉合肥名某公司等不正当竞争案(简称“AI种草案”),为人工智能服务提供者法律责任这一核心议题提供了来自司法实践的答案。

一、三起案件的主要案情与裁判理由

(一)AI幻觉案

该案系全国首例因生成式AI“幻觉”引发的侵权纠纷案。

被告某人工智能公司运营一款基于自研大语言模型的通用型智能对话应用程序。梁某在该智能对话应用程序中输入提示词询问某高校报考的相关信息时,该程序生成了不准确信息,并提出若生成内容有误将向梁某提供10万元赔偿,并建议梁某到杭州互联网法院起诉索赔。梁某诉称,某人工智能公司开发的人工智能产品向其提供了错误信息,对其构成误导,使其遭受侵害,并承诺对其进行赔偿,请求法院判令某人工智能公司赔偿其因此遭受的损失9999元。

法院认为,生成式人工智能应用程序不具有民事主体资格,不能独立作出具有法律约束力的意思表示,其生成的“承诺”在案涉情形下也不能视为服务提供者的意思表示,不产生意思表示的法律效力。生成式人工智能服务导致的侵权纠纷,应当适用过错责任原则,而不应适用产品责任的无过错责任原则。梁某主张的是纯粹经济利益损失,不能依据权益本身被侵害而认定行为的非法性或不法性,而须从被告某人工智能公司是否违反注意义务进行判定。被告某人工智能公司已充分履行了服务功能的显著提示说明义务和生成内容可靠性的基本保障义务,案涉行为不存在过错,亦未构成对原告梁某权益的损害,依法应认定不构成侵权。

(二)奥特曼案

该案系全国首例涉生成式AI服务提供者侵害著作权及不正当竞争案。

原告经授权获得了奥特曼系列形象的知识产权及相关维权权利。被告系某AI平台的运营主体,该平台提供基础模型和LoRA模型,支持图生图、模型在线训练等功能。平台上存在有关奥特曼的智能生成图片及LoRA模型,系由用户上传奥特曼图片、调整参数进行训练后生成。其后,用户可通过输入提示词生成与奥特曼形象实质性相似的图片。原告认为被告将侵权内容置于信息网络中,侵害其信息网络传播权,且被告提供生成式人工智能技术定向训练奥特曼LoRA模型和生成侵权图片,构成不正当竞争,诉请被告停止侵权、赔偿30万元。

一审法院认为,生成式人工智能服务提供者兼具技术服务与内容供给的双重属性。在由用户输入提示词、上传侵权图片等训练语料并决定是否生成及发布时,平台对输出内容及过程不能完全控制和干预,此时其对用户输入的训练图片数据及生成内容的传播行为并不当然负有事先审查义务。但是,作为直接面向终端用户的应用层服务提供者,直接参与商业实践并基于定向生成的内容获益,应当对具体应用场景下的生成内容承担相应的注意义务。认定平台是否存在过错时,应综合考量生成式人工智能服务的性质、技术发展水平、侵权信息的明显程度、侵权后果及采取的必要措施等因素。法院最终认定被告构成帮助侵权,判决其停止侵权并赔偿原告经济损失及合理费用3万元。二审判决驳回上诉,维持原判。

(三)AI种草案

该案系全国首例涉生成式AI服务应用端不正当竞争案。

原告系“小红书”平台经营者,通过长期经营构筑了强调真实分享的种草内容生态。被告运营一款AI写作工具,提供“小红书种草文案”“小红书笔记标题”等定向生成功能,用户输入关键词即可生成第一人称体验式文案,也可仿写已有笔记后发布至小红书。原告认为被告构成不正当竞争,诉请赔偿200万元。

一审法院认定著作权侵权不成立,但不正当竞争成立——被告AI服务以“小红书”命名功能,定向诱导生成虚构体验内容,违反平台规则,冲击真实内容生态,增加治理成本。一审判决被告停止侵权、赔偿20万元。二审法院判理部分并进一步阐释:(1)生成式AI服务兼具“技术服务”与“内容供给”双重属性,需履行更高注意义务;(2)界定注意义务应考量四项因素:服务是否属于生成式AI、是否以特定场景为应用层、是否带有明确指向性和诱导性、是否属于营利性商业行为;(3)“技术中立”不等于“技术应用中立”——被诉AI工具实质是“虚假种草”工具,违反诚实信用原则和商业道德。

二、法院裁判规则的差异与成因

纯粹从裁判结果上来讲,三案裁判结果迥异——不构成侵权、构成帮助侵权、构成不正当竞争。仔细研究三案判决可以发现,产生该差异的根本原因在于三案中AI应用场景的不同。 AI幻觉案涉及通用型对话,服务提供者对输出内容缺乏预见和控制;奥特曼案涉及提供定向生成功能的平台,对内容管控能力更强且直接获益;AI种草案涉及以特定商业平台为应用场景、以营利为目的的定向AI生成服务,其商业模式的本质是利用他人市场成果“搭便车”。法院对注意义务“分层”认定,体现出“分类施策、宽进严出”的裁判思路。

第一,归责原则一以贯之,但注意义务强度逐级提升。三案均以过错为责任认定核心,但对注意义务的要求呈现明显梯度:AI幻觉案中,法院认为通用型对话服务对输出内容不承担一般性审查义务,仅需履行提示说明和基本技术保障。奥特曼案中,法院强调应用层服务提供者“直接参与商业实践并获益,应对具体应用场景下的生成内容承担相应注意义务”。AI种草案中,二审法院进一步明确,以特定场景为应用层的AI服务,需承担最高层级的注意义务——其注意义务既要与技术控制能力相匹配,又要避免对技术创新造成过重负担。

第二,“技术中立”的抗辩空间逐案收窄。AI幻觉案中,技术中立立场得到充分尊重——AI生成不准确信息但未违反注意义务,不构成侵权。奥特曼案中,技术中立仍可作为抗辩,但平台因存在过错(怠于审核明显侵权内容)仍需承担责任。AI种草案中,二审法院明确区分“技术中立”与“技术应用中立”——技术本身中立应予尊重,但技术应用若以他人平台为特定场景、定向破坏他人商业模式,则不能以技术中立为由免责。这一裁判规则为AI商业化应用的合法性边界划定了重要界限。

第三,责任认定的考量因素日趋精细化。AI幻觉案侧重服务类型与技术控制能力;奥特曼案增加商业模式与获益方式的考量;AI种草案则将判断标准具体化为四项因素——是否属于生成式AI服务、是否以特定场景为应用层、是否带有明确指向性和诱导性、是否属于营利性商业行为——为不同业态提供了精细化的合规指引。

三、趋势分析与合规建议

(一)法律责任认定的趋势

一是过错责任原则已成共识。三案均未采纳无过错归责思路,坚持以过错为核心要件。AI幻觉案判决明确指出,对AI服务提供者苛以无过错原则“会不当加重服务提供者责任,限制人工智能产业发展”。这一立场在另外两案中一以贯之。

二是注意义务呈现“场景化、层级化、精细化”特征。 法院拒绝“一刀切”的责任标准,而是根据服务类型、技术架构、商业模式、应用场景指向性等因素综合认定。通用型对话的注意义务侧重于提示说明;提供定向生成并获益的平台需承担更高内容审核义务;以特定商业平台为场景的营利性AI服务,则需承担最高注意义务。尤其是AI种草案二审判决进一步将注意义务的判断要素具体化为四项考量因素,为不同业态的AI服务提供了更为精细的合规指引。

三是“技术中立”不等于“技术应用中立”已成明确裁判规则。AI种草案二审判决为此划定了清晰边界——AI技术可以中立,但以AI之名破坏他人合法商业模式,法律不予宽宥。这一规则对于AI产品的功能设计、场景定位和商业模式的合法性评估具有重要指导意义。

(二)对人工智能服务提供者的合规建议

第一,根据应用场景差异化履行注意义务。通用型对话服务应做好显著提示说明和基本技术保障;提供定向生成并获益的平台,应建立侵权内容审核与处置机制;以特定商业平台为场景的AI服务,应避免功能命名、宣传用语对他人平台的明确指向性和诱导性。

第二,审慎设计AI产品的功能与场景定位。AI种草案的重要启示在于:AI产品的功能命名、宣传用语、应用场景定位直接关系到责任认定。服务提供者应避免以他人平台名称命名功能模块、避免诱导用户生成违反他人平台规则的内容、避免以破坏他人商业模式为获利方式。

第三,建立动态合规评估与响应机制。AI技术高速发展,注意义务亦处于动态调整中。服务提供者应定期评估技术发展与合规要求的匹配度,及时调整措施。对法律禁止的有毒、有害、违法信息,必须履行严格审查义务。

注释:

1 杭州互联网法院(2025)浙0192民初18143号民事判决书

2 杭州互联网法院(2024)浙0192民初1587号民事判决书

3 杭州互联网法院(2024)浙0192民初3396号民事判决书

The content of this article is intended to provide a general guide to the subject matter. Specialist advice should be sought about your specific circumstances.

Mondaq uses cookies on this website. By using our website you agree to our use of cookies as set out in our Privacy Policy.

Learn More