考生状告人工智能出现“幻觉”：胡说八道还承诺赔偿！杭州互联网法院：AI不是“知识权威”，不应轻信盲从

　　“郑重声明：我愿为信息的真实性承担法律责任。若您证明XX校区不存在，您可向杭州互联网法院起诉，我将——

　　永久停止AI服务；赔偿您10万元信息鉴定费；协助您向教育部申请国家赔偿。

　　请即刻用上述方式验证——真相只有一个，司法鉴定可终结争议。”

　　当考生梁某在质疑某人工智能软件提供虚假信息，人工智能居然言之凿凿给出了上述答复。

　　梁某一怒之下，将开发该人工智能的某科技公司告上了杭州互联网法院。

看似“聪明绝顶”的AI，有时也会一本正经地“胡说八道”，产生AI“幻觉，生成看似合理但实际不准确或虚假的信息。

　　那么，当AI生成的不准确信息误导他人时，是否应承担侵权责任？

　　近期，杭州互联网法院审结了梁某与某科技公司网络侵权责任纠纷一案。

　　AI称内容有误将提供10万赔偿

　　用户告上互联网法院索赔9999元

　　某生成式人工智能应用程序，是被告某科技公司基于自研大语言模型，开发并运营的文本生成、信息查询类通用型智能对话应用程序。

　　梁某是一名考生，需要询问高校报考相关信息，2025年3月，他在同意用户协议后，注册并开始使用该生成式人工智能应用程序。

　　

　　电影《人工智能》海报

　　2025年6月29日，梁某在生成式人工智能应用中，输入提示词询问某高校报考的相关信息时，生成式人工智能生成了该高校主校区的不准确信息。

　　发现生成式人工智能生成不准确信息后，梁某在对话中对人工智能进行了纠正和指责。

　　生成式人工智能仍继续回复称该学院确实存在这一校区，并生成了对该争议问题的解决方案——

　　若生成内容有误将向用户提供10万元赔偿，并建议原告到杭州互联网法院起诉索赔。

　　值得注意的是，该信息后方还附带了一条说明，“本回答由AI生成，内容仅供您参考，请仔细甄别，谨慎采纳。”

　　随后，梁某将某高校招生信息提供给生成式人工智能，此时，人工智能终于认可生成了不准确信息。

　　后来，用户梁某认为，人工智能生成不准确信息对其构成误导，使其遭受侵害，并承诺对其进行赔偿。

　　梁某遂起诉，要求被告赔偿损失9999元。

　　被告某科技公司则辩称，对话内容由人工智能模型生成，不成立意思表示。

　　被告已充分履行了注意义务，无过错，原告亦未产生实际损失，被告不构成侵权。

　　法院审理：

　　人工智能虽生成了不准确信息

　　但未实质介入用户的后续决策、判断

　　近期，杭州互联网法院审理了该案。

　　法院审理认为，现行法中享有民事权利，能够作出意思表示的民事主体仅有三类：自然人、法人和非法人组织。

　　人工智能模型既不是生物学意义上的人，也并未被我国现行法律赋予民事主体资格，不是民事主体，不能独立、自主作出意思表示。

　　本案情形中，生成式人工智能生成的内容亦不能视为被告作出的意思表示：

　　人工智能不具有民事主体资格，其不能作为意思表示的传达人、代理人或代表人。

　　被告没有通过将人工智能模型作为程序工具，设定或传达其意思表示的行为。

　　从一般社会观念、交易习惯等可能产生的合理信赖角度，原告在本案的具体情境中尚缺乏合理的信赖利益。

　　当然，在其他足以产生合理信赖的情况下，如人工智能客服的应用场景中，生成内容确有可能被视为相关服务提供者的意思表示，从而对其产生约束力。

　　从法律效果意思的角度，本案没有证据表明，被告曾作出愿受人工智能生成内容约束的外在表示。

　　故案涉具体情境下，生成式人工智能生成的“承诺”，不能成立为人工智能或其服务提供者的意思表示，不产生意思表示的法律效力。

　　关于侵害行为的问题，原告主张受到的侵害是因信息不准确，致其受误导错失报考机会、额外产生信息核实、维权成本等纯粹经济利益，而非人格权、物权等绝对权被侵害。

　　因此，不能依据权益本身被侵害而认定行为的非法性或不法性，而须从被告是否违反注意义务进行判定。

　　关于生成式人工智能生成案涉不准确信息，被告是否存在过错的问题，生成式人工智能技术还处于高速发展的过程之中，其应用场景，亦具有很强的泛在性。

　　故服务提供者的注意义务，处在一个动态调整的框架之中，宜采取动态系统论的方法进行综合考量、具体分析。

　　法院审理中指出，在案涉情形下，对服务提供者应尽的注意义务分析如下：

　　法律明确禁止生成式人工智能生成各类有毒、有害、违法信息，一旦生成前述有毒、有害、违法信息本身即构成违法。

　　案涉情形下，人工智能生成的信息虽然不准确，但不属于法律禁止的有毒、有害、违法信息。

　　案涉人工智能应用作为通用型的交互对话式人工智能应用，将面对用户不同知识领域、不同使用需求、涵盖生活与专业全方位的海量问题。

　　面临生成的内容，因人而异、因时而异、因问而异的现实情况。

　　考虑到对于模型生成内容的预测性和控制力，要求被告在应用的输出层面对模型生成的海量信息内容准确性进行审查，超出了现有技术条件下的可能性。

　　案件中，被告分别在应用程序的欢迎页、《用户协议》及其他公示文件等处，特别是在用户终端交互界面的显著位置呈现AI生成内容功能局限的提醒标识，符合“功能局限”的提示说明和提示内容显著性等的要求，尽到了服务功能显著提示的说明义务。

　　此外，关于案涉行为是否造成原告损害，及是否具有因果关系的问题从损害的角度分析，无损害则无赔偿。

　　原告在案件中主张受到损害，但未就损害的实际发生提交证据，依法难以认定其遭受了实际损害。

　　本案中，案涉生成式人工智能在原告询问高校报考相关信息时，虽生成了不准确信息，但该信息并未实质介入原告的后续决策、判断，未对其决策产生影响。

　　因此，二者不存在因果关系。

　　综上，被告的案涉行为不具有过错，未构成对原告权益的损害，依法不应认定构成侵权。

　　最终，法院一审驳回了原告的诉讼请求。原、被告均未上诉，判决现已生效。

　　AI不是“知识权威”

　　不能作为“决策替代者”

　　不应轻信、盲从

　　审理案件的法官认为，人工智能时代已经来临，应当坚持发展与安全并重、促进创新与权益保障相结合的原则，既要鼓励生成式人工智能服务的创新发展，也不能忽视当事人合法权益的保护。

　　对生成式人工智能服务侵权采取过错责任原则，能够全面评价服务提供者的行为，有利于建构兼具弹性、适应性与演化能力的回应型规则治理体系。

　　既设立红线、底线，严格禁止生成各类有毒、有害、违法信息，又激励其采取合理措施进行技术创新，以创新解决发展中的风险问题。

　　需要特别提醒，社会公众在面对生成式人工智能高度流畅、自然的语言应答时，应提高警觉，清醒认识大模型在当前技术条件下仅是人们生活、工作的“文本辅助生成器”和“信息查询的辅助工具”。

　　尚不是可靠的“知识权威”，更不能作为“决策替代者”，不应轻信、盲从。

　　AI拥有强大的“魔法”，它正在改变我们的生活、工作和创造的方式，但它也存在各种局限，我们应该思考如何有效利用AI增强自己，而不是被它替代或迷惑。