AI 出错了,责任算谁的?
你的聊天机器人对客户许了一个不成立的承诺。谁来买单?几乎每一次都是你。今天的法律怎么说,2026 年 12 月 9 日会加上什么,以及上线前要先定下的六件事。
Terence你的客服助手告诉客户保修两年,实际上只有一年。或者你的 AI 在一份自动发出的报价里少写了一个零。AI 出错了,责任算谁的:你、客户,还是把系统搭起来的那家公司?实话是:第一个被找上门的是你。而到了 2026 年 12 月 9 日,这件事只会朝一个方向走。这篇文章讲清楚:今天的法律怎么说,接下来会加上什么,以及在让 AI 往外发任何东西之前要先定下的六件事。
简短的答案:第一个是你
没有哪条法律会说:这是 AI 干的,所以供应商赔。谁受了损失,就去敲和他做生意的那家公司的门。那家公司就是你。客户是拿没兑现的承诺找你,还是拿没尽到注意义务找你,对你的钱包差别不大。
道理很简单,也很难驳:是你决定上这套系统,是你决定给它多大空间,顺利的时候好处也归你。你的 AI 在法律上不是一方当事人,它是工具。脚手架塌了,也不会由脚手架自己负责。
这不等于你在供应商面前一无所有。但那是第二场谈判,而且要等你先赔完客户才开始。向别人追偿要几个月。你的客户明天就打电话。
把这件事说得最清楚的一个案子
最有名的裁决来自加拿大。2022 年 11 月,杰克·莫法特在加拿大航空网站上问聊天机器人丧亲票价的事。机器人告诉他,可以在出行之后再申请这个折扣。这不对:真正的规定要求提前申请。加航拒绝赔付。
不列颠哥伦比亚省的民事纠纷解决庭在 2024 年 2 月 14 日给出了相反的结论(莫法特诉加拿大航空,2024 BCCRT 149)。加航的抗辩之一是:机器人对自己说的话负责。这个说法没有被接受。航空公司本应合理地确保自家网站上的信息是准确的,最后赔了大约 650 加元。
金额不大,道理不小。你的系统对客户说的每一句话,都是你的公司在说。一个说错话的员工和一个说错话的助手没有区别,区别只在于助手能在没人发现之前一天说错一百次。
聊天机器人不是一个可以事后甩锅的独立主体。它许下的承诺,就是你许下的。这正是提前定好它能说什么、不能说什么的最好理由。
2026 年 12 月 9 日会变什么
欧洲有一部新的产品责任指令:指令(欧盟)2024/2853。它于 2024 年 12 月 8 日生效,最迟要在 2026 年 12 月 9 日前写进各国法律。对你最关键的变化是:从那天起,软件、应用、更新和 AI 系统都算产品。在此之前,产品责任说的是你能拿在手里的东西。
软件和 AI 系统开始纳入产品责任的日期
荷兰这边还没走完流程。落实这部指令的法案(编号 36906)于 2026 年 3 月 2 日提交议会,到 2026 年 8 月初仍在司法委员会。这不影响期限:期限是欧盟层面定死的。
有两点要知道。第一,新规则只适用于 2026 年 12 月 9 日当天或之后投放市场、投入使用的产品。已经在跑的,仍按旧规则。第二,这一点多数文章都略过了:这套制度保护的是自然人。它覆盖人身伤害、私人使用物品的损失,现在还包括私人文件(比如你的照片库)被毁。原先 500 欧元的门槛已经取消,所以小额损失也算数。
它不覆盖的是:你的企业客户的经营损失。如果客户因为你的系统给了错误交期而少做了生意,产品责任帮不了他。那时候看的是你们的合同,以及他有理由期待什么。而对多数中小企业来说,恰恰是这种情形最常发生。
那部专门的 AI 责任法呢?不会来了
布鲁塞尔为 AI 责任单独立法忙了好几年,那本可以让追究 AI 供应商更容易。这份提案已被撤回:欧盟委员会在 2025 年 2 月宣布,撤回于 2025 年 10 月 6 日刊登在官方公报上。各方没能谈拢。
对你来说就是:没有特别规则,没有特别保护,也没有特别的脱身办法。就是普通的法律,和员工说错话、机器坏掉时适用的是同一套。这比标题里写的要平淡,也把问题从法律问题变成了实务问题:一个偶尔会自己编的系统,你打算给它多大空间?
实务中的三种情况
1. 助手许下一个不成立的承诺
客户问还能不能换货。助手说能,规定说不能。经验法则:只要客户有理由相信,你就被绑住了。面对消费者更是如此。系统说得越笃定,这种信赖越强。一个拿不准就转给人的系统,花你几分钟。一个拿不准就猜的系统,花掉的是那个承诺。
2. 报价带着错误金额发出去了
这里要看对方是不是本应看出这个错。本该是 4.500 欧元却写成 450,你多半能脱身,因为那是明显的笔误。本该是 4.500 却写成 4.150,客户就有理由信。所以这道流程正是你要放一个人进去的地方:不是因为 AI 算术差,而是因为邮件一旦发出,错误就收不回来了。
3. 供应商的系统做了奇怪的事
你可以试着追偿。实际中会卡在标准条款上:很多合同把责任上限定在你一年内付给他们的金额。按每月 40 欧元的订阅算,那就是 480 欧元。这不是保障,是姿态。想让它管点用,就得事先谈。事后谈,你手里是空的。
上线前要定下的六件事
限制责任靠的不是躲开 AI,而是事先定清楚系统管什么、不管什么。这是我们每个项目都会走一遍的清单,你自己也能照着走。
- 写清楚系统可以自己做什么。不要笼统,要逐项写:回答营业时间的问题,可以。就保修、价格或交期做出承诺,不行。
- 用可撤销规则。你能在五分钟内撤回的,系统可以自己做。凡是发到外面或牵涉到钱的,都要过一遍人。
- 把发生了什么记下来。什么问题进来、什么答复出去、几点钟。没有这些,客户投诉时你既还原不了说过什么,也证明不了自己尽到了注意。
- 说明这是 AI。自 2026 年 8 月 2 日起,有人与 AI 系统对话时这是强制的。第一条消息里写一行就够,但必须有。
- 在与开发方的合同里写明谁担什么:谁来修错、多长时间内修、上限是多少。签字之前写,而不是第一次出事之后。
- 书面问你的保险公司:企业责任险是否覆盖自动答复造成的损失。不要口头问经纪人。要书面问,而且问得越具体越好。
可撤销规则是最便宜的保护。一小时内能改正的错误答复,只是麻烦。客户已经接受的错误报价,就是义务。
问建这套东西的人三个问题
无论你是找我们还是找别人,这三个问题能在十分钟内看出对方有没有想过。
- 这套系统能做哪些我事后撤不回来的动作?答案含糊,说明设计也含糊。
- 系统不能说什么,写在哪里?好的开发方有一份清单,而不是一种感觉。
- 系统不知道的时候会怎样?正确的答案是:它不作答,转给人。而不是:它会尽力。
麻烦大多从最后这一点开始。一个在自己不懂的问题上尽力的系统,听起来和真懂的系统一样有说服力。这个区别要造出来,不能指望它自己出现。
把这件事理顺要花多少钱?
我会先与你进行一次免费交流,了解哪些工作耗时、你使用哪些系统,以及自动化能在哪些方面帮忙。随后,你会收到包含自动化机会、系统连接、时间安排和费用的方案。
之后要建的话,一到两周的小项目在 300 到 5.000 欧元之间,三到六周的中型项目在 5.000 到 12.000 欧元之间。维护按月走,从 100 欧元起,按月可停。划定边界和留记录在我们这儿不是加钱项,它们本来就在设计里,否则我们没法解释系统到底在做什么。
如果结论是这道流程还是手工做更好,我们也照直说。碰到责任问题时,这种情况比想象中常见:有些决定错一次就太贵了。
今天就能做的事
挑一个已经在公司里跑着的 AI 应用,问自己三个问题。它能不能在没人过目的情况下往外发东西?我能不能查到它昨天对客户说了什么?出了事我知道供应商赔什么吗?三个都答不上来不是灾难,但值得花一个下午。