分类：AI动态 标签：人工智能、ChatGPT、法律科技、大模型幻觉

在生成式人工智能全面普及的今天，“AI 幻觉”（Hallucination）早已不是新鲜概念。然而，当这项技术被直接搬上严肃的刑事法庭，并闹出捏造关键证词的荒唐闹剧时，事情的性质就彻底变了。

近日，海外发生了一起令人瞠目结舌的法律案件：一名辩护律师在处理一桩谋杀案上诉时，竟然直接将 AI 生成的虚假证词和虚构证人写入了正式的法律文件中。而他的解释，仅仅是“把材料扔给 ChatGPT，以为它能搞定一切”。

事件回放：盲目信任引发的闹剧

在这起谋杀案的上诉审理中，律师 Stephen Aaron 担负着为客户辩护的重任。为了梳理庞杂的案卷，他选择了一种看似“高效”的捷径——他将一份计算机生成的庭审记录及相关材料一股脑输入进 ChatGPT，并理所当然地期待大模型能吐出一份“无懈可击的摘要”。

然而，他显然严重低估了大模型的局限性。由于缺乏对 AI 工具特性的基本了解，Aaron 并没有对生成内容进行人工核对与审查。结果，ChatGPT 在处理复杂上下文时产生了严重的幻觉，不仅凭空捏造了并不存在的警方证词，甚至还顺手虚构了几位“目击证人”。

更荒谬的是，Aaron 随后直接将这份夹杂着大量虚假信息的文本作为核心证据提交给了法院。

法律亮红牌：法官发出灵魂拷问

当法官在审阅文件时发现了这些漏洞，当即陷入了难以置信的震惊中。在法庭质询环节，法官甚至发出了这样的灵魂拷问：

“难道你平时都不看新闻的吗？”

面对如此低级且严重的失职，法律没有给予任何温和的宽容。最终，法官不仅对 Stephen Aaron 开出了 5000 美元的直接罚款，还决定将其正式移交至律师纪律委员会进行深入调查，等待他的很可能是更严厉的执业惩戒。

科技编辑点评：工具没有罪，盲从是原罪

过去，我们听说过不少程序员因为盲目复制 ChatGPT 生成的有 bug 代码而导致系统崩溃，也听闻过研究人员引用 AI 虚构学术文献的案例。而这一次，法律界再次用沉重的罚单敲响了警钟。

  1. 认清大模型的边界：AI 本质上是一个概率预测模型，而非绝对客观的数据库。当输入非结构化的高密度信息时，它倾向于“合理地编造”，而不是“坦诚地承认不懂”。
  2. 专业领域的边界不容模糊：法律、医疗等高风险行业，对事实的准确性要求达到 100%。AI 可以扮演“效率助手”（如辅助检索、草拟大纲），但绝不能替代人类进行最终的审慎核查。

技术本身没有对错，真正带来灾难的是使用者懒惰的思维方式 -> 盲目的信任 -> 缺乏监督的滥用。希望这起荒诞的案件，能让所有过度迷信大模型的人清醒过来：在关键领域，人类的智慧与审慎永远无可替代。