分类:AI动态 标签:人工智能、大模型、ChatGPT、Claude


引言:当大模型遇上硬核财经

在过去的一年里,生成式人工智能(AI)几乎渗透到了我们工作和生活的方方面面。从写代码、做PPT到日常闲聊,AI 似乎无所不能。许多人也开始将它当作便捷的“智囊团”,用来咨询复杂的法律、税务甚至财务规划问题。

然而,一项最新的独立研究却给这股热潮泼了一盆冷水——当面对严谨的财务问题时,主流 AI 聊天的表现远不如预期,甚至可以说是“错漏百出”。


触目惊心的数据:超五成答案在“忽悠”

根据科技机构 Saturn 的最新研究显示,包括 ChatGPT、Claude、Microsoft Copilot、Grok 以及 Google Gemini 在内的各大主流 AI 模型,在回答财务相关问题时的平均错误率高达 57%。

为了得出这一结论,研究团队设计了一套严谨的测试方案:

  • 测试题库:使用超过 100 个真实且复杂的财务相关问题。
  • 测试基数:涵盖 18 种不同的 AI 模型(包括免费版与付费版)。
  • 重复验证:每个问题最多重复提问 5 次,累计向 AI 系统发起了超过 10,000 次查询。

测试结果揭示了几个令人担忧的现象:

  1. 常见硬伤:AI 的错误主要集中在计算失误、遗漏即将实施的最新税收政策变更,以及最经典的“AI 幻觉”——凭空捏造并不存在的税务规则。
  2. 潜在风险:在实际生活中,如果用户盲目依赖这些错误的税务或财务建议,极有可能面临严重的罚款或其他经济损失。

付费与推理模型:表现稍好,但依然堪忧

俗话说“一分钱一分货”,在 AI 领域也不例外。研究表明,付费订阅的高级模型在准确率上普遍优于免费模型,而架构更新的模型表现也明显好于老旧版本。

但在绝对的严谨性面前,即便是目前站在业界顶端的模型也难以做到万无一失:

  • 在所有参测模型中,表现最好的是具备深度推理能力的 Claude Opus 5。
  • 尽管它是“优等生”,但其财务回答的错误率仍然高达 39%。

这意味着,即使你购买了最贵的 AI 会员,每回答三个问题,依然有一个可能是错误的。对于容错率极低的财务和税务领域来说,这个风险依然高得令人无法忽视。


博客编辑点评

AI 的本质是基于概率的语言模型,通过捕捉文字间的统计规律来生成内容,而不是像人类精算师或税务专家那样进行逻辑推理和法则验算。这也就是为什么它们在面对需要精确计算和实时政策同步的财务领域时,常常会“胡说八道”。

结语: 科技在进步,大模型也在不断迭代,但现阶段的 AI 绝不能替代专业的财务顾问、注册会计师或税务律师。下次当你想要让 ChatGPT 帮你规划税务或计算投资回报时,请务必多留一个心眼——毕竟,钱包瘪下去的时候,AI 可不会帮你买单。