分类：AI动态 标签：人工智能、ChatGPT、大模型、科技测评

引言

在人工智能大模型全面普及的今天，越来越多的用户开始向 AI 寻求日常生活、工作甚至专业领域的建议。然而，最新的一项独立研究给热潮中的生成式 AI 泼了一盆冷水：当你向 AI 询问财务和税务问题时，它大概率在“瞎编”。

千万级测试：AI 在财务问题上频频翻车

根据 Saturn 的最新研究显示，包括 ChatGPT、Claude、Microsoft Copilot、Grok 以及 Gemini 在内的主流 AI 聊天机器人，在回答财务相关问题时，平均错误率高达 57%。

为了得出这一结论，研究团队设计了涵盖逾百个真实财务场景的测试集，并对上述主流厂商的免费及付费版本 AI 模型进行了全面评估。在测试过程中，每个问题最多重复提问五次，最终向 18 种不同的 AI 模型组合累计提出了超过 10,000 个问题。

研究结果揭示了当前大模型在专业计算和逻辑推理上的严重短板：

  • 低级计算错误：基础算术与财务复利计算频频出错。
  • 政策信息滞后：无法准确同步或遗漏即将实施的最新税收政策变更。
  • 严重幻觉现象：凭空捏造不存在的财务规则与申报条款（即俗称的“一本正经胡说八道”）。

付费与推理模型表现稍好，但仍难言完美

尽管整体表现堪忧，但测试也发现了一些分层规律：

  1. 付费版本优于免费版本：投入更多算力与参数的订阅制模型，其准确率普遍高于免费基础模型。
  2. 新模型优于旧模型：架构更新、迭代频繁的大模型在复杂语境下的理解能力更强。

在所有测试模型中，表现最好的是具备深度推理能力的 Claude Opus 5。即便如此，它在处理专业财务问题时，依然有高达 39% 的答案存在错误。

结语与建议

这一研究结果为广大消费者敲响了警钟。在最严重的情况下，如果盲目依赖 AI 生成的税务和财务建议，极有可能导致严重的经济损失甚至合规风险。

现阶段，大语言模型（LLM）的底层逻辑依然是概率预测，而非严谨的符号逻辑推理。因此，在面对报税、理财、投资规划等强专业性、高容错率的场景时，我们建议用户：将 AI 仅作为思路参考的辅助工具，涉及实质性财务决策时，务必咨询专业的注册会计师或金融机构。