分类：AI动态 标签：人工智能、大模型、信息安全、AI治理

随着生成式人工智能技术的爆发式增长，大模型在带来生产力变革的同时，其衍生出的合规与安全风险也日益凸显。近日，在上海市委网信办和市经信委的指导下，上海市信息安全测评认证中心正式发布了全国首个生成式人工智能安全测试公共服务平台——“智测能手”。

这一平台的诞生，标志着国内在人工智能安全治理领域迈出了实质性的关键一步，为构建健康、安全、可信的AI产业生态提供了切实可行的“上海方案”。

直击行业痛点：大模型安全的“自动化体检”

在实际应用中，生成式大模型常常面临诸多隐性风险，例如生成违法违规内容、带有歧视与偏见，或是出现难以察觉的事实性错误。传统的安全审核多依赖人工或碎片化工具，效率低下且难以覆盖复杂的应用场景。

“智测能手”平台正是为解决这一痛点而生。它创新性地采用了公共服务产品的思路，核心推出了大模型安全测评模块。该模块具备强大的自动化评测能力，能够对模型在运行中暴露的各类风险进行深度扫描与精准判定。

技术亮点与核心优势

  • 自动化全流程评测：平台能够自动模拟多种复杂输入与攻击场景，对生成内容进行全方位检测。
  • 高精度的违规判定：依托先进的算法与多维测试数据集，平台对模型违规输出的判定准确率保持在不低于95%的高水准。
  • 输出闭环优化建议：平台不仅能出具详尽的“体检报告”（测评结论），还能针对性地输出优化与整改建议，助力研发团队快速修补安全漏洞。

科技视点

人工智能的竞争不仅是参数规模的竞争，更是安全与治理能力的竞争。“智测能手”的正式亮相，填补了我国在生成式AI公共安全测试领域的空白。通过将风险前置、以技术对抗技术，该平台有望大幅降低企业在AI落地过程中的合规成本，推动整个人工智能产业向更加安全、规范、可持续的方向发展 -> 赋能千行百业的数智化转型。