分类:AI动态 标签:人工智能、大模型、信息安全、AI治理


在人工智能技术狂飙突进的今天,大模型的安全性已成为全球科技界和监管层关注的核心焦点。如何有效识别并规避生成式AI带来的潜在风险?日前,在国家网络安全宣传周上海地区活动开幕式上,全国首个生成式人工智能安全测试公共服务平台——**“智测能手”**正式亮相。

该平台由上海市信息安全测评认证中心在上海市委网信办、市经信委的指导下建设完成,标志着国内在生成式人工智能治理实践中迈出了关键一步,也为行业提供了极具参考价值的“上海方案”。

核心亮点:精准把脉大模型安全隐患

作为一款公共服务产品,“智测能手”专注于解决大模型落地应用中的安全痛点。其核心功能主要体现在以下几个方面:

  • 自动化全方位评测:平台内置的大模型安全测评模块,能够针对生成违法违规内容、偏见与歧视、事实性错误等多种潜在风险进行自动化扫描与深度评测。
  • 高效输出与优化建议:在完成多维度测试后,平台不仅能够快速输出客观、详尽的测评结论,还会针对发现的问题提供切实可行的优化建议,助力研发团队查漏补缺。
  • 行业领先的准确率:依托先进的技术架构,该平台对大模型违规输出内容的判定准确率保持在 95%以上,为安全治理提供了坚实的数据支撑。

科技视点

随着各大企业和科研机构纷纷入局大模型赛道,模型的“安全性”与“可靠性”已不再是锦上添花的附加题,而是决定产品能否走向市场的必答题。

“智测能手”平台的上线,不仅填补了国内生成式AI专业安全测试公共服务的空白,更通过标准化、自动化的测试手段,降低了中小企业在AI安全治理上的门槛。未来,随着更多大模型接入该平台接受“体检”,我们有望看到一个更加安全、健康且可持续发展的国内人工智能生态。