360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性

  新浪科技讯 6月26日下午消息,在ISC.AI 2026大会期间 ,360集团首席科学家、集团高级副总裁潘剑锋表示 ,“去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角 。 ”

360首席科学家潘剑锋:智能体安全的核心	,是驾驭AI不确定性-第1张图片

  在他看来,这并非安全人员的淘汰危机,而是整个行业加速升级的信号 ,并针对智能体的天然安全短板,提出了“驾驭AI不确定性 ”的全新安全治理范式 。

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第2张图片

  潘剑锋认为 ,传统安全面临的挑战,并不只是攻击手段增多 、攻击速度加快,更深层的原因是计算逻辑发生了变化。

  传统软件建立在确定性计算之上 ,人把不确定的世界抽象 、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定 ,模型能够直接处理模糊、开放、充满变化的真实世界任务 ,机器可以理解人类意图 、反过来去适应人了 。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源。即便输入相同的任务,智能体也可能产生不同的理解、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面 。

  一面来自外部。攻击者不再需要直接下达明显的恶意指令 ,而可以把恶意意图隐藏在用户输入 、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂”隐藏指令,进而实现模型注入、指令覆盖等 。

  另一面来自内部。大模型依赖统计规律生成结果 ,不具备对现实世界的完整 、稳定认知,因此无法彻底避免幻觉,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时 ,当智能体开始连续推理、调用工具,甚至与其他智能体协同工作时,一个看似微小的判断错误 ,可能沿着任务链不断传递和放大 。

  潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性 ”。

  围绕这一变化 ,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图 ,在推理层减少幻觉和错误判断,在执行层限制智能体的行动边界。这套思路背后的逻辑是,不确定性很难被彻底消除 ,但可以被识别 、约束和兜底 。换句话说,安全不能保证AI永远不犯错,但必须确保错误不会直接演变成安全事故 。

  在输入层 ,360通过恶意意图识别引擎,识别隐藏在用户输入、系统提示、工具返回中的攻击意图,防止智能体被诱导 、越狱或劫持任务目标 ,其解决的核心思路是“以模治模”。对于外界普遍关注的360差异化问题,潘剑锋将关键归结为两个字:数据。

  “恶意意图识别模型的专项训练越来越由数据决定 。”他表示,360长期积累了搜索 、安全攻防及监管合规等多类数据 ,形成了一般安全厂商难以获得的语料资源。实测显示,接入360恶意意图识别引擎后,开源大模型的整体安全性可提升10%至30%。

  在推理层 ,360通过自研的世界认知模型 ,为大模型提供理解世界内在机制、预测未来状态、辅助决策的“认知锚点 ”,约束和引导大语言模型的推理过程,从根源上抑制大语言模型的幻觉 。

  在执行层 ,环境孪生沙箱则为智能体划定安全的行动半径,对工具调用 、数据访问和系统操作进行监控,出现异常时及时拦截和回滚。

  对于未来的市场格局 ,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断 。“它可能更像手机行业,几家大型厂商占据主要市场 ,同时不同细分领域仍然存在大量专业化空间。”

  他同时强调,AI厂商并不会因为模型能力增强,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域 。但AI的发展 ,已经开始重新划定安全行业的门槛。

标签:

相关推荐

  • 安徽新增无症状感染者4例(安徽新增无症状感染者4例是哪里的)

    安徽新增无症状感染者4例(安徽新增无症状感染者4例是哪里的)

    11月30日淮南新增4例无症状感染者11月30日淮南新增4例无症状感染者_百...〖壹〗、月30日0-24时,淮南市报告新增无症状感染者4例,其中:寿县1例,隔离密接者;田家庵区1例,隔离密接者;八公山区1例,省外返淮人员;潘集区1例,省外来淮人员。11月30日0-24时,我市报告新增解除医学观察的无症状感染者2例。截至11月30日24时,我市治愈出院病例...

  • 【青岛疫情情况最新,青岛疫情最新数据】

    【青岛疫情情况最新,青岛疫情最新数据】

    2022年3月10日青岛莱西市新增96例本土确诊病例、217例无症状感染者_百...官方通报显示,2022年3月10日0—24时,青岛市新增本土确诊病例103例,其中莱西市占96例,其余7例分布在市南区(1例)、市北区(1例)、黄岛区(2例)、胶州市(3例)。莱西市确诊病例编号为273-30305-370,共96例。一定会有风险,但风险不是很高.农商银行悦...

  • 葫芦岛最新疫情最新消息/葫芦岛疫情最新消息及名单

    葫芦岛最新疫情最新消息/葫芦岛疫情最新消息及名单

    辽宁葫芦岛:除绥中县其他地区实行“非必要不离葫”〖壹〗、政策适用范围:该政策针对的是葫芦岛市除绥中县之外的其他地区。绥中县可能因疫情形势更为严峻或其他特殊原因,未被纳入此次“非必要不离葫”政策的统一要求范围,可能存在单独的防控措施。〖贰〗、截至2022年2月8日0时至11时,辽宁省新增1例本土新冠肺炎确诊病例,为葫芦岛市报告。葫芦岛市新冠肺炎疫情防控总指挥...

  • 沈阳市今天最新疫情(沈阳省今日疫情)

    沈阳市今天最新疫情(沈阳省今日疫情)

    沈阳,沈阳疫情怎么样辽宁沈阳疫情呈下降趋势。通过查询相关公开信息显示,截止到2023年1月6日,辽宁沈阳疫情的峰值已经过去,疫情已经呈下降趋势。辽宁沈阳指沈阳市。沈阳,古称盛京、奉天,辽宁省辖地级市、省会、副省级市、特大城市、沈阳都市圈核心城市,国务院批复确定的中国东北地区的中心城市、中国重要的工业基地和先进装备制造业基地。没有。沈阳位于中国东北地区的南部...

  • 立新能源:2026年受全疆供需关系影响,电量电价会短期内供需呈现过剩状态

    立新能源:2026年受全疆供需关系影响,电量电价会短期内供需呈现过剩状态

      证券日报网6月28日讯,立新能源在接受调研者提问时表示,2026年受全疆供需关系影响,电量电价会短期内供需呈现过剩状态,随着新疆区域社会用电需求增加,西北省间电力互济、全国统一电力大市场建设、疆内新能源指标批复收紧等一系列措施,电力供需关系有望逐步改善。公司各项生产经营整体平稳有序,未发生重大变化。(文章来源:证券日报)...

    2026/06/28
  • 【白糖最新期货行情,白糖最新期货行情分析】

    【白糖最新期货行情,白糖最新期货行情分析】

    白糖近期基本面梳理,后续怎么看?〖壹〗、近期白糖基本面呈现世界原糖偏弱、郑糖受低库存与海外扰动影响、巴西增产压制费用的特征,后续需关注供应过剩压力、需求复苏情况及地缘政治风险对糖价的进一步影响。近期白糖基本面核心变化世界原糖期货费用偏弱震荡ICE原糖期货3月合约收盘价299美分/磅,较前一日下跌0.5%,主要受全球宏观经济不确定性及美元走强压制。〖贰〗、...

  • 郑州最新疫情最新消息今天/郑州最新疫情最新数据

    郑州最新疫情最新消息今天/郑州最新疫情最新数据

    郑州封控区最新范围〖壹〗、且该封控区范围较大,那么除明确封控的核心区域外,其余部分在89号通告调整后可能就属于管控区。〖贰〗、近来郑州官方暂未发布封控区域地图,仅公布了封控区域相关信息,可通过官方指定渠道获取最新封控区范围。〖叁〗、截止近来,郑州高新区暂无封控区和管控区。以下为详细说明:封控区情况:根据现有信息,郑州高新区近来没有划定封控区。封控区通常指病...

  • 贵金属钯金行情分析(贵金属钯金近期费用持续走高吗)

    贵金属钯金行情分析(贵金属钯金近期费用持续走高吗)

    钯金费用持续上涨的原因是什么?这种上涨趋势会持续多久?钯金费用持续上涨的主要原因是全球汽车行业需求增长、供应紧张、宏观经济环境稳定以及地缘政治和贸易局势不确定性引发的避险需求。其上涨趋势的持续时间受未来环保政策、供应变化、宏观经济形势及金融市场波动等多重因素影响,近来难以准确预判,需持续观察关键变量动态。钯金价值上涨的主要原因是工业需求增长、供应受限及投资...

  • 【山东增本土确诊51例,山东本土新增确诊病例】

    【山东增本土确诊51例,山东本土新增确诊病例】

    31省份新增51例本土,这些病例涉及到了哪些地方?〖壹〗、这些病例涉及到绍兴市、宁波市、杭州市、呼伦贝尔市、齐齐哈尔市以及西安市。〖贰〗、河北新增确诊病例及全国中高风险地区集中北方城市,是气候、地理、人口及防控策略等多因素共同作用的结果:气候因素:北方冬季寒冷干燥,为病毒传播提供了有利条件。低温环境延长病毒存活时间,干燥空气削弱呼吸道黏膜防御能力,增加感染...

  • 【焦炭年末行情规律,焦炭市场走势分析】

    【焦炭年末行情规律,焦炭市场走势分析】

    2025年1月1日国内焦炭费用行情如何〖壹〗、025年1月1日国内焦炭市场整体偏弱下行,多地出厂价出现不同幅度下调,全国准一级冶金焦均价较上期下跌1%。〖贰〗、处于中低位水平。同时,元旦过后钢铁行业的铁水产量开始增加,焦炭开工率较前期提升,需求端展现出韧性。这些因素共同作用,使得1月煤炭费用,特别是炼焦煤费用稳中回升,世界市场上的炼焦煤和动力煤费用也有小幅...

返回顶部