360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性

  新浪科技讯 6月26日下午消息 ,在ISC.AI 2026大会期间,360集团首席科学家 、集团高级副总裁潘剑锋表示,“去年大家还在怀疑 ,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角。”

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第1张图片

  在他看来 ,这并非安全人员的淘汰危机,而是整个行业加速升级的信号,并针对智能体的天然安全短板 ,提出了“驾驭AI不确定性 ”的全新安全治理范式 。

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第2张图片

  潘剑锋认为,传统安全面临的挑战,并不只是攻击手段增多、攻击速度加快 ,更深层的原因是计算逻辑发生了变化。

  传统软件建立在确定性计算之上,人把不确定的世界抽象、建模为确定的计算,这是人适应机器。但大模型出现之后 ,计算从确定走向了不确定,模型能够直接处理模糊 、开放、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了 。

  这种不确定性赋予了AI推理 、创造和处理复杂任务的能力 ,也成为智能体新型安全风险的根源。即便输入相同的任务,智能体也可能产生不同的理解、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面 。

  一面来自外部。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入、系统提示 、工具返回等内容中。人未必能看出其中的危险 ,大模型却可能“读懂”隐藏指令,进而实现模型注入 、指令覆盖等 。

  另一面来自内部 。大模型依赖统计规律生成结果,不具备对现实世界的完整、稳定认知 ,因此无法彻底避免幻觉 ,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时,当智能体开始连续推理 、调用工具,甚至与其他智能体协同工作时 ,一个看似微小的判断错误,可能沿着任务链不断传递和放大。

  潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁” ,转向“管控不确定性 ” 。

  围绕这一变化,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图,在推理层减少幻觉和错误判断 ,在执行层限制智能体的行动边界。这套思路背后的逻辑是,不确定性很难被彻底消除,但可以被识别、约束和兜底。换句话说 ,安全不能保证AI永远不犯错,但必须确保错误不会直接演变成安全事故 。

  在输入层,360通过恶意意图识别引擎 ,识别隐藏在用户输入、系统提示 、工具返回中的攻击意图 ,防止智能体被诱导、越狱或劫持任务目标,其解决的核心思路是“以模治模”。对于外界普遍关注的360差异化问题,潘剑锋将关键归结为两个字:数据。

  “恶意意图识别模型的专项训练越来越由数据决定 。”他表示 ,360长期积累了搜索、安全攻防及监管合规等多类数据,形成了一般安全厂商难以获得的语料资源。实测显示,接入360恶意意图识别引擎后 ,开源大模型的整体安全性可提升10%至30%。

  在推理层,360通过自研的世界认知模型,为大模型提供理解世界内在机制 、预测未来状态、辅助决策的“认知锚点 ” ,约束和引导大语言模型的推理过程,从根源上抑制大语言模型的幻觉 。

  在执行层,环境孪生沙箱则为智能体划定安全的行动半径 ,对工具调用、数据访问和系统操作进行监控,出现异常时及时拦截和回滚。

  对于未来的市场格局,潘剑锋判断 ,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断 。“它可能更像手机行业 ,几家大型厂商占据主要市场,同时不同细分领域仍然存在大量专业化空间 。”

  他同时强调,AI厂商并不会因为模型能力增强 ,就直接取代安全公司。安全仍然是一个高度垂直 、依赖攻防经验和行业知识的专业领域。但AI的发展,已经开始重新划定安全行业的门槛 。

标签:

相关推荐

  • 哈尔滨疫情最新消息今天封城了/哈尔滨疫情最新进展

    哈尔滨疫情最新消息今天封城了/哈尔滨疫情最新进展

    2020年哈尔滨疫情封城时间〖壹〗、020年哈尔滨共封城5次。1月9号望奎归来,主动报备,隔离及时,没有扩散,此次疫情很快结束。8月3日开始到8月12号结束,没有病历。9月21号开始到10月15号结束。学生线上、密闭场所关闭、同时密接、次密接出现,开始大面积封控小区和单元。10月30号开始到11月18号结束。学生线上、密闭场所关闭、由于密接、次密接也一样封...

  • 沧州疫情最新消息(沧州疫情最新消息今天)

    沧州疫情最新消息(沧州疫情最新消息今天)

    2022年的12月3日河北沧州解封了嘛〖壹〗、解封了。通过查询河北沧州疫情防控中心显示:截止至2022年12月8日,该地区属于常态化防控区,2022年的12月3日解封了。河北,简称“冀”,省会石家庄,是中华民族的发祥地之一。河北在战国时期大部分属于赵国和燕国,所以河北又被称为燕赵之地。〖贰〗、可以。截止2022年12月11日,经查阅河北本地宝,不再对跨地区...

  • 四川宜宾市高县发生5.5级地震 震源深度6公里

    四川宜宾市高县发生5.5级地震 震源深度6公里

      中国地震台网正式测定:6月29日0时12分,在四川宜宾市高县(北纬28.50度,东经104.69度)发生5.5级地震,震源深度6公里。  据网友反映,成都、重庆等地震感明显。  据了解,震中距珙县7公里、距高县18公里、距长宁县24公里、距叙州区26公里、距云南水富市30公里,距宜宾市28公里,距成都市239公里,距重庆市216公里。(文章来源:央视新闻...

    2026/06/29
  • 【1确诊曾17次核酸阴性,7次阴性的确诊病例】

    【1确诊曾17次核酸阴性,7次阴性的确诊病例】

    三次检测均为阴性却确诊新冠肺炎,检测“失灵”?病毒变异?〖壹〗、三次检测均为阴性却确诊新冠肺炎,并非检测“失灵”或病毒变异,而是与核酸检测的局限性、采样时机及部位、患者个体差异等多种因素有关。具体如下:病毒未出现变异根据专家介绍,从武汉、北京、上海等地收集到的病毒样本来看,新冠病毒并未出现变异。〖贰〗、但病毒核酸序列发生突变和变异时,有可能影响其与引物和荧...

  • PVC行情做空(pvc行情app)

    PVC行情做空(pvc行情app)

    pvc受到供应过剩拖累,维持弱势走向〖壹〗、PVC因供应过剩维持弱势走向,短期内费用下行压力较大,操作建议以逢高做空为主,下方支撑位关注5260附近。供应端压力持续存在产能利用率高位运行:PVC供应端开工整体稳定,个别企业小幅调整,但整体供应仍处于高位。上周产能利用率环比增加0.11%,供应端压力进一步加大。〖贰〗、供应端压力持续释放,产能过剩格局难逆转...

    2026/06/29
  • 轻量化AI设备需求激增 智能眼镜行业迎来规模化拐点

    轻量化AI设备需求激增 智能眼镜行业迎来规模化拐点

      从科幻电影走向现实,AI(人工智能)眼镜正成为科技圈新宠。在近日举行的2026年上海世界移动通信大会(MWC上海)上,AI眼镜成为全场焦点,吸引大量参观者驻足体验。  这是当前全球智能头戴设备市场爆发式增长的缩影。市场研究机构CounterpointResearch最新报告显示,2026年一季度全球智能头戴设备市场同比增长高达83%。其中,AR(增强现...

    2026/06/29
  • 【湖南加油站行情,湖南加油站行情最新消息】

    【湖南加油站行情,湖南加油站行情最新消息】

    福安屯燃料加油站多少钱一升不同油品费用有差异92号汽油:一般来说,其费用会在7元到8元多每升的范围波动。不同地区经济发展水平不同,对油价的承受能力有差异,所以费用会有所不同。比如一些经济发达地区,人工成本、运营成本较高,油价可能相对高一点;而经济欠发达地区,油价可能稍低。湖南92汽油多少钱一吨〖壹〗、根据最新调价数据,92号汽油为每升89元,95号汽油...

  • 大连最新疫情最新通报今天情况(大连最新疫情最新数据)

    大连最新疫情最新通报今天情况(大连最新疫情最新数据)

    11月14日31省区市新增本土确诊32例(辽宁新增25例)〖壹〗、月14日0—24时,全国31个省(自治区、直辖市)和新疆生产建设兵团报告新增本土确诊病例32例,其中辽宁新增25例(均在大连市),其余病例分布在河南、黑龙江、河北、云南;新增本土无症状感染者2例(均在江西上饶市)。本土确诊病例分布及详情辽宁(25例)全部集中在大连市,其中10例由无症状感染者...

  • 中山疫情最新消息今天/中山疫情最新通报今天

    中山疫情最新消息今天/中山疫情最新通报今天

    广东中山一地调整为中风险地区自2022年1月14日起,广东省中山市坦洲镇世界花城一期第41栋被调整为中风险地区。具体说明如下:调整依据:根据国家和广东省关于应对新型冠状病毒肺炎疫情分区分级防控工作要求,经中山市新型冠状病毒肺炎疫情防控指挥部同意后做出此次调整。广东中山市近来整体被划分为低风险地区,但存在部分高风险和中风险地区。广东省中山市近来是低风险地区,...

  • 安徽新增无症状感染者4例(安徽新增无症状感染者4例是哪里的)

    安徽新增无症状感染者4例(安徽新增无症状感染者4例是哪里的)

    11月30日淮南新增4例无症状感染者11月30日淮南新增4例无症状感染者_百...〖壹〗、月30日0-24时,淮南市报告新增无症状感染者4例,其中:寿县1例,隔离密接者;田家庵区1例,隔离密接者;八公山区1例,省外返淮人员;潘集区1例,省外来淮人员。11月30日0-24时,我市报告新增解除医学观察的无症状感染者2例。截至11月30日24时,我市治愈出院病例...

返回顶部