人工智能恶意攻击?南理工新技术助力检测对抗检测的恶意软件

交汇点讯 近日,南理工计算学院李千目教授团队开展的“面向人工智能对抗性恶意样本的监测技术”在人工智能国际学术会议AAAI2019(CCF A类会议)上发表,算法及其实验获得了大会“Challenge Problem Winner”,这也是中国信息安全学者首次获得该奖项。该成果提高了在对抗环境中智能恶意软件监测方法的可靠性和安全性。


人工智能在工业制造、医疗健康、教育、生活、安防、电商零售、金融等越来越多的领域得到广泛的应用,给人们的生产、生活带来极大的便利,但恶意软件也给人们带来安全隐患。长期以来恶意软件作为社会公共安全的重要威胁,成为公安、工信和交通管理等部门监测打击的目标。

  但恶意软件研制人员为逃避监测便将人工智能技术应用在抵抗监测方面,出现了对抗性恶意样本生成和注入等新型技术,这类技术俗称“针对人工智能的智能攻击”,目前信息安全研究界和安全产品市场上还没有针对抵御这些攻击的普适性有效对策。


李千目教授团队针对当前大量现有监测系统中的机器学习算法容易受到对抗性逃避监测的人工智能算法攻击这一现状,开展了“面向人工智能对抗性恶意样本的监测技术”研究。

  “我们在尝试增强深度学习模型,主要利用人工智能分类器对恶意软件进行分类,以恶意软件为输入样本,分为训练数据集和测试数据集两部分。”该团队李德强博士介绍,他们在训练阶段,训练多个人工智能分类器的集合,在每个分类器上都将所提出的原则系统化地加以运用。

  在测试阶段,将样本输入至每个分类器,最后根据所有分类器的投票结果确定样本是否对抗性恶意软件。“这项技术的关键是在训练阶段中,我们创新地提出了一些设计和规避的原则,用于恶意软件分类的设置中,增强智能分类器对抗逃避攻击的可靠性和安全性。”

  李千目教授介绍,这项研究成果应用很广泛,可用于规范工业互联网、智能无人系统等领域的顶层安全设计,通过统一智能系统的安全体系架构,增强无人系统等智能系统的安全互联互通互操作能力,提升智能系统的信息防御能力。“也可用于指导智能平台、工业互联网的产品安全研制,通过通用化、标准化、组件化,使得各种安全功能构件可重用、可替换,大量减少采购费用。”

  该研究成果还可用于指导智能平台和工业互联网的安全组件编配和协调运用,通过安全资源优化、安全监测流程优化、安全组件编配,提高智能系统适应多种安全防御任务的能力,提升无人系统之间、无人系统与有人系统,以及无人系统与网络信息体系的安全交互能力。