文本领域的对抗攻击研究总结
发布时间：2022-07-12 14:46:38 所属栏目：安全 来源：互联网
导读：引 言 对抗攻击(也称为对抗样本生成)是近几年人工智能领域新兴的研究方向，最初是针对图像所提出，在计算机视觉领域取得了丰硕的研究成果，提出了很多实用的攻击算法。最近，研究人员在不断寻找新的应用场景，积极探索对抗攻击在其他领域的应用，针对文本的
|
引 言 对抗攻击(也称为对抗样本生成)是近几年人工智能领域新兴的研究方向，最初是针对图像所提出，在计算机视觉领域取得了丰硕的研究成果，提出了很多实用的攻击算法。最近，研究人员在不断寻找新的应用场景，积极探索对抗攻击在其他领域的应用，针对文本的对抗攻击已取得一些进展。 1. 离散VS连续(Discrete VS Continucous) 图像数据是连续的，易编码为数值向量，预处理操作线性、可微，通常使用lp范数来度量原始样本与对抗样本间的距离;而文本数据是符号化的数据，是离散的，预处理操作非线性、不可微，很难定义文本上的扰动及度量文本序列改变前后的差异。 2. 易感知VS不易感知(Preceivable VS Unperceivable) 人类通常不容易察觉到图像像素的微小变化，因此图像的对抗样本不会改变人类的判断力，只会影响深度学习模型的判别结果;而文本上的变化则很容易影响文本可读性，在将文本数据输入DNN模型之前通过拼写检查和语法检查来识别或纠正更改，极有可能导致攻击失败。 3. 富有语义VS无语义(Semanic VS Semanic-less) 像素的微小变化不会改变图像的语义，但对文本的扰动可轻易改变单词和句子的语义。例如，干扰单个像素不会将图像从猫变为另一种动物，而删除否定词将改变句子的情感。更改样本的语义有悖于对抗样本的定义，文本领域的对抗样本应在使深度学习模型发生误判的同时保持数据样本的真实标签不变。 算法分类 如图2所示，对抗攻击算法可以从不同的角度进行分类。 根据模型访问权限可以分为白盒攻击和黑盒攻击，白盒攻击需要获取模型的结构和参数等详细信息;而黑盒攻击不需要模型知识，只需访问模型获取输入的对应输出即可。 根据攻击目标设定可以分为有目标攻击和无目标攻击，无目标攻击旨在使模型的输出为偏离正确结果的任意错误预测;而有目标攻击旨在使模型的输出为某一特定结果。 根据添加扰动时所操作的文本粒度可以分为字符级、单词级和语句级攻击。字符级攻击通过插入、删除或替换字符，以及交换字符顺序实现;单词级攻击主要通过替换单词实现，基于近义词、形近词、错误拼写等建立候选词库;语句级攻击主要通过文本复述或插入句子实现。 代表性算法 文本领域的常见任务有文本分类、情感分析、机器翻译、阅读理解、问答系统、对话生成、文本蕴含等，其中文本分类与情感分析任务使用分类器模型，其他任务使用seq2seq模型。针对分类任务的研究较多，下文介绍几种代表性算法，表1总结了其主要特点。 Papernot等人[3]最先研究了文本领域的对抗样本问题，提出了生成对抗性输入序列的概念。作者将图像对抗领域的JSMA算法迁移到文本领域，利用计算图展开技术来评估与单词序列的嵌入输入有关的前向导数，构建雅可比矩阵，并借鉴FGSM的思想计算对抗性扰动。由于词向量不能取任意实数值，作者建立了一个特定的词典来选择单词以替换原始序列中的随机词。 Liang等人[4]提出了TextFool方法，首先针对白盒模型和黑盒模型使用不同的策略识别出对分类具有重要贡献的文本项(HTP、HSP)，然后对这些重要的文本项通过单一或混合使用插入、修改和删除三种扰动策略，生成对抗样本。对于白盒模型，作者借鉴FGSM的思想来估算文本项的重要度，但是通过损失函数的梯度大小而不是梯度符号来度量;对于黑盒模型，通过遮挡文本的策略来识别重要文本项。 Ebrahimi 等人[5]提出了HotFlip方法，基于one-hot表示的梯度来有效估计单个操作所造成的最大损失的变化，通过原子翻转操作(将一个字符替换为另一个字符)生成对抗样本，并通过一系列的字符翻转来支持插入和删除操作。考虑到梯度优化的局限性，Alzantot等人[6]提出使用最优化技术中的遗传算法(Genetic Algorithm, GA)来生成与原始样本具有相似语义和语法的对抗样本。 Gil 等人[9]提出了HotFlip的派生方法DISTFLIP，该算法提取HotFlip优化过程中的知识训练神经网络模型来模拟攻击从而生成对抗样本，极大地节省了运行时间，并可以迁移到黑盒场景下进行攻击。 （编辑：云计算网_泰州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330476号