目录
先模拟,再毁掉
自毁效果针不戳!
首页 科技周边 人工智能 为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

Sep 13, 2023 pm 08:53 PM
ai 模型

防止大模型作恶的新法子来了!

这下即使模型开源了,想恶意使用模型的人也很难让大模型“作恶”。

不信就来看这项研究。

斯坦福研究人员最近提出了一种新方法对大模型使用附加机制进行训练后,可以阻止它对有害任务的适应。

他们把通过此方法训练出的模型称为“自毁模型”

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

自毁模型仍然能够高性能地处理有任务,但在面对有害任务的时候会神奇地“变差”。

目前该论文已被AAAI接收,并获得了最佳学生论文奖荣誉提名。

先模拟,再毁掉

越来越多大模型开源,让更多人可以参与到模型的研发和优化中,开发模型对社会有益的用途。

然而,模型开源也同样意味着恶意使用大模型的成本也降低了,为此不得不防一些别有用心之人(攻击者)。

此前为防止有人恶意促使大模型作恶,主要用到了结构安全机制技术安全机制两类办法。结构安全机制主要是使用许可证或访问限制,但面对模型开源,这种方法效果被削弱。

这就需要更多的技术策略做补充。而现有的安全过滤、对齐优化等方法又容易被微调或者提示工程绕过。

斯坦福研究人员提出要用任务阻断技术训练大模型,使模型在正常任务中表现良好的同时,阻碍模型适应有害任务。

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

任务阻断的方法就是假设攻击者试图将预训练大模型改造用于有害任务,然后搜索最佳的模型改造方法。

接着通过增加数据成本和计算成本两种方式来增加改造难度。

研究人员在这项研究中着重探究了增加数据成本的方法,也就是降低模型的少样本效果,使模型在有害任务上的少样本表现接近随机初始化模型,这也就意味着要恶意改造就要花费更多数据。以至于攻击者宁愿从头开始训模型,也不愿使用预训练模型。

具体来说,为了阻止预训练模型成功适应有害任务,研究人员提出了一种利用了元学习(Meta-Learned)和对抗学习的MLAC(Meta-Learned Adversarial Censoring)算法来训练自毁模型

MLAC使用有益任务数据集和有害任务数据集对模型进行元训练(meta-training):

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

△MLAC训练程序

该算法在内循环中模拟各种可能的适配攻击,在外循环中更新模型参数以最大化有害任务上的损失函数,也就是更新参数抵抗这些攻击。

通过这种对抗的内外循环,使模型“遗忘”掉有害任务相关的信息,实现自毁效果。

继而学习到在有益任务上表现良好,而在有害任务上难以适配的参数初始化。

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

△meta-learning过程

整体上,MLAC通过模拟攻击者(adversary)适配过程,找到有害任务的局部优点或鞍点,在有益任务上保持全局最优。

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

正如上图,通过规划预训练模型在参数空间中的位置,可以增加其微调的难度。

放置在点1的大模型可以通过梯度下降轻松调整,以获得有害任务损失(haemful task loss)和期望任务损失(desired task loss)的全局最优解。

另一方面,放置在点2的大模型可以轻松达到期望任务的最优解,但更有可能陷入有害任务的局部最优解。

这样得到的模型初始化,在有益任务上易于适配到全局最优,但在有害任务上陷入局部优点,难以改造。

自毁效果针不戳!

为了测试通过上述方法训练出的“自毁模型”的性能,研究人员做了个实验。

首先研究人员准备了一个人物传记数据集——Bias in Bios。

然后他们将性别识别任务视为有害任务,职业分类任务视为有益任务。在原始数据集基础上,把所有人称替换为“they/their”,增加了性别识别任务的难度。

在未处理的数据集上,随机模型只需要10个例子就可以达到90%以上的性别分类准确率。

然后将模型进行50k steps的MLAC预训练。

在测试时,研究人员用生成的自毁模型,通过严格的超参数搜索运行它,以最大限度地提高有害任务的微调性能

此外,研究人员还抽出了验证集子集作为攻击者训练集,模拟攻击者仅有有限数据的情况。

但在超参数搜索时,允许攻击者使用完整的验证集。这意味着虽然攻击者只有有限训练数据,但可以在全量数据上探索超参数

如果在这种情况下,MLAC训练的模型仍难以适配到有害任务,可以更好地证明其自毁效果。

研究人员随即将MLAC与以下方法进行比较:

  • 随机初始化模型
  • 仅在有益任务上微调的BERT
  • 简单对抗训练法

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

△经过微调的有害任务(性别识别)表现。阴影表示在6个随机seed上的95%置信区间。

结果发现,MLAC方法训练出的自毁模型在所有数据量下的有害任务性能均接近随机初始化模型。而简单对抗训练法并没有明显降低有害任务的微调性能。

与简单对抗训练相比,MLAC的元学习机制对产生自毁效果至关重要。

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

△MLAC算法中内循环步数K的影响,K=0相当于简单的对抗训练

此外,MLAC模型在有益任务上的少样本性能优于BERT微调模型:

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

△在对所需任务进行微调后,MLAC自毁模型的少样本性能超过了BERT和随机初始化模型。

论文链接:https://arxiv.org/abs/2211.14946

以上是为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

动态网页元素XPath和Class名变化频繁,如何稳定抓取目标a标签? 动态网页元素XPath和Class名变化频繁,如何稳定抓取目标a标签? Apr 01, 2025 pm 04:12 PM

动态网页元素抓取难题:应对XPath和Class名变化很多爬虫开发者在抓取动态网页时会遇到一个棘手的问题:目标�...

在 LangChain 中,如何使用 AgentExecutor 替代已被禁用的 initialize_agent 函数? 在 LangChain 中,如何使用 AgentExecutor 替代已被禁用的 initialize_agent 函数? Apr 01, 2025 pm 04:18 PM

在LangChain中,如何替代已被禁用的initialize_agent函数?在LangChain库中,initialize_agent...

ChatGPT冲击下,国内技术问答社区如何突围? ChatGPT冲击下,国内技术问答社区如何突围? Apr 01, 2025 pm 05:18 PM

面对ChatGPT的冲击,国内技术问答社区将如何应对?近期Stack...

如何在Flask和YOLOv5开发的HTML网页上解决摄像头无法显示检测框的问题? 如何在Flask和YOLOv5开发的HTML网页上解决摄像头无法显示检测框的问题? Apr 01, 2025 pm 06:33 PM

如何在Flask和YOLOv5开发的HTML网页上成功打开摄像头并显示检测框?在使用Flask框架和YOLOv5开发HTML网页时,打开摄...

Uvicorn是如何在没有serve_forever()的情况下持续监听HTTP请求的? Uvicorn是如何在没有serve_forever()的情况下持续监听HTTP请求的? Apr 01, 2025 pm 10:51 PM

Uvicorn是如何持续监听HTTP请求的?Uvicorn是一个基于ASGI的轻量级Web服务器,其核心功能之一便是监听HTTP请求并进�...

使用Selenium模拟登录后重定向报404错误的原因是什么?如何解决? 使用Selenium模拟登录后重定向报404错误的原因是什么?如何解决? Apr 01, 2025 pm 10:54 PM

Selenium模拟登录后重定向报404错误的解决方案在使用Selenium进行模拟登录时,我们常常会遇到一些棘手的问题。�...

Python中如何通过字符串动态创建对象并调用其方法? Python中如何通过字符串动态创建对象并调用其方法? Apr 01, 2025 pm 11:18 PM

在Python中,如何通过字符串动态创建对象并调用其方法?这是一个常见的编程需求,尤其在需要根据配置或运行...

requests库获取网页数据时,如何解决动态加载内容缺失的问题? requests库获取网页数据时,如何解决动态加载内容缺失的问题? Apr 01, 2025 pm 11:24 PM

使用requests库抓取网页数据时遇到的问题及解决方案在使用Python的requests库获取网页数据时,有时会遇到获取到�...

See all articles