首页 网络3.0 指令解码增强了指令调整语言模型,无需更新参数

指令解码增强了指令调整语言模型,无需更新参数

Oct 02, 2024 pm 06:12 PM
AI Instructive Decoding Attention Enhancement Instruction-Tuned LLMs Generation Phase

KAIST AI 的研究人员推出了指令解码 (ID),这是一种无需参数更新即可增强指令调整 LM 的方法。

指令解码增强了指令调整语言模型,无需更新参数

指令调整语言模型 (LM) 可以很好地泛化到零样本设置中未见过的任务。然而,他们在训练数据之外的任务上的表现往往受到限制。尽管建立在大型数据集上并拥有数十亿个参数,但这些语言模型在上下文学习(ICL)方面表现出色,它们可以生成对几个示例的响应,而无需重新训练。然而,训练数据集的范围限制了它们在不熟悉的任务上的有效性。快速工程和输出多样化等技术有助于提高性能,但需要付出巨大的努力。最近的研究探索了将认知锚定效应应用于 LM,表明强调初始提示可以增强特定任务的响应并提高对指令的保真度。

在这项工作中,KAIST AI 的研究人员介绍了指令解码 (ID),这是一种无需任何参数更新即可增强指令调整 LM 的方法。受噪声监督技术的启发,ID 使用“噪声指令”(原始指令的更改版本)来创建预测下一个标记的对比方法。通过将模型的输出引导到不同的方向,特别是使用“相反”指令,ID 可以提高跨任务的模型性能。实验表明,通过 ID 增强的较小模型的准确性明显优于较大模型。此方法提高了对指令的遵守程度并提高了整体响应质量,证明了其在各种模型和任务中的有效性。

指令调优的目标是微调预先训练的语言模型,使其更好地遵循自然语言指令,从而提高对未见过的任务的泛化能力,尤其是在零样本场景中。尽管模型通常严重依赖于预先训练的知识,但扩大训练任务的多样性和复杂性可以增强这种能力。先前的研究强调,语言模型对熟悉的指令很敏感,甚至处理误导性的指令,并且可以通过对比技术来利用这种敏感性。文本生成中的对比与对比解码一样,会比较不同模型或输入的输出以提高性能。这项研究通过使用噪声指令来增强指令调整 LM 的泛化能力,从而扩展了这些想法。

指令解码通过对比噪声指令生成的输出来改进指令调整模型中的响应生成。它建立在锚定效应的基础上,其中初始信息影响随后的判断,并利用原始指令和更改指令生成的响应之间的差异。该方法使用噪声指令变体(例如截断、打乱或随机单词)来误导模型,同时确保任务保真度。通过在解码过程中比较原始指令和噪声指令的逻辑,指令解码可以帮助模型纠正偏差并产生与预期指令更加一致的响应,从而改善其在未见过的任务上的性能。

实验设置使用 SUPNATINST 和 UNNATINST 数据集,跨语法错误纠正和文本蕴涵等任务评估 Tk-Instruct、Alpaca 和 T0 等模型。 Rouge-L、精确匹配 (EM)、标签粘附性 (LA) 和标签一致性 (LC) 指标评估性能。 ID 持续改善结果,特别是对于 Tk-XXL 等较大模型,增强 LA 和 LC。有趣的是,尽管基线性能下降,但嘈杂的指令通过 ID 提高了输出质量。尽管特定任务的性能各不相同,但“相反”指令变体在不同任务中证明是稳健的。总体而言,ID 在模型大小和任务类型方面显示出显着的增益。

该研究调查了指令调整语言模型中看不见的任务泛化的挑战。所提出的 ID 方法利用“噪声”指令的锚定效应来抵消固有的模型偏差。通过将预测与更改后的指令生成的预测进行对比,ID 可以增强模型性能,特别是对于与原始输入偏差最大的“相反”噪声变体。实证结果表明 ID 在多个任务中的有效性,并且预测多样性显着提高。该方法不需要额外的参数更新,使其成为改善语言模型指令跟踪的实用工具。

查看论文。这项研究的所有功劳都归功于该项目的研究人员。另外,不要忘记在 Twitter 上关注我们并加入我们的 Telegram 频道和 LinkedIn 群组。如果您喜欢我们的工作,您一定会喜欢我们的时事通讯。

别忘了加入我们的 50k ML SubReddit

以上是指令解码增强了指令调整语言模型,无需更新参数的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

英特尔市场 (INTL) 可能成为年度加密货币,卡尔达诺 (ADA) 持有者在硬分叉之前实现多元化 英特尔市场 (INTL) 可能成为年度加密货币,卡尔达诺 (ADA) 持有者在硬分叉之前实现多元化 Aug 25, 2024 am 03:49 AM

随着旁观资本开始进入,加密货币市场正在经历重大的情绪转变。由于对即将到来的反弹的预期,Near Protocol (NEAR) 和 Cardano (ADA) 等项目正在升温。

Shytoshi Kusama 暗示即将与 AI 项目 NFA Labs 合作 Shytoshi Kusama 暗示即将与 AI 项目 NFA Labs 合作 Aug 09, 2024 am 06:27 AM

草间弥俊 (Shytoshi Kusama) 是领导柴犬生态系统的神秘人物,引发了人们对即将与人工智能项目合作的猜测。

Coinbase 和 Tether 推出人工智能平台,为区块链领域的开发人员提供支持 Coinbase 和 Tether 推出人工智能平台,为区块链领域的开发人员提供支持 Oct 29, 2024 am 03:24 AM

Coinbase 的“Based Agent”平台和 Tether 的本地 AI SDK 旨在简化 AI 驱动的加密货币代理的开发。

苹果人工智能将改变游戏规则,人工智能币下周可能会上涨 苹果人工智能将改变游戏规则,人工智能币下周可能会上涨 Sep 09, 2024 am 03:15 AM

苹果已为周一发布 iPhone 16 做好准备,准备向 iPhone 消费者介绍生成式人工智能,大力推动生成式人工智能的发展

Firecoin 筹集 120 万美元,将人工智能驱动的代币洞察引入 TON 生态系统 Firecoin 筹集 120 万美元,将人工智能驱动的代币洞察引入 TON 生态系统 Oct 25, 2024 am 12:12 AM

投资加密货币市场可能非常有利可图,新代币偶尔可为投资者带来高达 160,000% 以上的年回报。

Launchpool孵化基于TON区块链的人工智能生态系统ONAI Launchpool孵化基于TON区块链的人工智能生态系统ONAI Aug 05, 2024 pm 03:32 PM

这种合作伙伴关系标志着将商业人工智能代理和自动化集成到 Web3 空间方面取得了重大进展。

Sui (SUI) 和 GoodEgg (GEGG):九月加密货币市场值得关注的两个有前途的项目 Sui (SUI) 和 GoodEgg (GEGG):九月加密货币市场值得关注的两个有前途的项目 Sep 12, 2024 pm 09:01 PM

随着加密货币市场面临波动趋势,精明的投资者开始将注意力转向具有韧性和增长潜力的新兴项目。由于对比特币(BTC)价格波动轨迹的担忧,

尽管有'死币”的说法,卡尔达诺(ADA)仍保持前十名,探索人工智能集成 尽管有'死币”的说法,卡尔达诺(ADA)仍保持前十名,探索人工智能集成 Aug 17, 2024 am 06:41 AM

近几个月来,卡尔达诺 [ADA] 面临批评,一些人因其价格趋势而将其贴上“死币”的标签。然而,尽管存在这种负面影响