首页 科技周边 人工智能 ChatGPT 在网络安全领域是把双刃剑

ChatGPT 在网络安全领域是把双刃剑

Apr 07, 2023 pm 02:57 PM
人工智能 chatgpt 开发

ChatGPT 是一个人工智能驱动的原型聊天机器人,旨在帮助广泛的用例,包括代码开发和调试。它的主要吸引力之一是用户能够以对话方式与聊天机器人进行交互,并获得从编写软件到理解复杂主题、撰写论文和电子邮件、改善客户服务以及测试不同业务或市场场景的所有帮助。但它也可以被用于更黑暗的目的。

自 OpenAI 发布 ChatGPT 以来,许多安全专家预测,网络犯罪分子开始使用 AI 聊天机器人编写恶意软件并执行其他恶意活动只是时间问题。像所有新技术一样,只要有足够的时间和激励,就会有人找到一种方法来利用它。仅仅几周后,时间似乎已经到了。网络犯罪分子已经开始使用OpenAI的人工智能聊天机器人ChatGPT来快速构建黑客工具。诈骗者还在测试ChatGPT构建其他聊天机器人的能力,旨在冒充年轻女性诱捕目标,

事实上,Check Point Research(CPR)的研究人员报告说,至少有三个黑帽黑客在地下论坛上展示了他们如何利用ChatGPT的人工智能智能进行恶意攻击。

在一个记录在案的例子中,以色列安全公司Check Point在一个很流行的地下黑客论坛上发现了一个黑客的帖子,发帖人说他正在试验使用流行的人工智能聊天机器人来“重新创建恶意软件”。

ChatGPT 在网络安全领域是把双刃剑

ChatGPT 允许用户提出简单的问题或建议,例如编写追踪来自托管服务提供商的电子邮件

黑客将由ChatGPT生成的 Android 恶意软件压缩后在网络上传播。据报道,该恶意软件能够窃取感兴趣的文件。另一个黑客展示了另一种工具,该工具能够在计算机上安装了后门,并可能用更多恶意软件感染电脑。

Check Point在对情况的评估中指出,一些黑客正在使用ChatGPT来创建他们的第一个脚本。在上述论坛中,另一位用户分享了一段使用ChatGPT编写的Python代码,可以将受害者电脑上的文件加密。虽然这些代码可以出于无害的原因使用,但Check Point表示,“ChatGPT生成的代码可以在轻松修改后就能实现完全加密受害者电脑上的文件,而无需任何用户交互。”。此外,还有黑客在地下论坛上发帖称,他使用ChatGPT创建了一段代码,该代码使用第三方API来检索最新的加密货币价格,该价格用于暗网市场支付系统。

这家安全公司强调,虽然ChatGPT编码的黑客工具看起来“非常基础”,但“更复杂的威胁行为者增强他们使用基于人工智能的工具的方式只是时间问题。”。美国网络安全公司Forescout的安全情报副总裁Rik Ferguson表示,ChatGPT似乎还没有能力编写像近年来在重大黑客事件中看到的主要勒索软件一样复杂的东西,例如Conti,因其用于破坏爱尔兰国家卫生系统而臭名昭著。然而,OpenAI的工具将通过构建更基本但同样有效的恶意软件来降低新手进入非法市场的门槛说。

网络情报公司Hold Security的创始人亚历克斯·霍尔登(Alex Holden)也表示,他看到约会诈骗者也开始使用ChatGPT,因为网络犯罪分子试图创造令人信服的角色。“他们正计划创建聊天机器人,以冒充大多数女孩试图实现自动化闲聊用于网络诈骗。”

ChatGPT的开发人员已经实现了一些恶意请求过滤,可以防止AI构建间谍软件的明显请求。然而,在安全分析师发现使用ChatGPT后可以在没有错别字的情况下编写语法正确的网络钓鱼电子邮件后,人工智能聊天框受到了更多的审查。

从编写恶意软件到创建暗网市场

在一个实例中,恶意软件作者在其他网络犯罪分子使用的论坛中披露了他如何试验 ChatGPT,看看他是否可以重现已知的恶意软件和技术。

攻击者成功实现的一个例子是,这个人分享了他使用 ChatGPT 开发的基于 Python 的信息窃取程序的代码,该窃取程序可以搜索、复制和泄露 12 种常见文件类型,例如来自受感染系统的 Office 文档、PDF 和图像。同一位恶意软件作者还展示了他如何使用ChatGPT编写Java代码来下载PuTTY SSH和telnet客户端,并通过PowerShell在系统上秘密运行它。

另一位威胁行为者发布了他使用聊天机器人生成的 Python 脚本,用于使用 Blowfish 和 Twofish 加密算法加密和解密数据。安全研究人员发现,尽管该代码可以用于完全良性的目的,但威胁行为者可以轻松对其进行调整,使其无需任何用户交互即可在系统上运行 - 在此过程中使其成为勒索软件。与信息窃取者的作者不同,一些攻击者的技术技能似乎非常有限,实际上声称他使用ChatGPT生成的Python脚本是他创建的第一个脚本。

在第三个实例中,安全研究人员发现一些网络犯罪分子正在讨论他如何使用ChatGPT创建一个完全自动化的暗网市场,用于交易被盗的银行账户和支付卡数据,恶意软件工具,毒品,弹药和各种其他非法商品。

零门槛即可生成恶意软件

ChatGPT 在网络安全领域是把双刃剑

自 OpenAI 发布 AI 工具以来,对威胁行为者滥用 ChatGPT 的担忧一直很普遍,许多安全研究人员认为聊天机器人大大降低了编写恶意软件的门槛。

Check Point的威胁情报组经理Sergey Shykevich重申,使用ChatGPT,恶意行为者需要没有编码经验来编写恶意软件:“你应该知道恶意软件或任何程序应该具有什么功能。ChatGTP将为您编写代码,以执行所需的功能。因此,短期的担忧肯定是ChatGPT允许低技能的网络犯罪分子开发恶意软件”Shykevich说。“从长远来看,我认为更复杂的网络犯罪分子也将采用ChatGPT来提高他们的活动效率,或者解决他们可能存在的不同差距。”。

“从攻击者的角度来看,人工智能系统生成代码的能力允许恶意行为者通过充当语言之间的翻译器来轻松弥合他们可能遇到的任何技能差距。”Horizon3AI客户成功经理Brad Hong补充道。这些工具提供了一种按需创建与攻击者目标相关的代码模板的方法,并减少了他们搜索Stack Overflow和Git等开发人员网站的需求。

甚至在发现威胁行为者滥用 ChatGPT 之前,Check Point 与其他一些安全供应商一样,展示了对手如何在恶意活动中利用聊天机器人。在一篇博文中,安全供应商描述了其研究人员如何仅通过要求 ChatGPT 编写一封似乎来自虚构网络托管服务的电子邮件来创建听起来非常合理的网络钓鱼电子邮件。研究人员还演示了他们如何让ChatGPT编写VBS代码,他们可以粘贴到Excel工作簿中,以便从远程URL下载可执行文件。

该测试的目的是演示攻击者如何滥用 ChatGPT 等人工智能模型来创建完整的感染链,从最初的鱼叉式网络钓鱼电子邮件到在受影响的系统上运行反向shell。

从目前的情况来看,ChatGPT 无法取代熟练的威胁行为者——至少现在还没有。但安全研究人员表示,有很多证据已经表明ChatGPT确实有助于低技能黑客创建恶意软件,这将持续引发公众对网络犯罪滥用该技术的担忧。

绕过ChatGPT 的限制

一开始,一些安全研究人员认为 ChatGPT 用户界面中的限制很弱,并发现威胁行为者可以轻松绕过障碍。从那以后,Shykevich表示,OpenAI一直在努力改善聊天机器人的限制。

“我们看到对ChatGPT用户界面的限制每周都高得多。因此,现在使用ChatGPT进行恶意或滥用活动更加困难,“他说。

但是网络犯罪分子仍然可以通过使用和避免某些允许用户绕过限制的单词或短语来滥用该程序。NCC集团商业研究总监马特·刘易斯(Matt Lewis)将与在线模型的互动称为一种涉及计算的“艺术形式”。

“如果你避免使用恶意软件这个词,只是要求它向你展示加密文件的代码示例,根据恶意软件的设计原理,这就是它将要做的事情,”刘易斯说。“它有一种喜欢被指示的方式,有一些有趣的方法可以让它以多种不同的方式做你想让它做的事情。”

在关于相关主题的一次演示中,Lewis 展示了ChatGPT 将如何“编写加密脚本”,尽管该脚本没有达到完整的勒索软件,但仍可能很危险。“这将是一个很难解决的问题,”刘易斯谈到绕过时说,并补充说,对于OpenAI来说,上下文和意图的监管语言将非常困难。

更复杂的是,Check Point研究人员观察到威胁行为者使用带有GPT-3模型 API 的Telegram机器人,称为text-davinci-003,而不是ChatGPT,以覆盖聊天机器人的限制。

ChatGPT只是OpenAI模型的用户界面。开发人员可以使用这些模型将后端模型与自己的应用程序集成。用户通过不受限制保护的 API 使用这些模型。

“从我们所看到的情况来看,OpenAI在ChatGPT界面上设置的障碍和限制对于那些通过API使用这些模型的人并不适用。”Shykevich说。

威胁参与者还可以通过精确地向聊天机器人提示来躲避限制。自ChatGPT推出以来,CyberArk已经对其进行了测试,并发现了限制中的盲点。通过反复坚持和要求,它将提供所需的编码产品。CyberArk研究人员还报告说,通过不断询问ChatGPT并每次渲染一段新代码,用户可以创建具备高度躲避检测的多态恶意软件。

多态病毒可能非常危险。已经有在线工具和框架可以生成这种病毒。ChatGPT 创建代码的能力对不熟练的编码人员和脚本小子三最有益的。

就攻击者而言,这不是一项新的能力......它也不是生成恶意软件变种的特别有效的方法,目前已经有更好的工具。ChatGPT 可能是一个新的工具而已,因为它允许技能较低的攻击者生成可能危险的代码。

让网络犯罪分子更难

ChatGPT 在网络安全领域是把双刃剑

OpenAI和其他类似工具的开发人员已经安装了过滤器和控件,并不断改进它们 ,试图限制对其技术的滥用。至少就目前而言,人工智能工具仍然出现故障,并且容易出现许多研究人员所描述的完全错误,这可能会阻止一些恶意努力。即便如此,许多人预测,从长远来看,滥用这些技术的可能性仍然很大。

Shykevich 说,为了使犯罪分子更难滥用这些技术,开发人员需要训练和改进他们的人工智能引擎,以识别可能以恶意方式使用的请求。他说,另一种选择是实现身份验证和授权要求,才能使用OpenAI引擎。他指出,即使是类似于在线金融机构和支付系统目前使用的东西也足够了。

至于防止犯罪使用ChatGPT,Shykevich 还表示,最终,“不幸的是,必须通过监管来执行。”OpenAI 已经实施了一些控制措施,防止了ChatGPT构建带有违反政策警告的间谍软件的明显请求,尽管黑客和记者已经找到了绕过这些保护措施的方法。Shykevich还说,像OpenAI这样的公司可能不得不在法律上被迫训练他们的AI来检测这种滥用行为。


本文翻译自:https://www.techtarget.com/searchsecurity/news/365531559/How-hackers-can-abuse-ChatGPT-to-create-malware

以上是ChatGPT 在网络安全领域是把双刃剑的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

ChatGPT 现在允许免费用户使用 DALL-E 3 生成每日限制的图像 ChatGPT 现在允许免费用户使用 DALL-E 3 生成每日限制的图像 Aug 09, 2024 pm 09:37 PM

DALL-E 3 于 2023 年 9 月正式推出,是比其前身大幅改进的型号。它被认为是迄今为止最好的人工智能图像生成器之一,能够创建具有复杂细节的图像。然而,在推出时,它不包括

字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日消息,剪映是由字节跳动旗下脸萌科技开发的一款视频剪辑软件,依托于抖音平台且基本面向该平台用户制作短视频内容,并兼容iOS、安卓、Windows、MacOS等操作系统。剪映官方宣布会员体系升级,推出全新SVIP,包含多种AI黑科技,例如智能翻译、智能划重点、智能包装、数字人合成等。价格方面,剪映SVIP月费79元,年费599元(本站注:折合每月49.9元),连续包月则为59元每月,连续包年为499元每年(折合每月41.6元)。此外,剪映官方还表示,为提升用户体验,向已订阅了原版VIP

微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 Jun 11, 2024 pm 03:57 PM

大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合

为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 Jul 25, 2024 am 06:42 AM

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

SOTA性能,厦大多模态蛋白质-配体亲和力预测AI方法,首次结合分子表面信息 SOTA性能,厦大多模态蛋白质-配体亲和力预测AI方法,首次结合分子表面信息 Jul 17, 2024 pm 06:37 PM

编辑|KX在药物研发领域,准确有效地预测蛋白质与配体的结合亲和力对于药物筛选和优化至关重要。然而,目前的研究没有考虑到分子表面信息在蛋白质-配体相互作用中的重要作用。基于此,来自厦门大学的研究人员提出了一种新颖的多模态特征提取(MFE)框架,该框架首次结合了蛋白质表面、3D结构和序列的信息,并使用交叉注意机制进行不同模态之间的特征对齐。实验结果表明,该方法在预测蛋白质-配体结合亲和力方面取得了最先进的性能。此外,消融研究证明了该框架内蛋白质表面信息和多模态特征对齐的有效性和必要性。相关研究以「S

布局 AI 等市场,格芯收购泰戈尔科技氮化镓技术和相关团队 布局 AI 等市场,格芯收购泰戈尔科技氮化镓技术和相关团队 Jul 15, 2024 pm 12:21 PM

本站7月5日消息,格芯(GlobalFoundries)于今年7月1日发布新闻稿,宣布收购泰戈尔科技(TagoreTechnology)的功率氮化镓(GaN)技术及知识产权组合,希望在汽车、物联网和人工智能数据中心应用领域探索更高的效率和更好的性能。随着生成式人工智能(GenerativeAI)等技术在数字世界的不断发展,氮化镓(GaN)已成为可持续高效电源管理(尤其是在数据中心)的关键解决方案。本站援引官方公告内容,在本次收购过程中,泰戈尔科技公司工程师团队将加入格芯,进一步开发氮化镓技术。G

SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 Aug 01, 2024 pm 09:40 PM

本站8月1日消息,SK海力士今天(8月1日)发布博文,宣布将出席8月6日至8日,在美国加利福尼亚州圣克拉拉举行的全球半导体存储器峰会FMS2024,展示诸多新一代产品。未来存储器和存储峰会(FutureMemoryandStorage)简介前身是主要面向NAND供应商的闪存峰会(FlashMemorySummit),在人工智能技术日益受到关注的背景下,今年重新命名为未来存储器和存储峰会(FutureMemoryandStorage),以邀请DRAM和存储供应商等更多参与者。新产品SK海力士去年在

SearchGPT:开放人工智能用自己的人工智能搜索引擎挑战谷歌 SearchGPT:开放人工智能用自己的人工智能搜索引擎挑战谷歌 Jul 30, 2024 am 09:58 AM

开放人工智能终于进军搜索领域。这家旧金山公司最近宣布了一款具有搜索功能的新人工智能工具。 The Information 于今年 2 月首次报道,该新工具被恰当地称为 SearchGPT,并具有 c

See all articles