CISO的噩梦:影子AI

发布时间 - 2023-10-30 14:30:15    点击率:716次

影子IT,即员工使用未授权IT工具的现象,在职场中已经存在了几十年。现在,随着生成式AI的野蛮生长,CISO开始意识到,他们正面临比影子IT更加可怕的内部威胁:影子AI。

对于企业来说,员工使用的影子AI(尤其是生成式AI)虽然可带来生产力的大幅提升,但由于生成式AI自身正面临提示注入等多种攻击,很可能给企业带来数据泄露、内容安全等新兴威胁。

此外,国内外的大语言模型正在大量IT系统中飞速普及,很多与应用程序集成的大语言模型可以访问外部资源(例如从其它网站检索内容),并且可能通过API调用与其他应用程序进行交互,摄入不受信任的、甚至恶意的输入,后者可用于操纵输出结果。因此,如果企业员工使用未经安全评估、审核的生成式AI工具,很有可能给企业带来意想不到的灾难性后果。

影子AI已成头号难题

根据Gartner的报告,2022年82%的数据泄露是“员工不安全或疏忽行为造成的”,而影子AI正在加速放大这种“人为因素”产生的威胁。

根据The Conference Board的一项调查,56%的北美企业员工在工作中使用生成式AI,但只有26%的企业制定了明确的生成式AI使用政策。在没有制订AI政策的企业中,使用影子AI的员工中只有40%向主管如实汇报。

很多公司都在尝试限制或规范员工在工作中使用生成式AI的行为。但是,在提高生产力的“第一性”需求刺激下,多达30%的员工在没有IT部门的许可,不计后果地使用生成式AI,也就是所谓的影子AI。

影子AI的治理难题

根据Gartner的报告,三分之一的成功网络攻击来自影子IT,给企业造成数百万美元的损失。此外,91%的IT专业人员表示在压力迫使下牺牲安全性来加快业务运营,83%的IT团队认为不可能强制执行(完全清除影子IT的)网络安全策略。

Gartner指出,尽管市场上有无数管控影子IT的安全解决方案(让员工更难访问未经批准的工具和平台),但去年仍有超过30%的员工报告使用了未经授权的通信和协作工具。

如今,影子AI的治理也面临同样的难题。

为了对付如雨后春笋且无处不在的影子AI,企业IT和安全主管可以实施一些经过验证的策略,找出未经授权的生成式AI工具,并在它们开始产生威胁之前将其拒之门外。CISO可以考虑采取的六大应对措施如下:

  • 发现。找出企业内未授权使用的生成式AI工具(尤其是研发和营销部门)。
  • 风险评估。对发现的影子IT和影子AI进行风险评估,确定它们可能带来的风险。
  • 意识培训。对员工进行生成式AI的专项安全意识培训,宣贯生成式AI的潜在风险以及合规性和安全性的重要性。
  • 制订生成式AI使用指南和规范,明确哪些技术和工具是被允许的,以及使用范围和方式。
  • 持续监控并定期审核评估企业中包括生成式AI在内的新技术和应用。
  • 优化与改进。不断改进预防和治理策略,以减少未来出现影子AI的可能性。

参考链接:

https://www.conference-board.org/press/us-workers-and-generative-ai

声明:本文来自GoUpSec

最新文章 第十二版《网络安全企业100强》发布 开源推荐算法为什么并不“可靠”? 虹膜写真风靡年轻人:小心泄露敏感个人信息 国内最大IT社区CSDN被挂马,CDN可能是罪魁祸首? Apache Struts文件上传漏洞 (CVE-2024-53677) 安全风险通告 工信部:关于防范新型勒索病毒Ymir的风险提示 美国报告揭示俄罗斯战略信息攻击:从攻击方法到战略效果 最危险的网络攻击:云勒索软件 个人信息保护合规审计:个人信息删除落地与审计 Forrester:Akamai创新微分段技术引领企业安全升级,实现 152%高ROI Fortinet发布《2025年网络威胁趋势预测报告》 揭秘四大威胁挑战 榜上有名!360入选2024年天津市网络安全应用场景优秀案例 只需一个暗号,即可戳穿语音克隆骗局 写在IDCC2024数字基础设施国际合作大会之前 IETF的运行方式及RFC的形成 《AI时代深度伪造和合成媒体的安全威胁与对策(2024版)》报告发布 UnitedHealth勒索软件攻击事件应吸取的六个备份教训 网络安全产品奥斯卡 2024年度赛可达优秀产品奖(SKD AWARDS) “危“”机“并存,五位网络安全大咖预警2025年安全态势 赋能智算未来,CDCE2024国际数据中心展12月5日上海璀璨开幕 俄罗斯黑客组织渗透和利用巴基斯坦黑客组织服务器案揭秘 国家安全部:警惕开源信息成为泄密源头 “清朗·网络平台算法典型问题治理”专项行动中的排名算法 游戏玩家请注意!Winos4.0木马已“潜伏” 2024 DAMS中国数据智能管理峰会即将在上海举办 WAF气数已尽? 网安巨头Palo Alto全球数千防火墙被攻陷:因开发低级错误造成零日漏洞 数字城市AI安全运营中心签约揭牌,360赋能长三角城市安全新篇章 勒索软件忙招人,2024年网络威胁五大新趋势 360发布全球首份《大模型安全漏洞报告》,曝光近40个大模型相关安全漏洞 值得关注的十二大网络安全风险评估工具及选型指南 俄黑客通过“近邻攻击”远程入侵美国企业WiFi网络 四校签约、六家授牌!360与河南高校再摘网络安全人才培育新果实 Apple多个在野高危漏洞在野利用通告 苹果官方警告:零日漏洞攻击瞄准Mac电脑用户 《密码法》颁布五周年:法治成效、实施难点与未来走向 27天!揭秘身份管理中凭证修复为何如此艰难? 微软“清理门户”,禁止杀毒软件访问Windows内核 云原生环境下的七大网络安全威胁及应对建议 ​透析恶意软件“四大家族”
在线客服
联系方式

热线电话

18556842815

上班时间

周一到周五

公司电话

027-85365976

二维码
线