文/张晋

(资料图)

ChatGPT风险引关注

近几个月，关于人工智能聊天机器人ChatGPT的热议愈演愈烈，通过自然语言处理, ChatGPT不仅可以理解命令和读取代码，还可以提供实际的见解和补救建议。强大的信息数据处理能力在大幅提高工作效率的同时，也带来了难以预料的风险。先是马斯克、图灵奖得主等一众大佬签署公开信、联名呼吁暂停大型AI研究。之后，欧洲执法机构和消费者保护组织也先后拉响对ChatGPT潜在危害的警报。意大利个人数据保护局也宣布，暂时禁止使用ChatGPT，并表示已对开发该产品的OpenAI公司展开调查。韩国三星公司更是要求员工向 ChatGPT 提问的上传容量限制在 1024 字节以内。

上述一系列事件的起因可能是ChatGPT发生了数据泄露事件，例如三星声称，在引入 ChatGPT的不到20天内，发生了 3 起机密数据泄漏事件，其中涉及三星半导体设备测量资料、产品良率等信息。此外，OpenAI对使用者并未设置严格的门槛，任何人都可以使用ChatGPT，有监管者担心其内容会对未成年产生不良诱导。

国外有研究报告表明，已经出现了网络犯罪分子使用OpenAI开发恶意工具的实例。事实上，许多使用 OpenAI 的网络犯罪分子根本没有开发技能。但是通过ChatGPT，他们或许能够轻而易举的获得篡改程序、泄露数据、恶意攻击的开发代码，甚至可以获取地下暗网的加密货币价格，用于毒品、枪支武器等市场交易。

人工智能可以用来尝试识别新的风险威胁对象，但技术本身也可能成为风险的来源。

AI的潜在风险

近年来随着数据质量和数量的极速增加，以机器学习（Machine Learning）为代表的AI技术被广泛应用在自然语言处理、视觉语音识别、多媒体处理等多个领域，与机械制造业、通信业、服务业深度融合。然而，在实际落地场景中，机器学习模型逐渐暴露出各种的不确定性，导致难以预知的风险。

机器学习范式下AI应用存在的结构性缺陷，这一缺陷可以说贯穿于AI全生命周期。通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为“常用手段”。除了这一类算法漏洞，隐私数据的暴露也带来不可忽视的风险。事实上，AI和机器学习系统比我们想象的更容易被愚弄，也就是人们经常吐槽的“人工智能变成人工智障”，具体来看，这其中包含“攻击风险”和“非攻击风险”。

攻击风险

“攻击风险”是指人为主动破坏人工智能学习规则的事件发生，包括窃取攻击、药饵攻击、闪避攻击、逆向攻击、模仿攻击等，导致窃取底层算法、扰乱系统、个人获利等。

例如，前不久全球最大轻博客app Tumblr宣布通过AI系统来识别和管控黄暴内容，就有用户将身体染成绿色，并添加猫头鹰图片以干扰人工智能对图片内容的识别，以此来逃逸平台审核。

有黑客曾在地下论坛中分享了如何在ChatGPT帮助下获得基于 Python 的窃取程序的代码，该窃取程序首先搜索常见的文件类型，并复制到 Temp 文件夹中任意文件夹，压缩后上传至FTP 服务器。这种行为可将任意文件复制到临时目录，压缩后通过 Web 发送至任何人、任何公司。

网络犯罪分子展示了他如何使用ChatGPT创建信息窃取器

非攻击风险

“非攻击风险”是指机器学习系统失效，无任何人为的、对抗性的篡改。例如，Open AI训练机器学习系统玩划船游戏，并奖励获得高分的行为。但机器学习系统自行在循环中屡次击中相同目标，获取了更高的分数，而不是完成比赛。这种机器学习故障有可能是开发人员的错误代码造成的，在现实生活中或许会造成危险的后果。

机器学习和AI系统运行主要依靠数据、代码和软件，这与网络安全风险相似，对这类风险的管理能否涵盖在“网络安全保险”里呢？

网络安全保险与AI保险的差异

网络安全保险与AI保险有显著的差异。广义来看，网络安全保险涵盖信息安全、隐私责任以及业务中断等风险。但导致品牌损害、人身伤害和财产损失的AI事故则在传统网络安全保险责任之外。

网络安全保险能够包含一些由AI和机器学习造成的风险事故，比如：

模型窃取

人工智能公司OpenAI创建了一个自动生成文本的AI系统，但为了避免滥用导致虚假信息传播，该公司并未一开始就完全公开基础模型。然而，在OpenAI发布完整模型之前，其公司的两名研究人员重建了该算法并且未经许可擅自发布——这一行为不仅造成了公司知识产权和品牌形象受损，而且这一尚未完善的模型在发布之后可能会导致滥用，造成更严重的社会影响。在这种情况下，网络安全保险理论上是可以覆盖一部分隐私泄露的风险的。

数据泄露

在训练AI进行人脸识别和名称比对的研究中，研究人员需要根据一个人的名字就建立起其面部形态，并以此通过面部识别系统的检测。已有的研究成果已经能够实现87%的准确率。然而，这种情况如果发生在未经允许的场景下，就是对个人隐私的侵犯，也就是经过AI处理的个人隐私数据泄露——这一类型的风险也是传统的网络安全保险可以覆盖的。

然而，仍有一些AI和机器学习固有的故障风险是网络安全保险不承保的，例如：

AI失误造成的人身意外伤害

Uber的自动驾驶汽车在美国亚利桑那州造成一名行人死亡，因为其机器学习系统无法解释乱穿马路的行为。又如，2016年一辆特斯拉Model S未能在晴天下识别出白色卡车，导致两车相撞，特斯拉驾驶员死亡。这类事件大概率是不在网络安全保险的责任范围内的，因为此类事故的第三者责任通常属于除外责任。

无论是无人机包裹运送还是自动驾驶汽车，当AI图像识别系统在恶劣天气条件下发生故障，导致人身伤害——这些风险完全不在网络安全保险承保范围内。在上述第一个例子中，网络安全保险最多只能对于Uber因业务中断而遭受的任何类型的损失进行一部分补偿。

品牌形象损失

当A公司采购了B公司的AI系统作为本公司产品的重要技术基础时，当B公司的AI出现了异常，给A公司带来了名誉和品牌形象的损失，这种风险是无法预估的，现在有的网络安全保险方案也无法弥补A公司的损失。

财产损失

谷歌研究人员在一篇论文提到了类似的场景，即清洁机器人使用深度学习来探索其环境并获得房间布局，在这一过程中却意外地将湿拖把触碰电源插座，从而引发火灾——如果这个例子在现实生活中发生，清洁机器人制造商的网络安全保险很可能无法弥补损失。

从宏观视角来看，人工智能的使用在过去3年中增加了两倍，这必然是保险公司关注的新兴市场。当企业将AI系统置于业务中心时，就会不可避免地引入故障风险，导致数据泄露、品牌受损、财产损失、业务中断等，在某些情况下还会造成人身伤害。即使个别企业已经有能力解决一些人工智能的故障，风险防范方总是比攻击方更为困难，因为前者需要防范所有可能的情况，而后者只需要找到一个弱点利用。

建立AI风险管理体系的探索及困境

由于AI自身的发展和演变仍在快速发展变化中，针对其伦理治理和风险研究仍处于十分初期的阶段，全球各国针对该领域的探索主要集中在定性方面，正在法律法规方面逐步积累。以欧盟为首的各国正在积极制定人工智能战略，强调机器学习系统的安全性和隐私性等，例如，欧盟《通用数据保护条例》要求人工智能算法具备“可解释性”，数据主体有权获取算法决策的有关解释；ISO和NIST等标准组织正在制定可信的人工智能框架——这些正在发展的事件都会让人工智能保险的权责确定充满不确定性。

在AI定量风险管理方面，尚未有切实有效的工具和方法出现。从人工智能开发角度来看，软件测试是整个开发流程中必不可少的一个环节，也是目前在技术手段上的“事后风控”途径，即在AI系统开发后通过大量测试来监测程序的正确性和漏洞。但是，软件测试并不能检测人工智能算法预测错误的风险、决策的公平性风险以及决策的道德性风险等。

由于AI本身仍然是一个不断发展活跃的领域，它引起的相关风险自然也尚未明确，业内并没有可遵循的改善措施。仅仅依靠版权、IT产品责任划分和反黑客法是无法解决所有AI风险事故的。

保险公司与AI保险产品

因此，在供给侧方面，防范人工智能风险的技术工具尚未形成，现有的网络安全保险通常不涵盖机器学习系统保障，或者只是部分涵盖。法律方面对一领域的支持也十分有限，比如只有小部分提到了机器学习的版权、责任范围和反黑客法的应用等等。业内有专业人士提出，保险公司可以考虑推出专注于人工智能的保险。但该类产品面向客户是谁、具体涵盖哪些风险等问题都还有待商榷。

未来，这一领域的参与者将不仅只有保险公司，由于AI和机器学习的专业性较强，该领域保险业务开展时应当尽可能引入专业的第三方公司进行风险评估、设计保险方案和定价，最终由保险公司负责承保。