你聊什么网络给你推什么！如何应对数据泄露和数据投毒？华为及时发布了这么一份报告

作者|华为技术

来源|蓝血研究（lanxueyanjiu)

不知你是否有这样的经历，不管你搜过什么，或电话聊过什么，很快网络平台或电商就会给你推什么内容的广告，这让人非常恐慌，老感觉有一双神秘的眼睛在盯着自己。

这些具有AI功能的应用软件、输入法、WiFi等无疑是信息泄露的罪魁祸首，他们正举起高科技的镰刀，收割每一个目标用户。

9月14日，华为发布了《AI系统的网络安全治理实践——防护视角下保护AI系统的网络安全实践》。其告诉我们，不仅有数据泄露问题，还有更可怕的数据投毒。这些严重问题，平常老百姓是无能为力的，需要国家、政府和良知企业来推动实现网络安全，还大家一个清朗的网络环境。

华为为什么要发布这么一份报告呢？报告称，旨在分享应对AI系统（AISYSTEM）潜在网络安全风险的策略，并为AI全生命周期的各个阶段提供了缓解安全风险的工程实践思考。

这份报告的主要内容包括：人工智能各界关注与风险、华为人工智能发展与现状、华为人工智能网络安全治理实践、华为人工智能系统的网络安全防护实践等。

报告重点阐述了欧洲、美国和中国的人工智能安全立法情况，人工智能对国家治理、商业生态、文化与法律传统等提出了挑战，人工智能可能面临的主要风险包括数据安全风险（数据投毒、数据泄露）、模型安全风险、应用安全风险、算力底座安全风险等，要命的是，这些风险因素可以快速复制和迭代。

01

目的

02

范围

随着AI技术的应用场景不断推广和深化，AI系统的网络安全风险在持续变化，你聊什么网络给你推什么！如何应对数据泄露和数据投毒？华为及时发布了这么一份报告其网络安全防护策略也需要不断地推陈出新。本文描述了当前华为公司应对AI系统网络安全（CyberSecurityofAISystem）新风险的工程实践，并为华为公司客户和利益相关方提供参考。本文不包括AI的功能安全（AISafety）问题，如公平性、透明度、包容性等，也不包括AI技术在网络攻击中的滥用问题。

本文描述AI系统的网络安全工程实践，是从设计、开发、部署、运行等全生命周期的视角，保护AI系统的数据、模型、应用及算力底座等关键要素，目标是使得AI系统符合设计意图地可靠运行，有效应对人为操纵的威胁。

03

人工智能各界关注与风险

人工智能（ArtificialIntelligence，缩写为AI），亦称机器智能，指由人制造出来的机器所表现出来的智能。

人工智能自从1956年达特茅斯会议上提出概念，发展到现在近70年，经历了多次繁荣和低谷，直到上世纪九十年代后期开始，随着计算机成本的降低、以及互联网带来的数据规模的膨胀，开始进入了一个较为稳定的发展期。随着GPU等芯片带来了算力提升和深度学习的应用，人工智能在各方面都取得了突破，进入了一个全新的发展时期。2020年以后，在深度学习基础上发展起来的大模型成为人工智能最主要的研究范式，几乎在人工智能的各个领域上都表现出巨大的进步，尤其是生成式人工智能的成功，使得人工智能的应用领域大大扩展，通用人工智能（ArtificialGeneralIntelligence,AGI）也不再遥不可及。

从发展过程可以看出，算法、算力、数据是驱动人工智能发展的三个最主要的驱动力。而随着人工智能能力越来越强，甚至达到接近人类智能的水平，AI系统在网络安全方面带来的问题也越来越多，引发了人们对AI系统网络安全的广泛关注和思考。

而现阶段要确保AI系统的网络安全面临着巨大的挑战，若不引起足够重视，人工智能未来可能带来更多网络安全风险。华为公司呼吁多利益方共同参与并全面加强对AI系统的评估和监管，共同应对这些挑战，才能最终实现人工智能的长期可持续健康发展。

3.1世界各国人工智能安全法律立法情况

整体而言，人工智能技术储备、商业生态、文化与法律传统、所处的治理阶段等要素，都不同程度影响一国或地区的人工智能安全治理实践，因此，不同国家和地区的人工智能法律法规的制定和执行呈现一定的差异性。

3.1.1欧盟

欧盟人工智能治理以“卓越和信任”为主线，既推出产业发展政策，又同步推进伦理和监管规则，保障安全和基本权利。2021年4月，欧盟委员会提出《人工智能法》草案。经过多次谈判与修订，《人工智能法》于2024年7月12日刊登于欧盟公报，于2024年8月1日生效并将分阶段适用。

《人工智能法》对人工智能统一定义、全域适用、构建体系化的处罚机制，为全面性、系统性的监管治理提供法律依据。就风险分级而言，欧盟《人工智能法》将人工智能系统基于风险分为不同级别，每级风险都由一套预定义的监管工具来管理。就分类治理而言，欧盟针对类GPT大模型引入通用目的人工智能专门条款，并延续了风险分级管理思路，将通用人工智能模型进一步区分为是否存在系统性风险两类，并施以不同的合规义务。

3.1.2美国

美国联邦层面尚未出台系统性的人工智能安全法。2023年10月，白宫发布《关于安全、稳定和可信的人工智能行政令》构筑美国人工智能安全监管的蓝图。强调“管理联邦政府自身使用人工智能的风险，并提高其监管、治理和支持负责任使用人工智能造福美国人的内在能力”。出于国家安全考量，行政令首次提出有硬性监管效力的大模型政府报告要求，要求“存在重大安全风险的强大双重用途基础模型开发者”，向政府报告并分享安全信息、测试信息等。美国多个州，包括科罗拉多、佛罗里达、印第安纳、加州等也开始关注人工智能相关的立法，特别关注高风险人工智能系统开发者的义务等。此外，美国将人工智能技术视作国际战略竞争的关键科技因素，并将人工智能相关技术列入《关键和新兴技术清单》，明确相关人工智能技术属于对美国国家安全产生重要影响的关键和新兴技术。

3.1.3中国

2017年国务院《新一代人工智能发展规划》奠定中国人工智能法治发展的总基调，提出“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展”。规划在人工智能治理方面提出战略目标：一是到2025年，初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力；二是到2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。

目前，中国《网络安全法》、《数据安全法》、《个人信息保护法》等在涉及人工智能相关场景时可延伸适用。在规章层面，国家网信办联合有关部门，先后针对算法推荐服务、深度合成、生成式人工智能服务等不同应用领域进行针对性立法，保障人工智能健康发展、规范应用。

围绕AI治理，世界各国政府及产业界积极协作，发布OECD《AI原则》、欧盟《可信人工智能伦理指南》、联合国教科文组织《人工智能伦理问题建议书》、中国《全球人工智能治理倡议》、《人工智能全球治理上海宣言》等国际共识。2023年11月，中、美、德、法、英、日、欧盟等29个国家和地区在英国共同签署《布莱奇利宣言》，特别强调AI治理国际合作的重要性。AI网络安全（Security）治理与管理、风险管理、数据保护等内容作为上述国际共识的重点内容，也是相关国际标准化工作的重点。

3.3人工智能面临的安全风险

随着人工智能技术日益广泛地应用于社会生产与人类生活，人工智能带来的新型风险日益受到研究与关注。

3.3.1数据安全风险

——数据投毒

数据投毒是指恶意行为者在模型训练阶段集中注入恶意或经过精心设计的数据样本，使模型在训练后产生特定的错误行为或后门，导致模型在正常输入下表现正常，但在遇到特定触发条件时产生预期之外的行为。

数据投毒产生的原因是海量和多源的数据增加了数据审核的难度，而模型的黑箱特性进一步加大了检测投毒的复杂性。同时，恶意行为者的利益驱动和部分开发者对数据安全意识的不足，也为此类威胁提供了可乘之机。数据投毒对模型构成了严重的安全风险，例如在医疗诊断、金融交易和自动驾驶等应用中，可能导致严重的安全事故或经济损失。此外，一旦发现模型被投毒，可能需要耗费大量资源重新收集数据和训练模型，影响模型提供方的开发效率和信任度。

——数据泄露

数据泄露是模型相关的敏感信息被未授权访问、使用或泄露。具体包括通过模型反向工程泄露训练数据，模型错误输出暴露个人身份等敏感信息，模型本身的结构和参数被窃取或滥用。

造成数据泄露的根本原因是模型具有强大的特征提取和记忆能力，数据泄露可能导致个人隐私被侵犯、身份信息被盗用，以及商业机密的泄露。例如在医疗和金融等敏感领域，这种风险可能造成严重的法律问题。

3.3.2模型安全风险

——对抗样本

对抗样本是针对模型的最典型威胁，它是一种通过对输入数据添加微小的扰动，使模型产生错误输出的技术，例如在大熊猫图片添加噪声后被模型识别为长臂猿。

对抗样本的主要原因为高维数据的复杂性使得模型的决策边界变得高度非线性和不连续，造成模型对微小扰动的敏感性。同时，有限的训练数据使模型在面对分布外样本时表现不稳定。此外，传统的优化目标主要关注训练误差的最小化，而忽视了对抗样本的威胁。这些因素共同作用，造成了模型在面对精心设计的扰动时容易产生错误判断，暴露了当前模型在鲁棒性和泛化能力方面的不足。

对抗样本对模型的安全应用构成了严重威胁，其影响范围涵盖了多模态领域，包括视觉、听觉和文本处理系统。在视觉领域，自动驾驶车辆可能误读被篡改的交通标志，安检系统可能忽视经过精心处理的危险物品图像。听觉方面，语音助手可能被隐藏在背景音中的对抗指令操纵。人脸识别和生物特征识别系统面临被精心设计的图像或视频欺骗的风险。

在生成式人工智能（AIGeneratedContent，简称AIGC）时代，多模态对抗样本可能导致大模型输出恶意行为者可控的有害内容。例如，经过处理的图像输入可能引导模型生成包含违法或危险行为指导的文本描述。视频生成模型可能被操纵制作令人不安或具有误导性的深度伪造内容。音频生成系统可能被诱导创建虚假的语音消息或模仿特定人物的声音。

多模态对抗样本产生的内容如果广泛传播，会造成信息混乱，特别是在跨模态内容理解和生成方面，对抗样本的威胁更加隐蔽和难以检测，为滥用和欺诈行为提供了新的途径。这种多维度的安全风险，突显了在人工智能发展中加强多模态对抗样本防御的紧迫性和重要性。

——提示词注入风险

AIGC的快速发展引入了新的安全威胁，提示词（prompt）注入攻击是其中最典型的风险。提示注入攻击指恶意行为者通过巧妙构造输入文本，来操纵大模型执行非预期或潜在有害操作的一种恶意行为方法。提示词注入一般分为直接注入和间接注入，直接注入又称为“越狱”攻击，使大模型输出不安全内容。间接注入指恶意行为者劫持模型原本的任务，操纵模型的输出。

提示词注入的主要原因为大模型对指令的高度敏感性和灵活性。尽管大模型在语义理解方面表现出色，可以适应广泛的输入和指令，但这种灵活性可能被恶意利用。恶意行为者可以巧妙构造提示词，通过利用大模型对上下文的敏感性和对指令的忠实执行特性，来操纵大模型的行为。

此外，模型在处理复杂、多层次或潜在矛盾的指令时可能存在挑战，这为恶意行为者提供了可利用的空间。虽然模型具有强大的语义理解能力，但在区分正常请求和恶意指令方面仍面临困难，特别是当这些指令巧妙地融入正常文本中的时候，恶意行为者可以巧妙构造恶意文本来操纵大模型的行为。

提示词注入对大模型构成了广泛的安全风险，涉及文本、图像、音频等多模态内容。这种恶意行为可能导致敏感信息泄露、系统执行未授权操作、生成误导性或有害内容，以及利用第三方应用漏洞进行欺诈。在多模态场景中，攻击者可能通过在图像中隐藏文本、在音频中嵌入指令或操纵视频内容来实施攻击，增加了检测和防御的难度。恶意行为者能够通过直接或间接方式注入恶意提示，甚至在用户不知情的情况下触发有害行为。

3.3.3应用安全风险

——智能体安全风险

智能体（Agent）是一种能够感知环境、进行决策和执行动作的智能实体。随着大模型的能力增强，大模型可以充当智能体的大脑，通过规划、记忆、工具执行等组件完成各种复杂任务。

大模型智能体的安全风险是指通过提示词注入或对抗样本的方式，让大模型规划出恶意的任务序列，或生成并执行恶意的指令。这类风险产生的主要原因为大模型无法区分输入prompt中的数据和指令，例如命令大模型阅读网页的评论并进行总结，这种场景下网页评论是数据，但如果评论中含有恶意的prompt指令，如发送照片到某个邮箱，则大模型在处理这个评论时，可能会规划出恶意的任务并执行。

大模型智能体的安全风险可能导致严重的危害，例如造成实际的资金损失，泄露重要的个人数据等。大模型智能体往往具备访问或操作系统的敏感权限，会进一步加剧传统网络安全的风险，例如智能体可被诱导访问挂马网站，然后恶意行为者通过浏览器漏洞入侵手机或PC。

——应用框架安全风险

AI应用框架是AI系统重要的组成部分，AI应用框架存在网络安全漏洞可导致AI系统被恶意行为者控制。这类问题的原因是模型的输入输出往往需要插件和工具进行辅助处理。例如AI系统在处理数学运算请求时，会调用并执行AI应用框架的科学计算工具获得精确结果。如果相关插件和工具存在命令注入漏洞或权限配置不当，就会导致攻击者执行恶意代码。

针对AI应用框架的恶意行为可能导致严重的后果，恶意行为者通过注入并执行恶意代码可以完全控制AI系统，造成模型文件等敏感信息泄露、盗取用户资产、传播恶意软件或AI系统拒绝服务等风险

3.3.4算力底座安全风险

——硬件层安全风险

利用侧信道技术，从硬件环境，包括CPU、GPU/NPU、DPU，乃至通信的PCIE硬件，窃取关键模型信息。基于侧信道的模型窃取主要是在模型部署运行过程中通过操作系统或硬件等额外信息推断目标模型的机密属性，因此侧信道威胁的主要风险是模型属性推断，而一般恶意破坏者最有兴趣的模型属性就是目标模型架构信息。基于侧信道的模型窃取风险包括Cache侧信道、能耗侧信道、时间侧信道、PCIE侧信道和GPU侧信道等。

——操作系统层安全风险

如同其他类似的软件系统一样，AI系统运行也依赖于底层的操作系统、驱动等系统软件的支持。很多应用层软件不保护其模型，即使对于那些保护和加密模型的应用程序，恶意行为者能够通过简单的动态分析技术从应用层中提取模型。因此，当权限配置不当，或恶意破坏者利用漏洞等技术获取到较高的系统权限后，即可窃取许多商业产品中的模型，包括用于人脸识别、活体检测、身份证/银行卡识别和恶意软件检测等场景模块。在AI计算环境中，普遍采用GPU/NPU加速模型（训练/推理）运算。因此，恶意行为者也可利用特定GPU驱动中潜在的漏洞，从而实现代码执行、权限提升、模型窃取和数据篡改等恶意行为。

——第三方件安全风险

当前AI领域已经演化成为了复杂的生态，AI计算环境中往往包含着大量不同的软件组件，从而有可能成为潜在的威胁面。例如，AI系统中存在着大量的开源、第三方组件。恶意行为者完全可以通过找到组件的0day或未及时修补的漏洞，实现代码执行、模型窃取等恶意行为。此外，当前AI计算生态中普遍采用docker等容器技术来简化训练、部署、推理的流程，并利用KubeFlow框架将机器学习任务部署到Kubernetes集群中。而Docker却长期面临着文件系统隔离、进程与通信隔离、设备管理与主机资源限制、网络隔离和镜像传输等方面的安全威胁，稍有配置不当，就会导致容器逃逸、权限滥用等恶意行为，直接威胁到AI的关键模型与训练数据。

3.3.5风险持续演进

随着生成式人工智能（AIGC）的发展，AI逐渐变为持续运营的在线服务。上述的数据、模型、AI应用和算力底座面临的网络安全风险，将不仅仅局限于开发、部署阶段，而是长期存在于AI系统的运营阶段，面临着恶意行为方法持续演进、快速迭代和动态攻防的严峻挑战。

04

华为公司人工智能发展与现状

华为人工智能模型从2012年成立诺亚方舟实验室开始，到2024年发布基于全栈自研技术开发的盘古系列大模型盘古5.0，构建三个层次的系列大模型：

1.L0层：基础大模型，包括盘古语言大模型、盘古多模态大模型、盘古视觉大模型、盘古预测大模型、盘古科学计算大模型；

2.L1层：行业大模型，基于各行业公共数据，在基础大模型上训练得到的为行业应用服务的大模型；

3.L2层：场景大模型，在各行业大模型和基础大模型的基础上，为各个具体应用场景进行专门训练得到的大模型。

盘古系列大模型的分层架构如下图所示：

华为公司致力于基于自研技术的全栈AI软硬件平台的路线，2018年推出昇腾310芯片，发布模组、标卡、小站全系列推理产品，2020年发布AI开发昇思MindSpore开源工具，2023年AI集群的首个万卡集群发布，经过多年的发展，华为公司开发出昇腾（Ascend）芯片、昇腾(Ascend）硬件、异构计算架构（CANN）、昇思（MindSpore）AI模型开发框架、AI应用开发使能工具等。

昇腾AI产业(简称昇腾AI/昇腾)以自研AI软硬件平台为基础提供人工智能算力。昇腾AI产业坚持“硬件开放、软件开源、使能伙伴、发展人才”，联合技术和商业伙伴，打造“共建、共享、共赢”的人工智能产业，致力于让AI“用得起、用得好、用得放心”，以人工智能赋能社会发展与产业升级，为人类社会发展带来价值。

华为公司为社会积极贡献华为的智慧，每年在NeurIPS、ICML、CVPR、ACL等国际顶会上有200-300篇论文发表，近期数次在优化理论、模型量化、优化器、生成模型理论等方面获得大会最佳和优秀论文奖。

随着人工智能越来越强，人工智能在网络安全方面带来问题和挑战也日益受到广泛关注。华为公司AI系统涉及到多个业务领域，一方面人工智能带来了巨大的机遇和效益，但另一方面也面临着人工智能的网络安全挑战，华为公司不断地探索保护AI系统的行之有效的方法，确保市场的合规准入和AI系统的安全做事，对此我们提出了切实可行的治理实践。

05

华为公司人工智能网络安全治理实践

网络安全风险管理考虑的因素和方法适用于AI系统的设计、开发、部署、评估和使用。网络安全和隐私保护风险也被视为更广泛的企业风险管理考虑因素的一部分，其中包含AI风险。

人工智能网络安全与隐私保护治理由华为公司成熟的网络安全与隐私保护组织体系负责，主要治理原则是：

安全为本：将支撑与保障客户和自运营业务的网络安全与隐私保护作为业务的基本要求来对待，并保证网络安全与隐私保护需求得到充分的资源投入。

合法合规：遵守国家法律法规和行业标准要求，确保AI业务的合法合规运行。

融入业务：网络安全与隐私保护保障活动需要融入到各相关业务的政策、流程、规范、基线中，使之成为业务的基因，为客户提供安全可信的产品、解决方案和服务，保障业务成功。

主管担责：各级业务主管是所辖业务网络安全与隐私保护的第一责任人，各级流程责任人是所辖流程网络安全与隐私保护的第一责任人。

全员参与：所有员工具备网络安全与隐私保护意识和能力，在自身业务中落实网络安全与隐私保护基本要求。每个员工都要对自己所做的事情和产生的结果负责，不仅要对技术负责，也要承担法律责任。

独立验证：信任应基于事实，事实必须可验证，而验证必须基于共同标准。在此基础上，基于“不假定任何事情，不相信任何人，检验所有应检查的事项”理念，分层进行独立评估与验证。

开放合作：秉承开放透明的态度，真诚地与客户、供应商、合作伙伴、行业组织等利益相关方积极开展网络安全与隐私保护沟通与合作，责任共担、能力共建、价值共享，共同应对网络安全与隐私保护威胁与挑战。

持续优化：网络安全与隐私保护是一个持续的风险管理和能力建设过程，不存在绝对的安全，也不存在一劳永逸的方案，需要适时审视不足，持续改进网络安全与隐私保护管理和技术措施的适宜性、充分性和有效性。

合规与风险管控：建设完善的网络安全与隐私保护合规体系，明晰合规责任，遵从所有适用的网络安全与隐私保护法律法规，一国一策，构建合规快速响应能力，风险受控不蔓延。

产品安全隐私保障：沿着E2E流程构筑产品安全可信，产品安全责任界面清晰，客户公平无歧视。

安全运营：基于“责任清晰、业务当责”和“分类管理、分级防护”的原则持续完善运营类业务的管理制度和流程，提升网络安全运维运营能力，强化落实执行、业务自查、内部独立监督检查，保障业务守法合规、安全运营。

沟通与信任构筑：“聚焦、务实、灵活有效”，通过沟通构筑信任，通过建立完善有效的沟通机制，获取利益相关方的信任，支撑业务开展。

在华为公司网络安全与隐私保护整体基调之下，遵循网络安全与隐私保护8大治理原则，落实网络安全与隐私保护的4大工作职责。结合业界标准和公司既有实践，采用治理加上嵌入式管理的工作方法，以实现AI网络安全风险管控和合规合法的目标，构建人工智能网络安全治理的架构。

5.2合法合规

伴随着AI技术的发展和爆发式的广泛应用，对AI的监管要求也逐步地完善起来，全球各地逐步发布了AI相关的法案。同时我们也注意到法律是复杂、多变而且持续变化的。华为公司遍布全球的法务专家持续地跟踪和识别适用的AI法律要求，并对它们进行标识和分类。基于法律要求，华为公司制定了自己的网络安全战略和合规政策，作为战略性框架和基线以保证网络安全合规要求被融入到我们端到端的业务实践以及产品生命周期管理中，从产品开发一直到服务交付和支持服务。确保华为公司AI系统遵从适用的国家和地区网络安全法规。

5.3治理管理

在治理管理上达到明确责任管控风险目标，通过深入的AI业务风险评估和分析，预防和减少AI业务中可能出现的网络安全和隐私保护问题，确定各方责任边界，并不断度量、验证和评估结果达成情况，同时基于AI业务主要场景进行应急危机演练，促进AI网络安全治理水平的持续提升。

5.3.1组织、职责与授权

为落实华为公司AI业务意图和治理原则，网络安全与隐私保护体系负责建立AI网络安全与隐私保护治理的长效机制，保障公司的AI产品、解决方案、服务以及各子公司的数据处理活动遵从适用的法律以及监管机构对AI网络安全与隐私保护的要求。网络安全和隐私保护体系包括研发、营销、服务、供应、采购和制造等，确保AI网络安全要求在全球各区域、全流程的有效落地实施。

为适配公司多业态的业务架构，在集团战略管控、防范系统风险的基础上，向业务单元和区域授权，支撑自主决策、独立运作。

5.3.2风险管理

基于外部法规&标准要求、利益相关方需求、技术发展趋势，结合企业各业务组织目标和需求，沿着各业务场景和业务流程、数据流，全面识别在业务管理中的AI风险。

建立AI风险评估标准，组织业务专家、法律专家、风险管理专家，从风险发生的可能性和影响程度分析，对风险进行全面评估，确定每个风险场景的风险等级，建立业务领域风险地图，聚焦优先级高的中高风险，确定可衡量和可量化的目标，投入重点资源进行保障。

基于AI风险消减目标，制定风险管理的短期措施和长效措施，建立业务规则、流程和IT、责任体系、技术规范、培训赋能等长效机制，重点聚焦将AI风险管理融入到公司各业务流程中，同时通过IT工具实现风险管理可视、可管、可追溯，提升风险管理的有效性。

建立AI风险管理的状态监控、评估和检查机制，设置度量指标，对AI风险的状态水平进行监控，各业务组织例行的自检、稽查识别AI风险管理措施的充分性和有效性，通过独立验证体系对AI系统安全能力落地进行验证。

5.3.3度量验证与监督

华为公司建立了端到端的网络安全保障体系，将网络安全、隐私保护及软件工程能力提升的要求融入到产品、解决方案、服务和运营类业务的全生命周期流程，涵盖产品开发过程与生命周期管理的各环节。

华为公司全面实施了多层的网络安全和隐私保护独立验证机制，持续验证交付给客户的产品、解决方案、服务和运营类业务并提供基于客观事实证据的验证结果，以促进网络安全与隐私保护管理体系持续改进，增强内外部利益相关方的信任与信心。

基于独立客观、多眼多手、专业尽责、持续改进和开放透明的原则，通过内外部组织持续构建AI测评标准、AI测评用例、AI测评平台，确保AI系统在其生命周期中各个环节符合网络安全标准和最佳实践。对AI系统进行网络安全风险识别和评估是AI测评的基础，AI网络安全测评应涵盖数据安全、模型鲁棒性、算法后门、对抗样本攻击、框架缺陷等多个方面。

华为公司已建立了AI网络安全测评体系，伴随着AI技术的持续演进和更为广泛的应用，测评体系会持续的优化完善，持续有效的地度量、验证并形成事实上的监督，为AI系统安全、可靠和负责任的使用保驾护航。

5.3.4应急处理

华为公司已建立了成熟的应急处理机制，通过危机演练提升业务部门在危机发生时的应对能力。演练预案需要明确划分各个角色的责任分工，在预设的事件演练过程中识别薄弱环节并持续进行改进。通过演练可能发生的各类AI网络安全事件，检验并优化应急预案，确保在发生真实AI网络安全事件时能够迅速、有效地应对。

5.4流程融入

华为公司参考国际法规、标准和优秀实践，在研发、营销、服务、供应、采购和制造等流程中逐步融入并持续优化AI网络安全治理要求，端到端全流程管控AI风险，最终达成AI系统的质量目标。

以研发IPD流程为例，在产品开发的“产品管理”阶段输出“产品AI治理要求定义”中明确网络安全与隐私保护要求，开展AI场景及应用风险分析，识别AI风险，规划消减需求，在其后系统设计、资料、集成验证、营销等环节落地风险消减需求和举措，实现风险消减。AI模型开发流程定义了从数据收集、入库、存储、训练、应用等数据生命周期规范和追溯要求，为AI数据真实、可追溯定义了执行标准，使AI开发过程有指导，过程可控。建立AI数据集和模型的元数据标准，基于产业特点进行适配优化并统一AI开发、构建工具链，实现AI作业过程全在线，构建从原始数据、数据集、模型和软件E2E可追溯能力，支持数据集可管控、模型可追溯。达成AI产品的开发全流程有指导，网络安全风险可控，AI产品发布时可销售、可交付、可运维。

5.5工程能力

华为公司制定了涵盖AI安全的工程能力建设框架，通过华为公司实践，持续构建网络安全工程能力，覆盖全栈安全防护技术，以软件安全工程能力为基石，重点推进数据安全工程能力和模型安全工程能力。数据安全工程能力包括但不限于数据的收集、存储、处理和传输等各个环节的安全防护措施，如采用先进的数据加密技术、访问控制机制和数据脱敏处理，以防止数据泄露、篡改和滥用，确保数据的完整性和机密性等。模型安全工程能力包含模型安全评估、对抗性攻击防御和模型加固等，提高AI模型的鲁棒性和抗攻击能力。

5.6开放合作

华为公司与用户、合作伙伴、监管机构等利益相关方保持开放沟通，共同推动AI安全治理的进步。通过开放的对话平台，促进信息共享，共同探讨和解决AI安全领域的挑战。通过跨学科、跨行业的协作，制定更为全面和前瞻性的AI安全标准和规范，以推动行业的共同进步。同时通过合作我们能够更好地理解AI在不同业务应用领域的安全需求和挑战，开发出更加安全、可靠的AI产品和服务。

06

华为公司人工智能系统的网络安全防护实践

由于AI自身机制原因导致数据、模型和应用等安全问题，仅仅通过单一手段难以有效控制风险，华为公司构建了多层次的防护护栏体系，确保合规准入和安全做事。（具体内容：略）

Tags： 你聊什么网络给你推什么！如何应对数据泄露和数据投毒？华为及时发布了这么一份报告

版权声明： 感谢您对【奚诗百科网】网站平台的认可，无特别说明，本站所有文章均归【奚诗百科网】平台所有，转载请说明文章出处“来源【奚诗百科网】”。 https://sptgyg.com/post/16289.html