算法浪潮服务器

ICS35.
080L77AIOSS中国人工智能开源软件发展联盟标准AIOSS—01—2018人工智能深度学习算法评估规范Artificialintelligence—Assessmentspecificationfordeeplearningalgorithms2018-07-01发布2018-07-01实施AIOSS-01-2018I目次前言III引言IV1范围12术语和定义13评估指标体系23.
1评估指标体系表23.
2算法功能实现的正确性43.
3代码实现的正确性43.
4目标函数的影响43.
5训练数据集的影响43.
6对抗性样本的影响43.
7软硬件平台依赖的影响53.
8环境数据的影响54评估流程54.
1概述54.
2确定可靠性目标64.
3选择评估指标74.
4评估准则74.
5各阶段评估84.
6评估结论85需求阶段的评估85.
1概述85.
2前提条件85.
3输入85.
4关键活动95.
5输出96设计阶段的评估96.
1概述96.
2前提条件96.
3输入96.
4关键活动96.
5输出107实现阶段的评估107.
1概述10AIOSS-01-2018II7.
2前提条件107.
3输入.
107.
4关键活动107.
5输出.
118运行阶段的评估118.
1概述.
118.
2前提条件118.
3输入.
118.
4关键活动118.
5输出.
12附录A(规范性附录)深度学习算法可靠性评估指标选取规则.
13附录B(资料性附录)深度学习算法可靠性评估实施案例.
15参考文献.
25AIOSS-01-2018III前言本标准按照GB/T1.
1—2009给出的规则起草.
请注意本文件的某些内容可能涉及专利.
本文件的发布机构不承担识别这些专利的责任.
本标准由中国人工智能开源软件发展联盟提出.
本标准由中国电子技术标准化研究院归口.
本标准负责起草单位:中国电子技术标准化研究院、中国科学院软件研究所、上海计算机软件技术开发中心、北京航空航天大学、华东师范大学、中国科学院计算技术研究所、军事科学院国防科技创新研究院、国防科技大学、卡索(北京)科技有限公司、北京百度网讯科技有限公司、浙江蚂蚁小微金融服务集团有限公司、深圳前海微众银行股份有限公司、顺丰科技有限公司、深圳市优必选科技有限公司、北京京东尚科信息技术有限公司、深圳赛西信息技术有限公司、数据地平线(广州)科技有限公司.
本标准主要起草人:薛云志、孟令中、崔静、张明英、张璨、周平、武斌、郭崎、刘畅、吴涛、李海峰、肖良、张超、于泉杰、宋俊典、戴炳荣、王长波、孙仕亮、陈美、李刚、潘欣、程思、刘志欣、刘新凯、王太峰、巢林林、袁杰、曹安然、尹思遥.
AIOSS-01-2018IV引言人工智能的迅速发展正在深刻改变人类社会生活、改变世界,其技术和应用正经历快速发展的阶段.
根据GB/T5271.
28-2001《信息技术词汇第28部分:人工智能基本概念与专家系统》中的定义,"人工智能是表现出与人类智能(如推理和学习)相关的各种功能单元的能力.
"机器学习是人工智能的核心技术之一,是使计算机具有智能的重要途径,其应用遍及人工智能的各个领域.
深度学习是机器学习的一个子集,发源于人工神经网络的研究,通常也称为深度神经网络,是一种基于数据进行表征学习的方法.
目前,深度学习算法在金融、安防、医疗等领域得到广泛应用,国务院发布的《新一代人工智能发展规划》中指出,人工智能进入新的发展阶段,"呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征.
"然而,业界缺乏对深度学习算法可靠性、可移植性、效率等的系统性评估方法,一定程度上影响着深度学习的广泛应用和技术发展.
本标准此版本仅针对人工智能深度学习算法的可靠性评估进行要求.
随着研究的深入及应用的发展,后续将不断进行持续改进,逐渐扩展到深度学习算法可移植性、效率等方面的评估.
中国电子技术标准化研究院作为国际标准化组织ISO/IECJTC1/SC42(人工智能分技术委员会)的国内技术归口单位,在本标准研制过程中,充分发挥了组织协调和技术方向把关作用.
标准编写组聚集了国内人工智能深度学习领域的技术专家,开展了多种形式的专题研讨和征求意见活动,在保证标准科学性、合理性和可行性的同时,也确保了标准研制过程的公开性和透明性.
本标准的研制工作,得到了中国人工智能开源软件发展联盟专家委员会的指导和支持,专家委员会主任委员、中国科学院院士、华东师范大学计算机科学与软件工程学院院长何积丰院士和各位专家对标准内容和文稿进行了深入严谨的讨论,给出了许多切实可行的意见,对标准质量提升和标准内容完善起到关键性作用.
使用帮助信息:任何单位和个人在使用本标准的过程中,若存在疑问,或有对本标准的改进建议和意见,请与中国电子技术标准化研究院(中国人工智能开源软件发展联盟秘书处)联系.
电话:010-64102848;电子邮件:aioss@cesi.
cn通信地址:北京东城区安定门东大街1号(100007)版权声明:本标准版权受法律保护,转载、摘编或利用其它方式使用本标准内容的,应注明出处.
违反上述声明者,本联盟将追究其相关法律责任.
为了推动本标准的持续改进,使其内容更加贴近用户组织的实际需求,欢迎社会各方力量参加本标准的持续改进,本标准的更多信息欢迎关注"中国人工智能开源软件发展联盟"公众号.
AIOSS-01-20181人工智能深度学习算法评估规范1范围本标准提出了人工智能深度学习算法的评估指标体系、评估流程,以及需求阶段评估、设计阶段评估、实现阶段评估和运行阶段评估等内容.
本标准适用于指导深度学习算法开发方、用户方以及第三方等相关组织对深度学习算法的可靠性开展评估工作.
2术语和定义下列术语和定义适用于本文件.
2.
1可靠性reliability在规定的条件下和规定的时间内,深度学习算法正确完成预期功能,且不引起系统失效或异常的能力.
2.
2可靠性评估reliabilityassessment确定现有深度学习算法的可靠性所达到的预期水平的过程.
2.
3算法失效algorithmfailure算法丧失完成规定功能的能力的事件.
2.
4危险hazard深度学习算法发生算法失效,从而导致机器学习系统出现的一个非预期或有害的行为,或者提交给其他与机器学习系统相关联的系统发生错误.
2.
5危险严重性hazardseverity某种危险可能引起的事故后果的严重程度.
2.
6查准率precision对于给定的数据集,预测为正例的样本中真正例样本的比率.
2.
7查全率recall对于给定的数据集,预测为真正例的样本占所有实际为正例样本的比率.
2.
8准确率accuracy对于给定的数据集,正确分类的样本数占总样本数的比率.
AIOSS-01-201822.
9响应时间responsetime在给定的软硬件环境下,深度学习算法对给定的数据进行运算并获得结果所需要的时间.
2.
10对抗性样本adversarialexamples在数据集中通过故意添加细微的干扰所形成输入样本,受干扰之后的输入导致模型以高置信度给出错误的输出.
2.
11置信度confidence总体参数值落在样本统计值某一区内的概率.
3评估指标体系3.
1评估指标体系表基于深度学习算法可靠性的内外部影响考虑,结合用户实际的应用场景,本标准给出了一套深度学习算法的可靠性评估指标体系.
本指标体系如图1所示,包含7个一级指标和20个二级指标.
在实施评估过程中,应根据可靠性目标选取相应指标.
AIOSS-01-20183图1深度学习算法可靠性评估指标体系AIOSS-01-201843.
2算法功能实现的正确性用于评估深度学习算法实现的功能是否满足要求,应包括但不限于下列内容:a)任务指标:用户可以根据实际的应用场景选择任务相关的基本指标,用于评估算法完成功能的能力;示例:分类任务中的查准率(见2.
6)、查全率(见2.
7)、准确率(见2.
8)等;语音识别任务中的词错误率、句错误率等;目标检测任务中的平均正确率等;算法在使用中错误偏差程度带来的影响等.
b)响应时间(见2.
9).
3.
3代码实现的正确性用于评估代码实现功能的正确性,应包括下列内容:a)代码规范性:代码的声明定义、版面书写、指针使用、分支控制、跳转控制、运算处理、函数调用、语句使用、循环控制、类型转换、初始化、比较判断和变量使用等是否符合相关标准或规范中的编程要求;b)代码漏洞:指代码中是否存在漏洞.
示例:栈溢出漏洞、堆栈溢出漏洞、整数溢出、数组越界、缓冲区溢出等.
3.
4目标函数的影响用于评估计算预测结果与真实结果之间的误差,应包括下列内容:a)优化目标数量:包括优化目标不足或过多.
优化目标过少容易造成模型的适应性过强,优化目标过多容易造成模型收敛困难;b)拟合程度:包括过拟合或欠拟合.
过拟合是指模型对训练数据过度适应,通常由于模型过度地学习训练数据中的细节和噪声,从而导致模型在训练数据上表现很好,而在测试数据上表现很差,也即模型的泛化性能变差.
欠拟合是指模型对训练数据不能很好地拟合,通常由于模型过于简单造成,需要调整算法使得模型表达能力更强.
3.
5训练数据集的影响用于评估训练数据集带来的影响,应包括下列内容:a)数据集均衡性:指数据集包含的各种类别的样本数量一致程度和数据集样本分布的偏差程度;b)数据集规模:通常用样本数量来衡量,大规模数据集通常具有更好的样本多样性;c)数据集标注质量:指数据集标注信息是否完备并准确无误;d)数据集污染情况:指数据集被人为添加的恶意数据的程度.
3.
6对抗性样本的影响用于评估对抗性样本对深度学习算法的影响,应包括下列内容:a)白盒方式生成的样本:指目标模型已知的情况下,利用梯度下降等方式生成对抗性样本;b)黑盒方式生成的样本:指目标模型未知的情况下,利用一个替代模型进行模型估计,针对替代模型使用白盒方式生成对抗性样本;c)指定目标生成的样本:指利用已有数据集中的样本,通过指定样本的方式生成对抗性样本;d)不指定目标生成的样本:指利用已有数据集中的样本,通过不指定样本(或使用全部样本)的方式生成对抗性样本.
AIOSS-01-201853.
7软硬件平台依赖的影响用于评估运行深度学习算法的软硬件平台对可靠性的影响,应包括下列内容:a)深度学习框架差异:指不同的深度学习框架在其所支持的编程语言、模型设计、接口设计、分布式性能等方面的差异对深度学习算法可靠性的影响;b)操作系统差异:指操作系统的用户可操作性、设备独立性、可移植性、系统安全性等方面的差异对深度学习算法可靠性的影响;c)硬件架构差异:指不同的硬件架构及其计算能力、处理精度等方面的差异对深度学习算法可靠性的影响.
3.
8环境数据的影响用于评估实际运行环境对算法的影响,应包括下列内容:a)干扰数据:指由于环境的复杂性所产生的非预期的真实数据,可能影响算法的可靠性;b)数据集分布迁移:算法通常假设训练数据样本和真实数据样本服从相同分布,但在算法实际使用中,数据集分布可能发生迁移,即真实数据集分布与训练数据集分布之间存在差异性;c)野值数据:指一些极端的观察值.
在一组数据中可能有少数数据与其余的数据差别比较大,也称为异常观察值.
4评估流程4.
1概述深度学习算法的可靠性评估流程如图2所示.
包括确定可靠性目标、选择评估指标、需求阶段的评估、设计阶段的评估、实现阶段的评估、运行阶段的评估及得出评估结论这七个活动.
AIOSS-01-20186图2深度学习算法的可靠性评估流程4.
2确定可靠性目标应运用以下步骤确定深度学习算法的可靠性目标:AIOSS-01-20187a)场景分析针对深度学习算法实现的功能发生算法失效从而导致软件系统产生一个危险时,需要对其所处的运行环境与运行模式进行描述,既要考虑软件系统正确使用的情况,也要考虑可预见的不正确使用的情况.
b)危险分析1)应通过多种途径开展有关深度学习算法失效的危险识别;如头脑风暴、专家评审会、质量历史记录和软件失效模式和影响分析等技术识别深度学习算法发生算法失效的危害;2)应识别危险的后果;如对环境或人员是否有伤害、需要完成的任务是否有影响等;3)危险事件应由运行场景和算法失效的相关组合确定;4)应以能在深度学习算法所在的软件系统层面观察到的输出来定义结果.
c)危险严重性等级评估针对每一个算法失效,应基于确定的理由来预估潜在危险的严重性等级.
危险严重性等级(见表1).
表1危险严重性等级危险严重性等级描述灾难级算法失效导致系统任务失败,或对安全、财产、环境和业务等造成灾难性影响.
严重级算法失效导致系统任务的主要部分未完成,或对安全、财产、环境和业务等造成严重影响.
一般级算法失效导致系统完成任务有轻度影响,或对安全、财产、环境和业务等造成一般影响.
轻微级算法失效导致系统完成任务有障碍但能够完成,或对安全、财产、环境和业务等造成轻微影响或无影响.
危险严重性等级的评估可以基于对多个场景的综合性考虑,同时危险严重性等级的确定应基于场景中有代表性的个体样本.
d)确定可靠性目标根据算法失效的危险严重性等级,建立深度学习算法的可靠性目标(见表2).
其中可靠性目标从高到低依次分为A、B、C、D四个级别.
表2深度学习算法的可靠性目标可靠性目标可靠性目标说明危险严重性等级对应说明A避免算法失效造成灾难级危险灾难级B避免算法失效造成严重级危险严重级C避免算法失效造成一般级危险一般级D避免算法失效造成轻微级危险轻微级4.
3选择评估指标不同可靠性目标的深度学习算法在各个阶段中选取的可靠性评估指标不同,因此在面向算法的需求阶段、设计阶段、实现阶段和运行阶段的可靠性评估过程中应确定与之对应的评估指标.
具体选取规则见规范性附录A.
4.
4评估准则开展可靠性评估工作应遵守以下准则:AIOSS-01-20188a)各阶段评估通过的准则应同时满足如下要求:1)依据规范性附录A选取的某一级指标下的二级指标全部通过;2)依据规范性附录A选取的某阶段的一级指标全部通过.
b)深度学习算法可靠性评估通过的准则应满足:面向算法需求阶段、设计阶段、实现阶段及运行阶段四个阶段的可靠性评估均通过.
4.
5各阶段评估各阶段评估工作应满足:a)面向深度学习算法的需求阶段、设计阶段、实现阶段、运行阶段四个阶段实施评估活动;b)通过当前阶段的评估是进入下一阶段评估的前提条件之一;c)四个阶段的评估活动有完整的顺序关系;d)各阶段评估活动的输入、关键活动及输出要求详见本标准第5至第8章;e)各阶段可靠性评估结果均应以阶段评估报告的形式进行输出,其内容至少应包括以下内容:1)深度学习算法的可靠性目标;2)开展可靠性评估的阶段名称;3)针对算法在该阶段开展可靠性评估工作所选择的评估指标及针对评估指标的评估结果;4)该阶段的可靠性评估结果.
4.
6评估结论面向深度学习算法的需求阶段、设计阶段、实现阶段及运行阶段四个阶段均通过评估,深度学习算法可靠性通过评估并达到目标要求;否则未通过评估.
5需求阶段的评估5.
1概述深度学习算法需求阶段是通过调研和分析,理解用户和项目应用的功能、性能等具体要求,最后确定算法应实现的功能性需求、非功能性需求和应满足的设计约束的阶段.
面向深度学习算法需求阶段的可靠性评估工作,指运用可靠性分析方法,通过对算法功能实现的正确性和软硬件平台依赖的影响等进行评估,以确定算法的需求满足可靠性目标要求.
5.
2前提条件开展本阶段可靠性评估工作前至少应完成获取深度学习算法的可靠性目标.
5.
3输入开展本阶段可靠性评估工作的输入至少应包括:a)软件系统的需求说明书;b)系统设计规范;c)软硬件接口规范;d)深度学习算法的需求;e)深度学习算法的功能概念,包括其目标、功能、运行模式及状态;f)深度学习算法的运行条件与环境约束.
AIOSS-01-201895.
4关键活动对应确定后的算法需求阶段的可靠性目标选取评估指标,并从以下关键活动中选取与评估指标对应的关键活动,实施评估工作:a)对算法功能实现的正确性进行评估:1)分析需求阶段设定的任务指标要求是否影响可靠性目标;2)分析需求阶段设定的响应时间要求是否影响可靠性目标.
b)对软硬件平台依赖的影响进行评估:1)分析深度学习框架差异对算法带来的影响;2)分析操作系统差异对算法带来的影响;3)分析硬件架构差异对算法带来的影响.
5.
5输出深度学习算法需求阶段的可靠性评估报告,评估报告要求见4.
5e).
6设计阶段的评估6.
1概述深度学习算法的设计阶段是根据算法需求阶段得到的需求分析,设计出满足设计约束并能够实现任务功能性需求、非功能性需求的深度学习目标函数及相应的算法,并选取合适的训练数据集的阶段.
面向深度学习算法设计阶段的可靠性评估工作,指运用分析或评审等方法,对算法功能实现的正确性、训练数据集的影响及目标函数等进行评估,以确定算法的设计满足可靠性目标要求.
6.
2前提条件开展本阶段可靠性评估工作前至少应完成:a)深度学习算法需求阶段的可靠性评估工作;b)深度学习算法的设计工作.
6.
3输入开展本阶段可靠性评估工作的输入至少应包括:a)深度学习算法需求阶段的可靠性评估报告;b)深度学习算法的可靠性评估目标;c)深度学习算法的功能说明;d)深度学习算法所在的软硬件系统的接口规范;e)深度学习算法的训练数据集;f)深度学习算法的设计说明.
6.
4关键活动对应确定后的算法可靠性目标选取评估指标,并从以下关键活动中选取与评估指标对应的关键活动实施评估工作:a)对算法功能实现的正确性进行评估:1)分析设计完成后任务指标要求是否满足需求阶段设定的相应要求;2)分析设计完成后响应时间要求是否满足需求阶段设定的相应要求.
AIOSS-01-201810b)对训练数据集进行分析:1)分析训练数据集是否存在不均衡情况;2)分析训练数据集规模是否满足训练需求;3)分析训练数据集标注质量是否满足训练需求;4)分析训练数据集是否受到污染.
c)对目标函数的影响进行分析:分析优化目标数量是否满足算法需求.
6.
5输出深度学习算法设计阶段的可靠性评估报告,评估报告要求见4.
5e).
7实现阶段的评估7.
1概述深度学习算法实现阶段是对算法设计阶段所设计的算法进行编程实现,包括利用数据集对深度学习算法的开展训练、测试与验证等活动.
面向深度学习算法实现阶段的可靠性评估工作,指运用分析和测试等方法,对算法功能实现的正确性、代码实现的正确性、目标函数的影响及对抗性样本的影响等进行评估,以确定算法的实现满足可靠性目标要求.
7.
2前提条件开展本阶段可靠性评估工作前至少应完成:a)深度学习算法设计阶段的可靠性评估工作;b)深度学习算法的实现工作.
7.
3输入开展本阶段可靠性评估工作的输入至少应包括:a)深度学习算法需求阶段的可靠性评估报告;b)深度学习算法设计阶段的可靠性评估报告;c)深度学习算法的可靠性评估目标;d)深度学习算法所在的软硬件系统的接口规范;e)深度学习算法的训练数据集;f)深度学习算法的对抗性样本;g)深度学习算法的设计说明;h)深度学习算法的功能说明;i)深度学习算法的源代码.
7.
4关键活动对应确定后的算法可靠性目标选取评估指标,并从以下关键活动中选取与评估指标对应的关键活动实施评估工作:a)对算法功能实现的正确性进行评估:1)验证算法实现后的任务指标是否达到需求阶段设定的相应要求;AIOSS-01-2018112)验证算法实现后的响应时间是否达到需求阶段设定的相应要求.
b)对代码实现的正确性进行评估:1)分析代码是否满足相应的编程规范或指南;2)验证代码是否存在漏洞.
c)对目标函数的影响进行评估:分析算法的拟合程度对算法可靠性的影响.
d)对对抗性样本的影响进行分析:1)分析白盒方式生成的样本对算法的影响;2)分析黑盒方式生成的样本对算法的影响;3)分析指定目标方式生成的样本对算法的影响;4)分析不指定目标方式生成的样本对算法的影响.
7.
5输出深度学习算法实现阶段的可靠性评估报告,评估报告要求见4.
5e).
8运行阶段的评估8.
1概述深度学习算法运行阶段是在实际应用场景下运行包含深度学习算法的软件系统的阶段.
面向深度学习算法运行阶段的可靠性评估工作,指针对实际运行环境使用的数据进行分析,对算法功能实现的正确性、软硬件平台的依赖影响和环境数据的影响等进行评估,以确定算法的运行满足可靠性目标要求.
8.
2前提条件开展本阶段可靠性评估工作前至少应完成:a)深度学习算法实现阶段的可靠性评估工作;b)深度学习算法在目标运行环境中的部署工作.
8.
3输入开展本阶段可靠性评估工作的输入至少应包括:a)深度学习算法的可靠性评估目标;b)深度学习算法需求阶段的可靠性评估报告;c)深度学习算法设计阶段的可靠性评估报告;d)深度学习算法实现阶段的可靠性评估报告;e)深度学习算法运行中使用的真实数据;f)包含深度学习算法的软件系统.
8.
4关键活动对应确定后的算法可靠性目标选取评估指标,并从以下关键活动中选取与评估指标对应的关键活动实施评估工作:a)对算法功能实现的正确性进行评估:1)验证算法运行时任务指标是否达到需求阶段设定的相应要求;2)验证算法运行时响应时间是否达到需求阶段设定的相应要求.
AIOSS-01-201812b)软硬件平台依赖对算法运行的影响:1)分析深度学习框架差异对算法带来的影响;2)分析操作系统差异对算法带来的影响;3)分析硬件架构差异对算法带来的影响.
c)分析环境数据对算法运行的影响:1)分析环境干扰数据对算法运行的影响,可以参考以下几个方面:-算法输入对象所处环境的复杂情况;-算法输入对象自身环境的复杂情况;-算法输入对象的传输过程的复杂情况;-算法输入对象的数据产品的复杂情况.
2)分析数据集分布发生迁移对算法运行的影响;3)分析野值数据对算法运行的影响.
8.
5输出深度学习算法运行阶段的可靠性报告,评估报告要求见4.
5e).
AIOSS-01-201813AA附录A(规范性附录)深度学习算法可靠性评估指标选取规则表A.
1给出了深度学习算法的可靠性评估指标的选取规则.
针对不同级别的的深度学习算法可靠性目标开展相关评估活动.
表A.
1选取规则阶段可靠性目标评估指标算法功能实现的正确性代码实现的正确性目标函数的影响训练数据集的影响对抗性样本的影响软硬件平台依赖的影响环境数据的影响任务指标响应时间代码规范性代码漏洞优化目标数量拟合程度数据集均衡性数据集规模数据集标注质量数据集污染情况白盒方式生成的样本黑盒方式生成的样本指定目标方式生成的样本不指定目标方式生成的样本深度学习框架差异操作系统差异硬件架构差异干扰数据数据集分布迁移野值数据需求阶段A------B------C------D------设计阶段A------B------C------D------AIOSS-01-201814表A.
1(续)阶段可靠性目标评估指标算法功能实现的正确性代码实现的正确性目标函数的影响训练数据集的影响对抗性样本的影响软硬件平台依赖的影响环境数据的影响任务指标响应时间代码规范性代码漏洞优化目标数量拟合程度数据集均衡性数据集规模数据集标注质量数据集污染情况白盒方式生成的样本黑盒方式生成的样本指定目标方式生成的样本不指定目标方式生成的样本深度学习框架差异操作系统差异硬件架构差异干扰数据数据集分布迁移野值数据实现阶段A--B--C--D--运行阶段ABCD注:""表示对于指定的深度学习算法可靠性目标,必须选择的二级指标;""表示对于指定的深度学习算法可靠性目标,推荐选择的二级指标.
"--"表示不适用.
AIOSS-01-201815BB附录B(资料性附录)深度学习算法可靠性评估实施案例表B.
1﹑B.
2分别给出人脸识别算法可靠性评估实施案例和行为检测算法可靠性评估实施案例.
表B.
1人脸识别算法可靠性评估实施案例深度学习算法名称人脸识别深度学习算法说明人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术.
其通过摄像机或摄像头采集含有人脸的图像或视频流,自动在图像中检测跟踪人脸,并在人脸数据库中进行人脸检索核实身份,此外还具备活体识别等能力.
人脸识别闸机系统将传统闸机设备集成人脸识别能力,用户在闸机处提供人脸影像进行人脸抽取,采集到的人脸进行云端人脸识别身份验证,闸机随识别验证结果做相应响应.
该系统将应用于世博会的门禁系统中.
算法可靠性评估方开发方用户方第三方第一阶段确定深度学习算法可靠性目标1.
1场景分析算法运行条件本地:硬件设备:智能摄像头,操作系统:Linux,深度学习框架:PaddlePaddleMobile,本地设备通过网络接入云端.
云端:硬件设备:GPUNvidiaP4,操作系统:CentOS7,深度学习框架:PaddlePaddleServing算法运行模式摄像头捕捉影像,将不同视频帧进行预处理,之后发送云端服务器中部署的人脸识别算法.
人脸识别首先判断视频帧中是否包含人脸,如果不存在人脸,切换到下个视频帧.
如果存在人脸,则判断是否存在遮挡以及是否为活体人脸.
如果存在遮挡等干扰,返回信息提醒除去遮挡物,展示真实人脸.
如果人脸正常,算法判断人的身份,如果算法判断的概率在99%以上,将判断结果发送给闸机,否则提示工作人员协助.
如果判断结果为"准入",打开人脸闸机.
否则报警.
正常运行场景1.
算法持续性接收摄像头前端传送的影像2.
有人接近摄像头,摄像头捕捉到影像3.
人脸识别算法判断身份,返回识别结果4.
用户以人脸作为身份识别凭证进行注册,通过闸机时通过摄像头提供人脸闸机随识别结果做相应响应可预见的异常场景1.
人脸存在如太阳镜、口罩等遮挡时的识别2.
用其他人的图片来请求人脸识别3.
相似度较高的人脸如双胞胎进行人脸识别1.
2危险分析算法失效序号算法失效说明识别方法1人脸存在如太阳镜、口罩等遮挡时的识别基于类似产品的历史数据2用其他人的图片来请求人脸识别头脑风暴3相似度较高的人脸如双胞胎进行人脸识别头脑风暴1.
3危险严重性等级评估算法失效序号后果危险严重性等级1导致重要参会人员无法正常进入会场,需要现场工作人员帮助一般2导致不法分子混入会场,可能造成严重后果严重3导致不法分子混入会场,可能造成严重后果严重AIOSS-01-201816表B.
1(续)1.
4确定可靠性目标危险严重性等级说明可靠性目标基于本人脸识别的算法会被应用到国际会议的门禁系统中.
会议的参会人员包括各国的政府领导人和商界领袖.
算法失效可能导致:1.
重要参会人员无法正常进入会场.
2.
不法分子混入会议,并造成恶劣的国际影响,所以归为严重级.
B第二阶段选择可靠性评估指标2.
1指标选择说明阶段名称选择的二级指标需求阶段查准率、查全率、准确率、响应时间、深度学习框架差异、操作系统差异设计阶段查准率、查全率、准确率、响应时间、优化目标数量、数据集均衡性、数据集规模、数据集标注质量实现阶段查准率、查全率、准确率、响应时间、代码规范性、代码漏洞、拟合程度、白盒方式生成的样本、黑盒方式生成的样本、指定目标方式生成的样本、不指定目标方式生成的样本运行阶段查准率、查全率、准确率、响应时间、深度学习框架差异、操作系统差异、干扰数据、数据集分布迁移2.
2评估准则说明a)各阶段评估通过的准则应同时满足如下要求:1)依据规范性选取的某一级指标下的二级指标全部通过.
2)依据规范性选取的某阶段的一级指标全部通过.
b)深度学习算法可靠性评估通过的准则应满足:面向算法需求阶段、设计阶段、实现阶段及运行阶段四个阶段的可靠性评估均通过.
第三阶段面向算法需求阶段的可靠性评估3.
1输入说明软件系统的需求说明书:人脸识别系统需求说明书-V1.
0软件系统设计规范:人脸识别系统设计规范-V1.
0软硬件接口规范:人脸闸机系统软硬件接口规范-V1.
0深度学习算法的需求说明书:人脸检测识别算法需求说明书-V1.
03.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果查准率查准率阈值预计为99.
9%以上,经专家评审和技术负责人确认满足需求;类似软件系统中的要求为99%以上,达到相应要求.
通过未通过查全率查全率阈值预计为99.
9%以上,经专家评审和技术负责人确认满足需求;类似软件系统中的要求为99%以上,达到相应要求.
通过未通过准确率准确率阈值预计为99.
9%以上,经专家评审和技术负责人确认满足需求;类似软件系统中的要求为99%以上,达到相应要求.
通过未通过响应时间响应时间阈值预计为20ms以内,经专家评审和技术负责人确认满足需求;类似软件系统中的要求为50ms以内,达到相应要求.
通过未通过一级指标评估结果通过未通过一级指标软硬件平台依赖的影响二级指标名称评估工作评估结果深度学习框架差异所选深度学习框架PaddlePaddle支持CPU、GPU多种设备及其混布计算,分布式训练和预测性能良好,提供C++和Python两种高层API易于使用,可以方便的进行Linux,IOS和Android移动端环境上的编译部署,满足适用性要求.
通过未通过操作系统差异移动端所使用操作系统为Linux,IOS或Android,云端所使用的操作系统类型为Linux,可以运行在CentOS7或者Ubuntu16.
04上,系统安全稳定.
对于其他版本有潜在移植风险的操作系统,亦可使用Docker进行服务部署,不存在因可移植导致失效的风险.
通过未通过一级指标评估结果通过未通过AIOSS-01-201817表B.
1(续)3.
3输出面向算法需求阶段的可靠性评估通过未通过第四阶段面向算法设计阶段的可靠性评估4.
1输入说明深度学习算法的训练数据集:全球人脸数据集-A深度学习算法的设计说明:人脸识别算法设计文档-V1.
04.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果查准率设计后的查准率阈值预计为99.
9%,经过评审,能够达到需求阶段设计的要求.
通过未通过查全率设计后的查全率阈值预计为99.
9%,经过评审,能够达到需求阶段设计的要求.
通过未通过准确率设计后的准确率阈值预计为99.
9%,经过评审,能够达到需求阶段设计的要求.
通过未通过响应时间设计后的响应时间阈值预计为12ms,经过评审,能够达到需求阶段设计的要求.
通过未通过一级指标评估通过未通过一级指标训练数据集的影响二级指标名称评估工作评估结果数据集均衡性数据集为"全球人脸数据集-A",数据包含1.
100个主要人口国家的人脸数据;2.
70%正脸,30%侧脸;3.
50%无遮挡,30%轻微遮挡,20%严重遮挡;4.
50%男性,50%女性;5.
0~18岁20%,18~40岁30%,40~60岁30%,60岁以上20%;6.
正常人脸80%,带有伤疤能不可除去遮挡20%.
通过未通过数据集规模数据集规模约为100万张.
其中利用50万张数据样本可以达到预期可靠性,并且无明显过拟合和欠拟合.
使用超过100万数据后,训练时间变长但算法效果无明显提升.
通过未通过数据集标注质量数据集中100%的数据完成标注,并且99.
99%的样本标注准确通过未通过一级指标评估通过未通过一级指标目标函数的影响二级指标名称评估工作评估结果优化目标数量通过与目前主流的类似算法的对比,现阶段优化目标数量不存在过少或过多的情况通过未通过一级指标评估通过未通过4.
3输出面向算法设计阶段的可靠性评估通过未通过AIOSS-01-201818表B.
1(续)第五阶段面向算法实现阶段的可靠性评估5.
1输入说明深度学习算法的对抗性样本数据集:人脸对抗样本集-A深度学习算法的源代码:人脸识别算法源码-V1.
05.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果查准率实现后的查准率99.
98%,经过评审,能够达到设计阶段设定的要求.
通过未通过查全率实现后的查全率为99.
97%,经过评审,能够达到设计阶段设定的要求.
通过未通过准确率实现后的准确率为99.
96%,经过评审,能够达到设计阶段设定的要求.
通过未通过响应时间实现后的响应时间为11ms,经过评审,能够达到设计阶段设定的要求.
通过未通过一级指标评估通过未通过一级指标代码实现的正确性二级指标名称评估工作评估结果代码规范性代码编写遵循GoogleC++/PythonCode-style代码规范,并使用cpp-lint/clang-format/yarf等工具进行了代码规范性的检查和补充完善.
通过未通过代码漏洞代码经由Pprof,valgrind和QA测试,测试覆盖率90%+.
通过未通过一级指标评估通过未通过一级指标目标函数的影响二级指标名称评估工作评估结果拟合程度训练过程,未出现显著过拟合或者欠拟合情况通过未通过一级指标评估通过未通过一级指标对抗性样本的影响二级目标名称评估工作评估结果白盒方式生成的样本生成样本数据2万个,抗噪性能提升90%.
通过未通过黑盒方式生成的样本生成样本数据2万个,抗噪性能提升80%.
通过未通过指定目标方式生成的样本生成样本数据2万个,抗噪性能提升90%.
通过未通过不指定目标方式生成的样本生成样本数据2万个,抗噪性能提升80%.
通过未通过一级指标评估通过未通过5.
3输出面向算法实现阶段的可靠性评估通过未通过第六阶段面向算法运行阶段的可靠性评估6.
1输入说明深度学习算法运行中使用的数据:实时采集摄像头捕捉的影像包含深度学习算法的软件系统:人脸识别系统-V1.
0AIOSS-01-201819表B.
1(续)6.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果查准率算法实际运行30天时间中查准率为99.
98%,经过评审,能够达到设计阶段设定的要求.
通过未通过查全率算法实际运行30天时间中查全率为99.
97%,经过评审,能够达到设计阶段设定的要求.
通过未通过准确率算法实际运行30天时间中准确率为99.
96%,经过评审,能够达到设计阶段设定的要求.
通过未通过响应时间算法实际运行30天时间中平均单次识别响应时间为11ms,经过评审,能够达到设计阶段设定的要求.
通过未通过一级指标评估通过未通过一级指标软硬件平台依赖的影响二级指标名称评估工作评估结果深度学习框架差异所选深度学习框架PaddlePaddle提供的C++接口和执行引擎易于编译集成到实际运行环境中,识别延迟在20ms内,满足设定的目标.
通过未通过操作系统差异实际运行阶段,算法运行在CentOS7中,系统可以稳定长时间运行,并无安全漏洞,不潜在失效的风险.
通过未通过一级指标评估通过未通过一级指标环境数据影响二级指标名称评估工作评估结果干扰数据算法实际运行30天时间中,测试了超过1万张实际人脸,未发生干扰数据影响算法正确运行的情况.
通过未通过数据集分布迁移算法实际运行30天时间中,实际输入数据集分布和训练测试数据集分布较为近似,系统未发生失效.
通过未通过一级指标评估通过未通过6.
3输出面向算法运行阶段的可靠性评估通过未通过第七阶段深度学习算法的可靠性评估评估结论面向深度学习算法的需求阶段、设计阶段、实现阶段及运行阶段四个阶段均通过评估,深度学习算法可靠性通过评估并达到B级目标要求.
AIOSS-01-201820表B.
2行为检测算法可靠性评估实施案例深度学习算法名称行为检测深度学习算法说明行为检测技术是对监控视频中装载货物的工作人员进行行为判断,是否出现对包裹进行扔、抛等不友好的暴力行为.
具体实现是通过对输入的视频单帧图像,首先检测图像中的人是否手拿包裹,以开始出现拿包裹的人图像作为起始帧,再对拿包裹的人进行轨迹追踪与行为分类,从而进行行为识别.
行为检测系统是将行为检测技术集成至一个小型高性能计算盒子中,场院的监控视频通过交换机传输到盒子后,搭载在盒子上的行为检测技术对监控视频进行行为识别,识别出来的结果传输到云端进行事件的管控(如预警).
现该系统已经运用在物流企业多个作业区域.
算法可靠性评估方开发方用户方第三方第一阶段确定深度学习算法可靠性目标1.
1场景分析算法运行条件本地:硬件设备:普通摄像头、高性能计算盒子(NVIDIATX21.
5TFlops)操作系统:Linux3.
10.
0,深度学习框架:Tensorflow1.
4.
0云端:硬件设备:48Coreintel,256G内存,2T浪潮服务器集群操作系统:CentOS,深度学习框架:Tensorflow1.
4.
0算法运行模式摄像头捕捉到监控视频后,通过交换机传输到盒子后,搭载在盒子上的行为检测技术对监控视频进行实时行为检测,检测出来的结果传输到云端进行事件的管控(如预警).
行为检测整体算法流程可分为数据准备、检测和行为分类三个阶段.
数据准备包含了数据收集、数据标注和数据预处理三个步骤.
数据收集即对原始监控视频的采集;数据标注则是标出监控视频图像中所有接触货物和不接触货物的两类行人的坐标;数据预处理包含数据归一化以及数据增强.
检测是对于监控视频中的连续帧,按顺序对每一帧进行行人检测,以存在接触包裹的行人的帧为起始帧,接触包裹的行人的坐标为空间位置,从起始帧开始往后取固定帧数(如15帧),就可以提取出了暴力分拣行为识别所需要的候选区域.
行为分类是对侯选区域进行行为分类(如是否暴力行为),如果分类结果为暴力,则该事件将上传至云端,触发事件预警;否则重新回到下一起始帧计算.
正常运行场景1.
监控摄像头成像正常2.
视野内有待检测体3.
行为检测系统正常检测出候选区域并上传检测结果至云端可预见的异常场景1.
摄像头成像异常,如帧率过低2.
摄像头视野内无检测体3.
图像传输过程丢失信息1.
2危险分析算法失效序号算法失效说明识别方法1摄像头成像异常,如帧率过低专家评审2图像传输过程丢失信息质量历史记录3摄像头视野内无检测体质量历史记录1.
3危险严重性等级评估算法失效序号后果危险严重性等级1导致检测行为准确率偏低,存在漏检隐患一般级2导致检测行为准确率偏低,存在漏检隐患一般级3导致无法检测行为,存在操作安全隐患严重级AIOSS-01-201821表B.
2(续)1.
4确定可靠性目标危险严重性等级说明可靠性目标基于行为检测技术的行为检测系统将会被运用到多种环境下作业区域的多种行为检测(暴力、着装、礼仪等),多种环境包含快递、银行等作业区域.
算法失效可能导致:1)检测行为准确率偏低,存在行为漏检隐患;2)无法检测行为,存在操作安全隐患.
B第二阶段选择可靠性评估指标2.
1指标选择说明阶段名称选择的二级指标需求阶段准确率、召回率、响应时间、深度学习框架差异、操作系统差异设计阶段准确率、召回率、响应时间、优化目标数量、数据集均衡性、数据集规模、数据集标注质量实现阶段准确率、召回率、响应时间、代码规范性、代码漏洞、拟合程度、白盒方式生成的样本、黑盒方式生成的样本、指定目标方式生成的样本、不指定目标方式生成的样本运行阶段准确率、召回率、响应时间、深度学习框架差异、操作系统差异、干扰数据、数据集分布迁移2.
2评估准则说明a)各阶段评估通过的准则应同时满足如下要求:1)依据规范性选取的某一级指标下的二级指标全部通过;2)依据规范性选取的某阶段的一级指标全部通过.
b)深度学习算法可靠性评估通过的准则应满足:面向算法需求阶段、设计阶段、实现阶段及运行阶段四个阶段的可靠性评估均通过.
第三阶段面向算法需求阶段的可靠性评估3.
1输入说明软件系统的需求说明书:行为检测系统需求文档_v1.
0.
docx软件系统设计规范:行为检测系统设计规范_v1.
0.
docx软硬件接口规范:行为检测系统接口规范_v1.
0.
docx深度学习算法的需求说明书:行为检测算法需求说明_v1.
0.
docx3.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果准确率准确率阈值预计为0.
95,经技术负责人确认满足需求;类似软件系统中的要求为0.
90,达到相应要求.
通过未通过召回率召回率阈值预计为0.
95,经技术负责人确认满足需求;类似软件系统中的要求为0.
90,达到相应要求.
通过未通过响应时间响应时间阈值预计为0.
3s,经技术负责人确认满足需求;类似软件系统中的要求为0.
5s,达到相应要求.
通过未通过一级指标评估结果通过未通过一级指标软硬件平台依赖的影响二级指标名称评估工作评估结果深度学习框架差异基于caffe和tensorflow框架,集成于嵌入式平台,支持高清视频流的实时识别.
TensorFlow框架满足在Python、接口设计、分布式性能等的适用性要求.
通过未通过操作系统差异本地:系统运行嵌入式平台上的ubuntu稳定版系统,漏洞少,可稳定长时间执行,且易于3D打印,迅速部署.
云端:运行于centos服务器版.
通过未通过一级指标评估结果通过未通过AIOSS-01-201822表B.
2(续)3.
3输出面向算法需求阶段的可靠性评估通过未通过第四阶段面向算法设计阶段的可靠性评估4.
1输入说明深度学习算法的训练数据集:作业区域行人操作视频训练集_v1.
0.
zip深度学习算法的设计说明:行为检测系统算法设计说明_v1.
0.
docx4.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果准确率设计后的准确率阈值预计为0.
95,经过评审,能够达到需求阶段设计的要求.
通过未通过召回率设计后的召回率阈值预计为0.
95,经过评审,能够达到需求阶段设计的要求.
通过未通过响应时间设计后的响应时间阈值预计为0.
3s,经过评审,能够达到需求阶段设计的要求.
通过未通过一级指标评估通过未通过一级指标训练数据集的影响二级指标名称评估工作评估结果数据集均衡性数据集为作业区域行人操作视频,其中包括1.
50个点部2天装货区域正常作业视频共计10万个;2.
50个点部2天装货区域非正常作业视频共计10万个;3.
50个点部2天卸货区域政策作业视频共计10万个;4.
50个点部2天卸货区域非正常作业视频共计10万个;5.
员工办公场所2天作业视频共计5万个(含正负样本).
通过未通过数据集规模视频流数据集规模为一百万视频集合.
约五十万视频数据作为训练样本即可达到预期的可靠性.
超过一百万训练视频后准确率无明显提升.
通过未通过数据集标注质量数据集中100%的数据完成标注,并且98%的样本标注准确.
通过未通过一级指标评估通过未通过一级指标目标函数的影响二级指标名称评估工作评估结果优化目标数量对优化目标数量进行评估,通过评审会/与类似算法对比,现阶段优化目标数量不存在过少或过多的情况.
通过未通过一级指标评估通过未通过4.
3输出面向算法设计阶段的可靠性评估通过未通过AIOSS-01-201823表B.
2(续)第五阶段面向算法实现阶段的可靠性评估5.
1输入说明深度学习算法的对抗性样本:行为检测系统视频训练集_v1.
0.
zip深度学习算法的设计说明:行为检测系统算法设计说明_v1.
0.
docx深度学习算法的功能说明:行为检测系统算法功能说明_v1.
0.
docx深度学习算法的源代码:行为检测系统算法源代码_v1.
0.
zip5.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果准确率实现后的准确率为0.
96,经过评审,能够达到设计阶段设定的要求通过未通过召回率实现后的召回率为0.
96,经过评审,能够达到设计阶段设定的要求通过未通过响应时间实现后的响应时间为0.
3s,经过评审,能够达到设计阶段设定的要求通过未通过一级指标评估通过未通过一级指标代码实现的正确性二级指标名称评估工作评估结果代码规范性代码依据PEP8规范编写,且遵循python代码礼仪,gitflow等规范.
并使用pylint、flake8进行代码检查.
通过未通过代码漏洞经过Sonar代码扫描、模型压力测试、AB测试等,代码走查覆盖率超90%.
通过未通过一级指标评估通过未通过一级指标目标函数的影响二级指标名称评估工作评估结果拟合程度模型准确率等各个指标在训练集以及测试集中数值相近,不存在的过拟合的情况,同时各个指标达到预期,不存在欠拟合的情况通过未通过一级指标评估通过未通过一级指标对抗性样本的影响二级目标名称评估工作评估结果白盒方式生成的样本生成样本数据10000个,数据集名称白盒测试集,算法训练后针对视频质量不佳情况提升了0.
1准确率指标.
通过未通过黑盒方式生成的样本生成样本数据10000个,数据集名称黑盒测试集,算法训练后针对视频质量不佳情况提升了0.
05准确率指标.
通过未通过指定目标方式生成的样本生成样本数据3000个,数据集名称指定目标测试集,算法训练后针对视频质量不佳情况提升了0.
01准确率指标.
通过未通过不指定目标方式生成的样本生成样本数据3000个,数据集名称不指定目标测试集,算法训练后针对视频质量不佳情况提升了0.
01准确率指标.
通过未通过一级指标评估通过未通过5.
3输出面向算法实现阶段的可靠性评估通过未通过第六阶段面向算法运行阶段的可靠性评估AIOSS-01-201824表B.
2(续)6.
1输入说明深度学习算法运行中使用的数据:行为检测视频测试数据_v1.
0.
zip包含深度学习算法的软件系统:行为检测识别系统_v1.
06.
2关键活动一级指标算法功能实现的正确性二级指标名称评估工作评估结果准确率该算法所在的系统实际运行30天后,根据实际运行的数据统计为0.
97.
通过未通过召回率该算法所在的系统实际运行30天后,根据实际运行的数据统计为0.
97.
通过未通过响应时间该算法所在的系统实际运行30天后,根据实际运行的数据统计为0.
3s.
通过未通过一级指标评估通过未通过一级指标软硬件平台依赖的影响二级指标名称评估工作评估结果深度学习框架差异该算法所在的系统实际运行30天后,其选取的深度学习框架、接口设计、分布式性能等的满足达到指标,计算速度达到实时性.
通过未通过操作系统差异实际运行30天中,涉及到的操作系统包括Linux3.
10.
0等,未发现可操作性、可移植性、系统安全等问题,计算速度达到实时性.
通过未通过一级指标评估通过未通过一级指标环境数据影响二级指标名称评估工作评估结果干扰数据算法实际运行30天中,遇到各种情况(环境复杂、自身复杂、传输过程异常、产品异常等)的数据,系统的并未发生失效.
通过未通过数据集分布迁移算法实际运行30天中,实际输入数据集分布,系统的并未发生失效.
通过未通过一级指标评估通过未通过6.
3输出面向算法运行阶段的可靠性评估通过未通过第七阶段深度学习算法的可靠性评估评估结论面向深度学习算法的需求阶段、设计阶段、实现阶段及运行阶段四个阶段均通过评估,深度学习算法可靠性通过评估并达到B级目标要求AIOSS-01-201825参考文献[1]GJB/Z161-2012军用软件可靠性评估指南[2]GB/T16260.
2-2006软件工程产品质量第2部分:外部质量[3]DO-178C-2011SoftwareConsiderationinAirborneSystemsandEquipmentCertification[4]GB/T5271.
28-2001信息技术词汇第28部分:人工智能基本概念与专家系统[5]周志华机器学习清华大学出版社2016