2018年国家科学技术进步奖提名项目公示

一、项目名称面向社交的可视媒体智能处理技术及规模化应用二、提名者及提名意见提名者:文化部提名意见:本项目研发的人脸智能分析技术,重点突破了人脸的检测、配准、识别、检索、活体检测与风格化等方面的关键技术,解决了人脸照片的场景变化(光线、姿态、表情,跨年龄),防止恶意的伪造攻击(照片、视频,3D合成人脸攻击)等重大技术难题.
研发的网络恶意图片内容分析技术,解决网络监管领域依赖于人工审核的效率问题和成本问题.
研发的面向移动端的增强现实技术、可视媒体大数据的视觉无损压缩方法,对于媒体智能识别和处理领域的发展具有很大的推动作用.

本项目的实施已在社交可视媒体智能处理方面取得了一批拥有自主知识产权和具有较大影响力的科技研发成果,为智慧互联网、智慧安防、智慧金融、智慧政务等多行业提供了产品解决方案,为手机QQ、微信、QQ空间、天天P图、福建公安、滴滴、联通、天津机场等多项公司内外重要产品提供技术支持.
健全了科研与生产紧密结合、成果快速转化的推广应用体系,提高了我国在社交可视媒体智能处理的自主创新能力.

经审查,本项目推荐材料真实有效.
在发明上有重大创新,技术难度很大,解决了行业发展中的热点问题和关键问题.
项目成果技术上有重要创新,学术水平高,市场竞争力强,成果转化程度高,对推动我国人工智能、增强现实等前沿技术创新发展具有重大作用,研究成果总体上达到了国际先进水平.
经实践验证有重大经济效益和社会效益.

鉴于以上所述,提名该项目为国家科学技术进步奖二等奖.
三、项目简介近年来,互联网上的可视媒体信息呈现爆炸式增长趋势.
庞大而复杂的数据给现有的多媒体内容分析与处理带来了存储、传输、管理上的挑战.
针对社交可视媒体大数据规模庞大、结构多样、内容复杂等特点,该项目重点研究面向社交的可视媒体智能处理技术,在可视媒体大数据智能压缩与编辑、人脸智能分析、增强现实、网络恶意图片内容分析四个方面取得了技术突破:(1)提出了可视媒体大数据的视觉无损压缩方法,大幅减少可视媒体数据运营所需的带宽及存储成本,提高用户体验,并构建全球用户规模最大图像大数据智能压缩服务平台;(2)研发人脸的检测、配准、识别、检索、活体检测与风格化等完整的人脸智能分析技术.
同时研发了国内首创的基于人脸图像分析、推荐、挖掘的大数据整体闭环技术体系,处理规模高达百亿的人脸计算平台;(3)研发面向移动端的增强现实技术,在追踪稳定性、追踪实时性等方面都达到先进水平;(4)利用深度卷积神经网络算法从海量的图片数据中学习恶意图片(黄图、暴恐图片、主播吸烟、游戏)的模式,利用机器快速识别出网络恶意图片,极大的降低了监管成本.
主要技术经济指标:(1)视觉无损压缩技术应用于腾讯公司,研发完成国内先进的图片大数据视觉无损压缩技术服务平台,该服务以API形式提供给公司40多项业务.
JPEG和PNG格式图像平均压缩率分别达到20%-80%和15%;利用SSE加速,1M大小的JPEG文件压缩时间为0.
1s;发布以来稳定运行,压缩成功率达99.
99%,日处理图片量达2亿,累计处理图片总数突破千亿,是目前全球用户规模最大的服务平台;(2)研发的人脸检测、配准技术在FDDB(FaceDetectionDataSetandBenchmark)测试平台上达到世界先进水平(2014年11月);人脸识别技术在LFW数据库上的准确率达到98.
5%,达到世界先进水平(2014年11月);(3)增强现实技术使用Neon指令对atan、sqrt等数学计算进行加速,使用查表等方法对基于Hamming距离的特征搜索进行加速.
加速后,当前图像特征提取耗时从55ms降为30ms,降幅为45%;Hamming距离匹配一棵树的耗时从2-3ms降为1ms,降幅为50%-66.
6%;(4)网络恶意图片内容分析技术对涉黄图片识别精准度达到99%.
授权专利情况:授权发明专利10项.
应用及效益情况:用于腾讯科技旗下的产品天天P图,使用人像美化、人脸检测与追踪等技术,实现人像的自动美容美妆等功能,打造了多款爆款运营活动.
同时针对空间海量人脸的业内首创产品形态(空间面孔墙和推荐圈人),提升了用户活跃度和参与体验.

应用于微众银行(国内首家互联网银行).
微众的远程核身流程应用了优图的人脸检测和人脸核身技术.
凭借世界顶尖的人脸验证等技术,在智能手机上安全、有效的解决实名制远程用户核身验证的难题,属国内首创.

此外依托于优图的海量人脸检索技术,由福建省公安厅与腾讯互联网+合作事业部联合发布的"牵挂你"防走失平台正式上线,帮助找回了福建省清流县的走失男孩陈某.
截止目前,该平台已寻回500多名走失人员,大大提升了社会寻亲的成功率.

四、客观评价4.
1综合评价该项目有三大亮点:第一,技术具有首创性和前沿性.
依托大数据、云计算和人工智能技术,创新研发图像内容识别分析、人脸核身、视觉无损图片压缩、移动端增强现实等技术,为解决行业发展痛点提供了创新的解决方案.
第二,项目成果具有广泛的应用价值.
为各行各业提供了丰富的产品解决方案和技术支持.
目前已显现出很大的商业价值和社会效益.
第三,研究成果持续开放,赋能行业内外开发者.
多项核心技术通过腾讯云等平台对外开放,学术论文亦面向全社会公开,加速技术成果应用落地,率先掀起了行业共建AI生态的热潮.
整体而言,技术达到国际先进水平,对于行业和科技发展具有引领和推动作用.

4.
2科技奖励2014年,联合上海交通大学获得上海市科技进步奖二等奖(《可视媒体智能生成与处理技术》).
2014年11月,项目研发的人脸检测技术刷新FDDB世界记录.
在国际标准色情图片测试集NPDI上,算法准确率达到94%,相关技术获得2016年腾讯公司级重大技术突破奖银奖.
4.
3媒体报道本项目研发的人脸技术、图片内容分析等技术引起了社会的普遍关注,人民网、新浪网、凤凰网、新华网、科学中国网等几十家媒体均进行了专题报导.
中国日报网报道,2015年1月4日,李克强总理亲自视察微众银行,当场见证了微众银行人脸核身演示.
微众银行负责人向总理模拟了一位个体创业者的在线放款流程.
他拿起手机,把摄像头对准自己,很快,软件系统识别出他的身份,并与公安部身份数据匹配成功.
在"刷脸"认证的同时,通过社交媒体等大数据分析,软件将他的信用评定为83分,同意授予贷款3.
5万元.
全过程不到3分钟.
这种完全依托于互联网大数据的信贷服务,不需要调查信用、上门担保,既给用户提供了更便捷的体验,省下的人力成本又全部返还给企业,是"普惠金融发展新路子".

五、推广应用情况5.
1推广应用情况本项目积极推动面向社交的可视媒体智能处理技术的应用落地,推出智慧互联网、智慧安防、智慧金融、智慧政务等多行业产品解决方案,为手机QQ、微信、QQ空间、天天P图、福建公安、滴滴、联通、天津机场等多项公司内外重要产品提供技术支持.

研发完成国内先进的图片大数据视觉无损压缩技术服务平台,该服务以API形式提供给公司40多项业务,包括公司多个重要业务:QQ空间、腾讯网、电商全业务、地图街景等,实现减少带宽需求,降低存储成本,获得更快的页面加载和用户体验,成为公司级平台TFS的基础组件.
研发的人脸技术集成到腾讯云计算平台,发展成国内首创的基于人脸图像分析、推荐、挖掘的大数据整体闭环体系,为大数据云计算平台奠定技术基础.
本项目通过本地SDK和云端服务两种架构模式,利用大数据处理技术成功地将上述人脸智能分析技术集成到空间相册和移动端等各业务中,为公司内外数十项业务提供了平稳的技术支持,日处理图片数过亿.
人脸技术还应用于在安全认证方面,项目成果已经应用在微众银行远程人脸开户,中国联通SIM卡用户实名验证,滴滴出行司机身份核验,微信公众号上的政务警务核身服务,比如刷脸领取社保金、公积金,刷脸入住微信生态酒店、刷脸进入龙门石窟旅游景区.

网络恶意图片分析技术目前已经用于腾讯内部的主要核心图片业务,并通过腾讯云对外接入了多家外部标杆客户,例如斗鱼,熊猫,YY,映客等.
5.
2社会效益在推动行业科学进步方面,项目中的技术创新,有力支撑了腾讯集团的AI战略,将AI技术赋能各种业务和平台.
对于互联网金融行业,将重复繁琐的线下流程远程化无人化,远程核身极大节省了人力,提高了生产力.
对于电信运营商,远程人脸核身,推动落实国家的实名制政策,也打击了各种SIM黑产.
对于网约车,司机每单都要进行刷脸确认,带来了更为安全的体验,解决了分享经济中的安全痛点.

在城市治理和文明建设方面,本项目的研究成果给智慧政务、警务提供了技术支持.
在政务警务公众号上实现人脸识别,方便了公民,提升了政府工作效能;对于走失人口的快速寻回,也是对社会巨大的公益.
公安领域第一次实现了视频中人脸实时抓捕,可以对犯罪分子进行有力的威慑和打击,提升民警抓捕效率,助力平安城市的建设.

六、主要知识产权证明目录[1]中国发明专利,一种压缩图片的方法和系统,ZL201210384676.
6,2017.
09.
26,腾讯科技(深圳)有限公司(黄飞跃,吴永坚,高峰,丁守鸿,林庆梁,张璐),有效;[2]中国发明专利,一种相册管理方法及装置,ZL201310746306.
7,2017.
12.
1,腾讯科技(深圳)有限公司(郑志昊,梁柱,黄飞跃,黄琴,吴永坚),有效;[3]中国发明专利,图片压缩中质量因子的获取方法及装置,ZL201210460468.
X,2017.
8.
1,腾讯科技(深圳)有限公司(王川南,王佳,杨宝龙,丁守鸿,谢志峰,吴尚),有效;[4]中国发明专利,浏览图片的方法及客户端,ZL201110063460.
5,2016.
04.
13,腾讯科技(深圳)有限公司(吴永坚,唐宗尧,黄飞跃),有效;[5]中国发明专利,一种图片浏览的方法及装置,ZL201110047603.
3,2016.
07.
27,腾讯科技(深圳)有限公司(吴永坚,李慧,王佳),有效;[6]中国发明专利,获取图片的缩略图的方法和装置,ZL201110116984.
6,2016.
04.
6,腾讯科技(深圳)有限公司(黄飞跃,傅斌,杨洋),有效;[7]中国发明专利,一种图片与二维码融合的方法及终端,ZL201410050540.
0,2016.
08.
17,腾讯科技(深圳)有限公司(郑志昊,王红法,吴运声,黄飞跃),有效;[8]中国发明专利,一种图片编辑动作共享的方法及系统,ZL201110218427.
5,2016.
10.
26,腾讯科技(深圳)有限公司(黄飞跃),有效;[9]中国发明专利,处理图片的方法及系统,ZL201110184156.
6,2017.
06.
06,腾讯科技(深圳)有限公司(吴永坚,杨洋,董立乾,陈栋),有效;[10]中国发明专利,一种图形绘制引擎装置及其实现方法,ZL201110189638.
0,2016SR196825,2016.
10.
26,腾讯科技(深圳)有限公司(黄渊,黄飞跃,吴永坚,董立乾),有效.

七、主要完成人情况吴运声,排名第一,腾讯科技(深圳)有限公司助理总经理.
对本项目贡献:负责本项目的总体规划、课题设计、技术平台建立,项目实施的管理和监督、研究成果的推广;投入本项目时间占日常工作量的90%;研究工作对应知识产权[7],其他证明材料腾讯重大技术突破奖.
黄飞跃,排名第二,腾讯科技(深圳)有限公司总监,专家研究员.
对本项目贡献:项目第二负责人,项目第二负责人,担任本项目应用总体设计;研究人脸技术研究和应用,发展国内首创的基于人脸图像分析、推荐、挖掘的大数据整体闭环体系;提出人脸智能分析的软件服务模式,设计系统整体架构、硬件计算平台、人脸研究关键技术方案,组织开展项目各项工作;在该项技术研发工作中投入的工作量占工作量的65%;研究工作对应知识产权[1,2,4,6,8,10],论文[1、2、3],其他证明材料腾讯重大技术突破奖、上海市科技进步奖.
吴永坚,排名第三,腾讯科技(深圳)有限公司技术总监,专家研究员,优图实验室.
对本项目贡献:工程开发负责人,在本项目中负责大数据核心计算平台的设计,提出了基于分布式集群的人脸计算硬件平台框架;建立计算、存储分离的整体架构,创新设计了高效的分级存储模式和大规模计算集群部署技术方案;提出的方案克服传统存储架构的缺点,以有限的1300台服务器资源,实现国内第一的千亿规模的人脸计算能力;在该项技术研发工作中投入的工作量占工作量的65%;研究工作对应知识产权[1,2,4,5,9,10]、论文[3、4],其他证明材料腾讯技术突破奖、上海市科技进步奖.
李季檩,排名第四,腾讯科技(深圳)有限公司组长.
对本项目贡献:项目人脸研发负责人,担任人脸技术的总体规划和设计;提出基于随机数字唇语活体检测技术,提出光线活体检测技术;在该项技术研发工作中投入的工作量占工作量的70%;研究工作对应论文[5、6],其他证明材料腾讯技术突破奖.

汪铖杰,排名第五,腾讯科技(深圳)有限公司职员,高级工程师,优图实验室.
丁守鸿,排名第六,腾讯科技(深圳)有限公司职员,高级工程师,优图实验室.
对本项目贡献:在本项目中主要负责可视媒体大数据智能化压缩、大数据人脸智能分析等技术的研究;提出了定制式网络海量图片重压缩框架、基于高维特征和度量学习的人脸验证框架,解决了可视媒体智能处理中的一些问题;在该项技术研发工作中投入的工作量占工作总量的65%;研究工作对应知识产权[1,3],论文[3、4].
郭晓威,排名第七,腾讯科技(深圳)有限公司职员,研发工程师,优图实验室.
对本项目贡献:作为项目主导者,带领团队研发基于图像识别的恶意内容审核智能系统,覆盖色情、暴恐、恶意文字等常见恶意内容,识别精度处于业界先进水平,对于识别出的恶意内容直接打击,有效降低人工审核工作量,提高审核的实时性和准确性.
系统具备日均亿张级别的图片处理能力,核心技术指标业界先进.
项目目前已经接入并支持包括QQ空间、微信群聊业务,以及业内多家大型视频直播网站.

余宗桥,排名第八,腾讯科技(深圳)有限公司高级研究员.
对本项目贡献:在基于图像识别的恶意内容审核智能系统技术方案的整体设计以及核心算法研发,提出了级联模式深度神经网络模型用于百万级图片库的训练学习和数十亿级日均图片的接入审核,同时扩展至暴恐、吸烟等通用常见恶意内容的自动识别,识别精度处于业界先进水平;面向社交用户的增强现实系统的整体设计和核心算法研发,提出了多尺度二值化特征、多层次扩展卡尔曼滤波、关键物体识别等核心技术,支撑构建云端-移动端联动增强现实大平台,在品牌广告、教育、旅游、电影、媒体、政府合作等方面都有经典案例出现.
在该项技术研发工作中投入的工作量占工作总量的80%;研究工作对应论文[7],其他证明材料腾讯技术突破奖.

陈志博,排名第九,腾讯科技(深圳)有限公司组长,高级研究员.
周可菁,排名第十,腾讯科技(深圳)有限公司副组长,高级产品经理.
对本项目贡献:在负责优图人脸核身产品解决方案的设计以及业务落地,如人脸核身解决方案在金融领域-微众银行的应用,在政务领域-成都国税、深圳人社的应用.
负责腾讯优图AI开放平台的产品设计,对外为行业输出多元化的AI服务,颠覆行业变革,当前优图AI开放平台日均调用量数十亿,为社交,金融,娱乐,公安,政务等各个行业提供人工智能服务.
提出"优图天眼寻人解决方案""优图天眼安防解决方案",并负责优图天眼系统的整体设计与策划,将AI技术落地到实处,真正发挥社会应用价值.
优图天眼寻人解决方案在福建找回走失人员545人.

八、完成人合作关系说明本项目10位完成人均为腾讯科技(深圳)有限公司的正式员工,具有共同开发多个科研项目的合作基础.
项目完成人通过共同参与完成的项目有:"优图压缩",获腾讯重大技术突破奖;"人脸识别"获腾讯重大技术突破奖.