视觉上行带宽下行带宽

5G+AI智能工业视觉解决方案白皮书V1.
0发布日期2020-06-20联合编著华为技术有限公司北京百度网讯科技有限公司5G+AI[5G+AI智能工业视觉解决方案白皮书V1.
0]1工业视觉发展趋势011.
1工业视觉概述011.
2工业视觉的发展趋势及挑战031.
3基于5G+AI的工业视觉解决方案的价值042工业视觉发展趋势062.
1助力企业质量提升062.
1.
1场景1:产品在线外观质量检测062.
1.
2场景2:产品组装后的防错检查072.
1.
3场景3:品牌商多工厂统一质检标准082.
2助力企业效率提升082.
2.
1场景1:生产过程物品智能分拣082.
2.
2场景2:生产过程瓶颈节拍分析092.
3助力企业安全管理102.
3.
1场景1:生产现场生产安全巡检102.
3.
2场景2:环境监控仪表数据读取1135G+AI工业视觉解决方案123.
1工业视觉四类典型应用方案123.
25G+AI工业视觉解决方案架构153.
2.
1逻辑架构:系统间业务数据流153.
2.
2物理架构:现场硬件部署位置163.
3管:图像传输高经济性方案183.
4云:边缘云端应用解决方案213.
5端:现场设备5G连接方案223.
6工厂园区5G网络建网方案233.
6.
13C行业网络能力需求分析233.
6.
2工厂园区5G网络方案介绍263.
75G+AI工业视觉应用SLA保障2845G+AI工业视觉未来展望305参考资料清单31附录:术语表3201工业视觉发展趋势1.
1工业视觉概述机器视觉系统是指通过机器视觉产品将被摄取目标根据像素分布和亮度、颜色等信息,转变成数字化信号,传送给专用的图像处理系统,图像处理系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作.
机器视觉在工业生产中应用广泛,常用于遍布整个生产环节的四类业务应用:视觉引导与定位、模式有无识别检测、精准测量测距、产品外观检测等.
概括的说,工业机器视觉系统的特点是提高生产的柔性和自动化程度,主要在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度.
而且机器视觉易于实现自动化集成,软件集成,是实现智能制造的基础技术.
在不同的应用场景中,机器视觉系统所采用的图像采集设备、处理方式、架构组成有所不同,主要包括以下三种系统架构:一体化智能工业相机机器视觉系统智能工业相机是近年来机器视觉领域发展较快的一项新技术.
智能相机是一个兼具图像采集、图像处理和信息传递功能的小型机器视觉检测系统,是一种嵌入式计算机视觉检测系统.
它将图像传感器、处理模块、通讯模块和其他外设集成到一个单一的相机内,由于这种一体化的设计,可降低系统的复杂度,并提高可靠性,同时系统尺寸大大缩小,拓宽了机器视觉的应用领域.
智能工业相机一般直接输出图像处理数据用于设备控制、结果显示等,应用于某些特定的如二维码/条码识别、温度红外识别、视觉引导定位等场景.
1基于智能工业相机的系统架构02基于工业相机和本地算力的机器视觉系统基于工控机机的机器视觉系统是目前主流的应用方案.
分离式的图片采集系统与基于工控机的处理系统架构使得该方案能广泛适用于各类工业视觉应用场景.
典型的基于工控机的工业视觉系统分为图像采集部分、图像处理部分和运动控制部分,具体由如上图所示的几部分组成:工业相机与镜头:成像器件,通常的视觉系统都是由一套或者多套这样的成像系统组成,如果有多路相机,可能由系统控制切换来获取图像数据,也可能由同步控制同时获取多相机通道的数据.
工业相机按照芯片类型、扫描方式、分辨率大小、输出信号方式、输出色彩、输出信号速度、响应频率范围等有着不同的分类方法,种类繁多,需要根据应用需求进行选择;光源:光源是影响机器视觉系统输入的重要因素,它直接影响输入数据的质量和应用效果;控制单元:控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等,用以判断被测对象的位置和状态,告知图像传感器进行正确的采集或根据图像处理结果完成对生产过程的控制;图像处理算力设备:工控机或GPU服务器,是视觉系统的核心算力,部署于靠近相机的端侧,完成图像数据的处理和绝大部分的控制逻辑,对于检测识别类型或采用深度学习算法的应用,通常都需要高性能的CPU/GPU,减少处理的时间.
工控机内的机器视觉软件用来完成输入的图像数据的处理,通过图像识别得出结果,这个输出的结果可能是PASS/FAIL信号、坐标位置、字符串等.
常见的传统机器视觉软件以Halcon、康耐视VisionPro等视觉处理软件为平台,实现专用(比如仅仅用于LCD检测,BGA检测,模版对准等)或通用目的(包括定位、测量、条码/字符识别、斑点检测等)的视觉检测功能.
从2017年起基于人工智能的机器视觉软件以百度工业视觉智能平台、康耐视VIDI等为代表,提供了复杂纹理或物体表面的缺陷检测功能.
基于IPC摄像机和云端算力的工业监控系统IPC(IPCamera)摄像机是由视频编码模块和模拟摄像机组合而成的一类摄像机.
视频编码模块将模拟摄像机采集到的模拟视频信号编码压缩成数字信号,从而可以直接接入网络交换及路由设备,与云端识别API打通.
IPC摄像机能更简单的实现监控特别是远程监控、更简单的施工和维护、更好的支持音频、更好的支持报警联动和更灵活的录像存储.
IPC摄像机在工业应用场景包括安全巡检、装配动作合规、仓库物料盘点计数等场景.
基于工控机的典型机器视觉系统组成031.
2工业视觉的发展趋势及挑战随着人工智能、计算机视觉等技术的不断成熟,以及德国"工业4.
0"、日本机器人新战略、美国先进制造伙伴计划、中国制造2025等政策的不断驱动,促使工业机器人市场持续增长,也大大促进了机器视觉产业发展.
有公开数据显示,在2018年,全球用于工业自动化领域的机器视觉技术市场规模达44.
4亿美元,预计2023年将达122.
9亿美元,年复合增长率高达21%,市场需求巨大.
随着工业机器视觉应用越来越广泛,被检测对象越来越复杂,机器视觉应用从传统工业视觉向基于深度学习的AI工业视觉过渡传统工业视觉系统的应用实现,是在经过给定背景、光源、采集光学器材参数的特定环境下,实现对目标感知区域拍摄的数字图像进行指定要求的处理,并提取特定的信息数据,并输出给指定设备作为动作依据,所依赖的是预先明确的固定特征,由视觉工程师基于视觉任务的特定需求,进行目标特征的定义以及数值判断的阀值定义的实现,这种逻辑简单的局限性,无法适用于随机性强、特征复杂的工作任务,如随机出现的复杂外观缺陷检测.
因此,目前业界越来越多的使用到能解决此类复杂特征问题的深度学习.
深度学习方法(DeepLearning)作为传统神经网络的拓展,近年来在语音、图像、自然语言等的语义认知问题上取得巨大的进展,为解决视觉大数据的表示和理解问题提供了通用的框架.
图像视频内容复杂,包含场景多样、物体种类繁多,非受控条件下,图像和视频的内容受光照、姿态、遮挡等影响变化大,图像视频数据量大,特征维度高,部分应用需实时处理,而深度学习方法的快速发展,为解决上述问题提供了有效的途径.
深度学习算法在目前的行业普遍技术水平已经能够达到95%以上的判定准确率.
通过平衡漏判率和误判率,更加严格地控制漏判,可以让漏判率降到100PPM以下,而误判率降到5%以下.
虽然基于深度学习的AI工业视觉可以解决更复杂的问题,应用越来越广泛,但仍存在如下瓶颈,制约更高速的发展:端侧算力成本越来越高随着工业相机像素越来越高,深度学习在工业视觉检测中的应用及提升生产效率生产节拍的要求,对算力硬件性能要求越来越高,高性能CPU/GPU的应用也越来越广泛,这直接导致算力成本价格直线上升.
同时,一套视觉系统往往独立部署一台算力设备,所有算力无法共享复用,利用率往往无法达到最高.
单点系统维护成本过高固定工位单机的部署方式,使得每次对设备进行调试、软件更新维护、监控分析都需要在本地完成,在机器视觉被工厂大规模使用的情况下,这种维护方式成本极其高昂;数据孤岛,数据不能有效共享在典型工业视觉系统解决方案中,图像的处理在本地完成终结,生产中有效数据不能及时在各个系统间共享,使得全部系统功能更新缓慢,进而影响整个生产进度;不能很好的适应具有移动性诉求的应用场景部分工业应用场景具有移动性诉求,如安装于机械臂的视觉定位相机,因为机械臂的移动而线缆损耗严重;04工厂车间有线互联网建设成本过高、容量不足典型的工厂车间环网速率容量为1Gbps,该容量为车间环网各类应用公用,如在环网上增加一个端口,则平均成本为超千元;该容量不足以承载典型工业相机数应用的上行大数量需求,且整体有线扩容成本非常高.
通用性、智能性和同类应用快速复制性欠佳机器视觉在通用性方面存在不足,在一些集成应用中无法搭载,一台设备可能只适用于一家厂商或一种行业,导致开发成本过高.
而在智能性方面,当库存量单位较高时,或者移动速度较快时,工业视觉在识别准确率上就难以达到要求.
例如在分拣领域,工业视觉已经能够很好地适应小规模和品类较少的固定分拣,但对于复杂堆叠物体的识别和分拣,依然有90%以上通过人工方式完成;实际应用中视觉检测准确率较低,不可自学习,动态优化尽管从一些算法的测试结果来看,工业视觉的图像识别准确率已经能够达到极高的水平,但要实现工业上的应用,还需要保证能够快速完成批量化检测,同时能够适应多样的环境(包括物体表面材质、工厂环境、工作距离等等).
只有在实际应用中能够达到极小的误检率,工业视觉才能实现其应用预期,从而满足客户的标准而得以推广;基于以上机器视觉应用痛点,我们希望能够通过5G+AI的创新方案来努力解决,使得工业视觉能被普适性的推广应用,推动智能工业制造的发展.
1.
3基于5G+AI的工业视觉解决方案的价值随着我国5G商用大幕正式拉开,5G做为"新基建"之首,成为新一代智能制造系统的关键使能技术.
在工业领域,5G以其特有的大带宽、低时延,以及高可靠等特性,使得无线技术应用于现场设备实时控制、远程维护及操控、工业高清图像处理等工业应用新领域成为可能,同时也为未来柔性产线、柔性车间奠定了基础;同时,5G与AI的结合,更是会带来整个社会生产方式的改变和生产力的提升.
5G+AI的智能工业视觉解决方案框架055G+AI的工业视觉解决方案,通过端+5G网络+边缘云+云服务的协作,将成为未来智能化工厂标配解决方案,让工厂质量检查和缺陷识别、设备增加眼睛提升灵活性和零部件高效测量变得简单和高效.
实现数据互联互通、动态闭环通过5G网络连接,产线上每个工业视觉应用不再是独立的数据孤岛,带来的价值包括但不局限于以下方面:a)工厂中央生产控制系统可以实时获得每个被检测对象的结果、状态,纳入全工厂生产管理系统;b)云端训练平台能实时获取多个现场端的样本图像,快速更新及实时部署优化后模型;c)实现新检测应用的快速部署及推广,使能柔性生产;d)实现现场设备的云端统一维护监控等;提升设备标准化、智能化水平随着被检测对象复杂性的增加,越来越多的视觉检测要依赖于深度学习算法,而深度学习需要大量的样本及强大的GPU能力不断迭代训练以提升检测成功率;现有深度学习更多的是依靠在现场人工样本的采集及模型的更新,推理训练一体化的设备又大多局限于成本及特定的应用场景,极大的限制了深度学习的应用.
5G+AI的解决方案通过多点样本的实时获取,在云端统一架构平台上实现推理训练,支持快速的新模型迭代更新,能使得深度学习在工业视觉应用中被广泛推广,普遍提升视觉检测成功率;简单、易部署,支持规模应用在工业中实现一个匹配用户需求的视觉检测系统,需要具备光学、网络及图像算法的专业技能,对用户是个不小的挑战.
5G+AI的解决方案中将复杂的样本标注、图像处理等统一在云端平台实现,并通过AI算法实现智能标注、智能闭环,降低系统应用的复杂性,使得工业视觉检测能被应用到更多的生产环节中.
提升生产效率,减少维护成本5G+AI的解决方案能极大的提升生产效率,一方面部分工业应用场景具有移动性诉求:如安装于机械臂的视觉定位相机,因为机械臂的频繁移动而使线缆缠绕损耗严重,需要经常更换,另外如后装视觉应用、不固定部署场景,无线传输的方式都可以很好的解决;另一方面,工程技术人员可以在云端进行操作维护,无需到到现场即可进行软件更新、设备调测、功能扩展等操作,能大幅降低系统维护成本,提升效率.
降低视觉规模部署低成本根据公开资料,工业是目前机器视觉应用比重最大的领域,其中又以3C电子制造和汽车制造为主,但也仅占到整个生产环节的10~20%,传统工业行业占比更低;导致该结果的主要原因一方面是因为不同行业被检测对象差别极大而技术实现困难,另一方面是因为端侧一体化的视觉检测系统成本过高限制了应用.
5G+AI的工业视觉解决方案中,可以将需要强大软硬件算力支持的计算统一在云端平台实现,并同时支持多类不同应用场景,端侧仅部署标准的图像采集系统,进而降低全系统部署成本;同时,远端维护的方式也可以极大的降低系统的操作维护成本.
06本章节将重点从工业视觉助力企业实现全面质量管理(TQM)和数字运营管理两个维度,分享5G+AI云化工业视觉应用案例.
2.
1助力企业质量提升工厂质量控制体系就是为满足产品的质量要求,而实时进行的质量测量和监督检查系统.
特别是在汽车零部件、3C产品零部件与外壳、芯片、纺织品、光伏等行业,外观质量检测是非常重要的一个环节,极大影响着产出产品的质量和产品产出速度,受限于大量的质检人员个体差异和生理限制,测量工具不能将结果及时数字化和智能化等,经常导致了生产质量事故频发,管理人员难以准确的判断质量管控运行状态.
5G+AI工业视觉充分发挥先进技术有优势,被引入到零部件出厂检、入场检、安装检、在线检、抽检和出厂检等各个环节,解决传统管理上的难点和痛点,助力企业质量提升.
2.
1.
1场景1:产品在线外观质量检测以某3C产品供应链企业产品外观检测为例,每月人工视觉检测人力成本超过200万,质检人力员工占比占到20%~40%,且还存在漏检等质量问题.
目前人工质检面临质量、成本、特殊场景应对、信息集成的问题,具体如下:质量:人工质检的主观因素对判定结果的影响较大,基于视觉疲劳,会存在漏检问题;成本:人员流动较高,由此带来的培训和用工成本高,用工难招工难;信息集成:没有对生产数据进行有效积累和利用,无法后续推进流程再造和质量分析,对自动化生产流程适配较弱;效率:传统机器视觉通过程序化计算逻辑进行视觉检测对此类复杂表面检测抗干扰能力差,误检过高,人员复判工作量大.
5G+AI的外观质量检查方案,依托AI深度视觉检测技术和5G通信技术进行融合,可在复杂纹理图像分类和背景干扰的情况下大幅度减少漏检误检,缺陷阀精确可控,同步实现检测结果数据实时同步,实现数据模型高效快速迭代闭环,不断提升现场模型准确率.
工业视觉发展趋势2某3C产品供应链企业生产现状072.
1.
2场景2:产品组装后的防错检查某汽车主机厂总装车间,汽车生产的最后一道工序,还是需要依靠大量的人力对车身进行装配,针对车灯检测的场景,由于混线生产检测,检测人员完全依赖经验对车型的车型进行检测,此外由于总装线上的灯光干扰严重,检测人员也需要避免外界光源对车灯检测的干扰,并且检测节拍较短,对于检测人员的检测速度上也是有很高的要求.
现有检查方案如下图所示;现有方案:通过镜子目视检查目前传统人工质检面临质量、特殊场景应对和信息集成的问题:①质量:人工质检中需要有经验的质检人员基于20+种类型的车清楚知道什么零部件配什么车型,对人的经验要求高,新员工不熟悉车型会存在漏检问题;②长时间在强光源场景下,需要做相关的人因防护,避免眼睛长时间接触光源.
③信息集成:目前无法做到无法做到车型和车灯物料匹配,物料偏差后不可追溯.
5G+AI的质量检查方案,依托AI深度视觉检测技术和5G通信技术进行融合,基于MES系统型号BOM数据自动识别不同车型同一款车型支持不同配置,8s内自动完成检测,检测准确率99%+,同时存储相应的过程数据可以基于车型号可追溯.
5G+AI方案:视觉图像检查示例图082.
1.
3场景3:品牌商多工厂统一质检标准在3C行业、汽车行业,上游零部件加工厂家和OEM主机厂零部件测量标准的一致性,OEM厂家接收零部件后如何快速、高效地按照标准抽检零部件质量,并实时将检测结果数字化被各业务系统调用并做到可追溯,是当前行业面临的普遍痛点.
基于OEM主机厂构建的AI质检平台和移动的标准检测AI-Box,通过5G低时延、大带宽连接,将很好地解决当前中小型零部件来料质量控制面临的问题.
如某汽车齿毂关键尺寸测量和检查设备,OEM主机厂统一构建AI质检平台,并和零部件厂家共同定义质量标准,采用深度学习和传统算法相结合,使用结合5G终端的AI-Box视觉检测设备,AI-Box的检测后通过5G网络向AI平台和相关业务系统反馈检测结果,共享检测数据,实现高效率,高准确性,并不断完善现有AI质检模型,保证主机厂和上游零部件厂家检测标准的一致性.
AI-Box设备支持光源、相机、镜头的自定义配置,采集数据的无缝对接工业视觉AI训练平台,并在工业视觉AI训练云平台实现数据标注和模型训练的完整闭环,同时支持模型下发本地的验证性测试.
2.
2助力企业效率提升生产效率即在单位时间内生产更多的高质量产品是企业核心竞争力之一,随着消费者对产品多样的化的需求,企业面临规模化的按需生产挑战,行业在积极探索一条生产线生产更多的产品,同时利用自动和智能化生产减少生产线工人,提升线体柔性.
5G+AI工业视觉充分发挥先进技术有优势,即满足多品种、小批量规模化生产,又减少生产人员提升企业生产效率.
2.
2.
1场景1:生产过程物品智能分拣在工业制造、物流产业等多个行业中,有很多对产品或物体进行识别检测、分类放置的需求;传统的基于人工视觉的检测方式,容易产生疲劳,无法一直保证很高的检测效率,且由于人眼本身的生理极限,很难在速度、精度等方面达到较高的标准.
因此,传统的人工检测方式制约了生产力水平的发展和提高,已经难以满足生产AI-Box应用场景09生活的需要,越来越多的基于机器视觉的分拣机器人被广泛地应用到各种各样的工业化流水线上.
即通过工业相机获取目标图像信息,完成对抓取目标的分拣工作.
传统的工业机器人视觉分拣系统中利用经典的计算机视觉理论,如不变距、模板匹配、SURF特征等算法识别和定位工件,对现场环境和工件形状、背景颜色有较高要求.
现场传送带上的工件、物体,可能形状复杂且呈现不同的姿态,而且密集摆放在一起,此种情况下经典的视觉识别与定位算法难以满足高识别率、高精度等要求,分拣机器人将无法胜任分拣任务.
基于5G+AI的机器视觉分拣系统解决方案中,集成5G终端的工业相机,解决了频繁更换网线的痛点,允许更灵活的部署方式,同时依托5G网络大带宽、高可靠的特性,将图像回传到云端利用深度学习AI检测图像方案,提升识别的准确率和定位精度,使得能够适应更加复杂的分拣环境,更好的完成分拣任务.
2.
2.
2场景2:生产过程瓶颈节拍分析在工厂产线有人参与的产品装配作业中,一般的动作通常包含固定的操作流程如:伸手、握取、移物、装配;操作人员在长时间工作或被干扰后,装配动作会出现遗漏、误操作等问题,同时也需要需要通过动作分析来找到动作存在的问题,以改善动作的顺序和方法.
基于此需求,随着图像获取与图像处理方法的发展,基于机器视觉的动作识别已经在视频监控、行为识别等领域获得广泛应用:即基于IPC工业摄像机,通过视频行为识别检测方法,自动识别人工装配过程中的工序是否正确,对错误操作实时进行报警提示,防止不合规操作发生以及发现并优化装配动作.
其中基于视频的行为识别是指从视频序列中提取描述动作行为模式的显著视觉特征,然后通过机器学习与模式识别等算法进行分类和理解,来实现视频目标的行为模式的识别.
某部件人工装配动作视觉AI分析实时节拍基于5G+AI的视频人工装配动作检测解决方案,通过5G网络回传视频到有强大计算能力的云平台,通过深度学习方法解决装配动作复杂多变,检测成功率不高的痛点,同时基于5G无线网络的灵活部署方案,使得该解决方案能被推广到更多行业应用中.
动作动作说明AI动作识别时长伸手将手移向目的地0.
43s抓取用手指可靠地控制目标物0.
38s移动移动目标物0.
56s定位对正待装配目标位置1.
12s装配进行装配动作操作6.
13s102.
3助力企业安全管理2.
3.
1场景1:生产现场生产安全巡检安全巡检包含厂区管理、安全生产、环境监控三个方面内容,以及在这些场景中对于人、车、设备等安全状态的检查,排查异常情况,及时解决问题和安全隐患.
传统安全巡检主要依靠人工,无论在巡检确定性、效率和及时性方面,都存在较为严重的问题:①人工员管理问题:巡检人员未按规定巡检,隐患未能及时上报,遗漏巡检点,纸质记录巡检情况;②巡检效率问题:受限检测点位、安全性服装等场景限制,导致人员巡检时需要更换工具及辅助设备,效率低;③及时性低:受限于安全人员数量以及厂区面积,无法做到安全隐患没有被及时发现,一旦发生问题如火灾等极端情况.
部分巡检开始使用固定和移动摄像头代替人工进行远程巡检,但整体智能化程度低,于监管安全产的摄像头和传感设备智能化程度较低,未能全覆盖产的主要险点,能够采集到的产数据有限,数据分析、监测预警等智能化应尚未开展,不能很好地满企业安全产监管的需求.
5G+AI视觉识别的智能安全巡检方式,通过现场高清设备进行采集,借助5G网络进行图像数据回传,通过深度学习训练AI模型,实时监控现场安全状态,从而实现对于现场的自动化安全巡检.
针对人员管理、车辆管理、安全着装规范识别、生产机械安全监控、危险行为监测和环境监控6个大的场景,该方案都可以达到较高的准确率,消除人工巡检存在的隐患.
112.
3.
2场景2:环境监控仪表数据读取在制造生产等企业中,各位安全监控仪表数据采集和监控是数字化管理的基础,物联网系统的构建可以将设备数据进行实时采集,大大提升整体管理效率,对于异常情况进行及时报警.
在构建物联网进行数据采集的过程中,往往会遇到以下的3大类问题,使得物联网监控系统构建受到很大阻碍:①设备支持:一些传统指针仪表,并不支持数字化的采集方式,无法将模拟信号转化成数字信号,仅仅能通过仪表盘进行数据读取,无法进行物联网协议对接;②协议开放:设备仪表厂家众多、协议众多,很多厂家协议并不对外开放,往往数据对接要和仪表厂商进行进一步沟通,很难得到有效支持,阻碍了仪表设备数据对接;③施工周期和成本:由于受到设备协议、场地接线等影响,建设完备的物联网体系周期往往较长,如为了搭建物联网系统进行设备更换,成本较高.
5G+AI工业视觉解决方案,通过摄像设备这类非侵入,易安装的方式实现对于各种类型仪表的图像采集,训练深度学习AI模型,实现对于仪表的自动化数字识别和传输,在物联网对接条件受到限制情况下,可绕开各类复杂协议,网络对接的问题,直接从图像数据中采集仪表数字.
如下图所示无论对于指针类型仪表、数字类型仪表,还是状态灯开关指示,都可以实现仪表数据的实时采集和传输识别,起到物联监控的效果.
5G+AI工业视觉:物联数据采集解决方案123.
1工业视觉四类典型应用方案工业视觉应用中业务模型是指从输出数据的相机端侧到接收数据的处理单元侧之间传输的数据类型、承载协议、数据量、传输间隔等业务模型,用于辅助分析不同的系统架构实现.
5G+AI工业视觉解决方案3典型工业相机系统处理流程典型工业视觉应用系统处理流程如上图所示.
工业视觉应用系统中相机在获得某信号触发指令后,执行图像采集过程,并将采集到的图像传输到处理设备,在图像识别检测处理完成后,根据结果进行指定的执行动作;一般在确定的产线工位生产循环节拍CT(CycleTime)时间下,用于视觉应用系统处理的最大时间是固定的.
在不同的应用系统架构下,工业机器视觉应用业务模型包括以下四种.
基于智能工业相机实时控制/结果类应用方案内置图像处理功能的智能工业相机输出的实时图像检测结果可直接用于应用处理,此类数据数据量小(Tp其中:TC:非智能工业相机图像传输前处理耗时,如对图像的预处理、ROI选择、压缩等Sf:待传输图像大小;如果是原始图像传输,则与相机像素、位深有关;如果是压缩图像传输,则与图像格式(像素、位深)、有损压缩质量、图像色彩丰富程度及不同的压缩算法有关V5G:5G网络所能提供的带宽速率Ti:在边缘平台上完成推理的耗时Tr:根据推理结果从边缘设备控制端侧设备时传输消息耗时Tp:为根据CT时间计算推导出的允许视觉处理的时间183.
3管:图像传输高经济性方案5G网络对比传统有线有移动性和灵活性优势,同样有带宽的劣势.
以中国移动目前2.
6GHz的100MHz频段为例,按照目前4:1的帧配比,单终端理论上行峰值速率约为190Mbps,如果为7:3帧配比,理论上行峰值速率为280Mbps;但在实际应用环境中,受各种因素影响,单终端普遍可获得上行速率在50~100Mbps.
因此,为适配当前5G网络能力,减少对5G传输网络的带宽需求,提升传输网络每单位Bit的经济价值,可采用如下方案解决:图像ROI抠图方案在某些应用场景下,所检测的目标区域相对固定在整张图的某个区域,此时可以通过设置ROI区域的方式,仅采集该区域图像,降低数据传输量.
如下图所示案例,通过ROI设置所读取的单板二维码信息区域,可以将单帧图像大小降低到10%左右.
此方案存在的缺陷在于不是所有的检测对象都是在固定区域,比如物体表面的缺陷、瑕疵检测,可能会出现在整幅图的任何区域,此时则不能划分固定区域.
图像压缩方案图像压缩方案是指在端侧先进行图像有损/无损压缩,然后基于TCP或可靠的UDP传输协议通过5G网络上传,以达到降低对网络带宽需求及提高传输可靠性的目标,针对不同的应用需求在压缩图像质量、压缩率、压缩时间之间找到一个最佳的压缩算法.
基于此目的,通过对视觉测量、OCR二维码读取、基于AI的深度学习检测等应用场景,在基于BMP原图的基础上使用广泛使用的不同压缩质量的JPEG图像对检测结果的影响进行多项测试,测试结果表明:对测量类视觉应用的影响根据测试结果,图像压缩后测量误差最大40Mbps取决于具体应用10ms–––>99.
9999–––>99.
9999√√√检测结果实时反馈下行速率>2Mbps99.
9999–––>99.
9999√√√Usecase#CharacteristicparameterInfluencequantityCommunicationServiceavailability:targetvaluein%Communicationservicerelibility:meantimebetweenfailuresEnd-to-endlatency:maximumDatarate[Mbit/s]TransferintervalSurvivaltimeUEspeed#ofUEsServicearea(note1)1(periodictraffic)99.
9999to99.
999999~10years9999to99.
999999~10years9999to99.
999999~10years9999to99.
999999~10years根据国际电信联盟(ITU)的标准要求,5G包括三大应用场景:eMBB(增强型移动宽带)、mMTC(海量机器类通信)和uRLLC(超可靠低时延通信).
利用5G技术可以搭建更宽、更广、更快和更可靠的通信基础设施;同时,在万物感知和万物互联的基础上,可以将采集的海量数据存储在云端,并利用云端的超强计算能力和人工智能技术对海量数据进行分析和学习,打造云端的工业大脑.
5G+AI工业视觉解决方案以5G与云平台做为工厂基础设施,选取机器视觉作为上层应用,形成端到端的整体解决方案,实现了云化控制、算法快速自优化、企业数据不出园区的安全性保障,并突破传统机器视觉的成本高、效率上限和质量不稳定等瓶颈.
算法上云让投资成本大幅节约,高速率、低时延的网络使得检测更灵活,作业效率明显提升,大数据处理与深度学习协同使质量有保障的提升,云化部署让调测、维护、扩展更便捷并让时间大幅缩短.
业界首个"5G+AI工业视觉白皮书"的发布也为5G+AI应用在其他行业场景落地提供了重要参考,可以复制及应用到智慧物流、智慧水务,智慧园区等更多领域,成为工业互联网平台的核心能力之一.
百度、华为等行业领导者将继续深化合作,持续探索创新,以5G和AI为基础设施,在更多工业智能化场景的开拓上不断前行.
5G+AI工业视觉未来展望4311、《中国移动5G行业无线专网研究报告》中国移动研究院2019.
112、《边缘计算安全白皮书》边缘计算产业联盟(ECC)与工业互联网产业联盟(AII)联合发布2019.
113、《边缘计算参考架构3.
0》边缘计算产业联盟(ECC)与工业互联网产业联盟(AII)联合发布2018.
114、《5G+智能制造白皮书(2019)》中国信息通信研究院2019.
95、百度云智能工业质检产品白皮书V1.
0参考资料清单532附录:术语表缩略语全称说明5GThe5thGenerationmobilecommunicationtechnology第五代移动通信技术eMBBEnhancedMobileBroadband增强移动宽带3GPPThirdGenerationPartnershipProject第三代移动通信标准化伙伴项目VCNVirtualCustomerNetwork虚拟园区网DISDigitalIndoorSystem室内数字系统MBMByte计算机中的一种储存单位,兆字节MECMobileEdgeComputing移动边缘计算URLLCUltra-ReliableLow-LatencyCommunication超高可靠超低时延通讯RANRadioAccessNetwork无线接入网络mMTCmassiveMachineTypeCommunications海量机器类通信ITUInternationalTelecommunicationUnion国际电信联盟SLAServiceLevelAgreement服务水平协议MTUMaximumTransmissionUnit最大传输数据单元BMPBitMaP位图,Window操作系统中的标准图像文件格式,非压缩图像格式JPEGJointPhotographicExpertsGroup联合图像专家组最常用的图像文件格式是一种有损压缩格式IPCIPCamera网络摄像机LANlocalareanetwork局域网NATnetworkaddresstranslation网络地址转换