英特尔内存不足怎么办

概览:京东利用CPU替代GPU加速图像分析案例研究云数据中心中国云服务提供商京东曾尝试使用GPU从其庞大的产品图像数据库中提取特征.
最终发现,在现有服务器上使用英特尔至强处理器可让性能提高3.
83倍1.
在存储设备和GPU分析集群之间复制数据占用了总处理时间的一半首次尝试使用GPU进行加速时,发现难以进行开发和执行京东在基于英特尔至强处理器E5家族的Spark*集群上,使用了BigDL库来运行其Caffe*模型性能提高了3.
83倍1与最初尝试使用GPU集群相比,在英特尔至强处理器上使用BIGDL的速度提升高达3.
83倍1京东是中国领先的零售商和云服务提供商.
其产品图像目录中有大量的信息,如果对这些信息加以分析,则可以构成视觉搜索或价格比较应用的基础.
当京东尝试使用GPU分析其庞大的商品图像数据库时,发现很难管理,并且在存储设备和数据集群之间复制数据十分耗时.
通过与英特尔密切合作,京东在基于英特尔至强处理器的图像存储服务器上部署了BigDL深度学习库,性能提升高达3.
83倍1.
这使京东能够更加敏捷地使用产品图像来作为新服务的基础.
挑战从京东的完整产品目录中提取图像特征,目录中涵盖电脑、玩具和服饰等多种类别,产品数量多达数亿件为图像分析创建高性能的基础设施,该基础设施需要可扩展以应对不断增长的数据库构建易于开发且可用于创建新图像分析应用的云分析平台解决方案京东在基于英特尔至强处理器E5家族的数据存储服务器上,使用了BigDL来部署现有Caffe*模型该基础设施通过添加新的标准英特尔至强处理器服务器,能够实现高效的横向扩展采用了ApacheHadoop*和Spark*框架来处理资源管理工作,因此未来能够更轻松地开发新应用,同时保持高效性能结果与基于GPU的备选解决方案相比,性能提升高达3.
83倍1京东构建了一个创新平台,既可用于轻松创建新的应用,也可供内部使用并用于新的公有云服务与运行独立的GPU集群相比,京东在重复使用现有的硬件资源进行分析后,降低了解决方案的总体拥有成本案例研究|京东利用CPU替代GPU加速图像分析2分布式存储系统预处理调整大小规范化批量处理预处理调整大小批量处理裁剪SingleShotMultiBoxDetector(SSD)模型DeepBit模型101010特征框和分数HDFS*提取特征层分类器:Conv:3x3x(4xClasses+4))图像Conv4_3Conv6(FC6)Conv7(FC7)Conv8_2Conv9_2Conv10_2Conv11_2基于Conv5层的VGG-16检测数量:每类8732个非最大值抑制固态盘促进有效的图像分析对于京东而言,云技术是其业务的基础.
除了作为中国领先的零售商,并提供其他方使用的在线销售平台之外,京东还提供公有云产品.
在某些情况下,企业的零售业务会推动创新,而之后可将这些创新提供给公有云客户.
京东的零售网站拥有一个庞大的在售产品目录,产品图像多达数亿张.
这些图像均存储在Hadoop框架的分布式存储系统(京东自研)中.
而京东希望能够匹配不同产品图像中的特征.
例如,这项功能可用于支持视觉搜索特征,客户可以拍摄他们所喜爱商品的照片,京东会根据照片为客户找到他们可购买的类似商品.
另外,还可使用该功能将京东的产品与其他网站上的产品进行匹配,这样京东就能以极具竞争力的价格销售产品.
京东的团队曾尝试使用图形处理单元(GPU)创建特征匹配应用,但却发现难以充分扩展GPU来处理数据库.
京东尝试使用了多GPU服务器和GPU集群.
在集群环境中,京东遇到了常见的内存不足错误,以及因GPU内存不足而导致的程序崩溃.
事实证明,在集群中,以GPU卡为单位的资源管理和分配工作非常复杂,容易出现错误.
在多GPU服务器情况下,京东的开发人员不得不手动管理数据分区、任务均衡和容错.
此外,还存在诸多依赖性(如CUDA*),使生产部署变得十分困难.
在GPU中执行图像处理时,还会出现延迟,这是由于将数据从分布式存储系统复制到GPU进行分析,然后再将结果复制回来需要花费时间而导致的.
这部分流程所耗费的时间占特征提取总时间的一半.
图像预处理也具有很大的挑战性,因为目前还没有软件框架可支持资源管理、数据处理和容错.
因此,京东需要一个能够以可扩展和可持续的方式,为图像数据库的特征提取流水线提供支持的基础设施.
使用BigDL实现可扩展的深度学习京东使用了BigDL(一款面向ApacheSpark*的分布式深度学习库),在使用基于英特尔至强处理器E5-2650v4的服务器的CPU上运行特征提取工作负载.
凭借BigDL,京东可以使用Scala或Python*创建基于可扩展Spark集群的深度学习应用.
它可以横向扩展至数百或数千台服务器.
为提升性能,BigDL使用英特尔数学核心函数库(英特尔MKL)和并行计算技术来利用英特尔至强处理器功能.
通过BigDL,京东能够加载之前已使用GPU资源训练好的Caffe*模型,然后在现有CPU图像存储架构上重新部署这个模型.
在京东的应用中,SingleShotMultiBoxDetector(SSD)模型用于检测图像中的目标,而DeepBit模型则用于从目标中提取特征.
图1.
京东的特征提取工作流程,使用BigDL管理用于目标检测的SSD模型以及用于特征提取的DeepBit模型.
案例研究|京东利用CPU替代GPU加速图像分析3工作流程如下所示(参见图1):1.
从分布式存储系统中读取数亿张图片,构建成弹性分布式数据集(RDD).
2.
使用BigDL预处理这些图像,准备供SSD模型使用(包括调整大小、规范化和批量处理).
BigDL提供基于OpenCV的图像预处理库,支持常见转换和扩充.
3.
加载SingleShotMultiBoxDetector(SSD)模型,以便在Spark上进行大规模的分布式目标检测.
这会为检测到的目标生成对应的坐标和置信度分数.
4.
根据分数最高的目标的坐标,裁剪原始图片.
5.
预处理目标图像,准备供DeepBit模型使用(包括调整大小和批量处理).
6.
使用BigDL加载DeepBit模型,以便在Spark上对目标图像进行分布式特征提取.
这将以矢量浮点的形式生成对应的特征.
7.
将所提取的对象特征的RDD存储在Hadoop分布式文件系统*(HDFS*)中.
通过使用带有1,200个逻辑内核的高度并行架构,从数据库中读取图像数据的流程大幅加快,让整体性能提高了3.
83倍1.
该解决方案以京东现有的CPU资源为基础.
使用的是英特尔至强处理器E5-2650v4(以2.
20GHz运行).
每个服务器拥有24个物理内核,启用了英特尔超线程技术(英特尔HT),并且已配置为支持50个使用集群管理技术ApacheHadoopYetAnotherResourceNegotiator*(YARN*)的逻辑内核.
在使用24台服务器的情况下,解决方案的逻辑内核总数达到了1,200个,提供了高度并行的工作流程.
通过使用BigDL,京东能够在基于英特尔至强处理器的现有服务器上重用之前已使用GPU训练好的模型.
与运行单独的GPU集群进行特征提取相比,这降低了成本,因为它无需额外的GPU卡,并且GPU服务器的配置与CPU服务器的配置相同.
此外,CPU集群会通宵处理BigDL工作负载,并可在白天处理其他任务,从而提高了利用率.
凭借高度并行的数据加载,京东显著缩短了特征提取时间,并且在使用Spark框架来管理资源、容错和任务均衡后,京东也从中获益.
随着性能的提高,以及能够通过添加更多标准服务器来轻松横向扩展解决方案,京东目前可以在图像分析过程中处理更大的数据集.
与英特尔紧密协作新的特征提取功能是在与英特尔研发工程师的协作过程中开发出来的.
京东和英特尔有着长期的合作关系,过去几年一直致力于开发大数据和数据分析应用.
英特尔的中国研发团队协助多家云服务提供商采用开源解决方案(如BigDL),并且能够带来诸多部署方面的工作经验.
京东高级软件工程师(算法)ZhenhuaWang说,"我们在如何基于大数据集群构建大规模深度学习应用方面遇到了挑战.
而英特尔在BigDL技术方面与我们完美契合,并且协助我们实施了这项技术.
英特尔团队给我们带来了丰富的专业知识和经验,帮助我们加快了服务上市速度,并推动我们不断创新.
"解决方案的技术组件BigDL.
BigDL是一个面向ApacheSpark*的分布式深度学习库,它使得开发人员能够使用Scala或Python编写适用于Spark集群的深度学习应用.
它是一个开源框架,支持多个组织在同一Hadoop或Spark数据存储集群上分析数据英特尔至强处理器E5家族.
英特尔至强处理器E5家族专为构建下一代数据中心而设计,可为数据中心或云中的多样化工作负载提供多功能性英特尔数学核心函数库(英特尔MKL).
英特尔MKL能够以最小的工作量,对未来的英特尔处理器系列优化代码.
它包含经过高度优化、线程化和矢量化的数学函数,可以最大程度地提高各个处理器家族的性能ApacheSpark*.
ApacheSpark是一个用于处理大规模数据的快速引擎,可以使用Java、Scala、Python或R语言编写ApacheHadoop*.
ApacheHadoop软件库是一个框架,它允许跨计算集群,对大型数据集进行分布式处理.
它包含Hadoop分布式文件系统(HDFS)模块,而京东使用该模块存储从图像中提取的特征数据.
HadoopYARN提供了一个框架,可用于在CPU上进行作业调度和集群资源管理英特尔以太网服务器适配器I350和英特尔以太网融合网络适配器X710.
为满足网络方面的要求,京东使用英特尔适配器来满足敏捷数据中心的严苛需求案例研究|京东利用CPU替代GPU加速图像分析4寻找适合贵公司的解决方案.
请联系您的英特尔代表或访问intel.
cn/CSP经验总结了解更多英特尔至强处理器E5家族BigDL:基于ApacheSpark*的分布式深度学习英特尔数学核心函数库(英特尔MKL)解析京东大数据下高效图像特征提取方案创新平台京东构建了一个平台,可使用它基于图像匹配和特征提取来创建新服务,同时还可在京东开发其他深度学习和人工智能应用时用作模板.
借助BigDL框架,京东能够在通用硬件上使用Caffe*、Torch*和TensorFlow*等框架中的预训练模型,从而以更快的速度测试和推出新服务,且无需投入专用硬件.
京东将继续面向内部应用和基于云的服务,在各种深度学习应用(包括分布式模型训练)中运用BigDL.
在公有云产品方面,京东已经推出了基于BigDL的文本分类模型,支持按主题对文章进行分类.
京东将继续在这些方面及其他新技术计划方面与英特尔密切合作.
京东简介京东隶属于京东集团,于2004年进入电子商务领域.
截至2017年3月,京东拥有超过120,000名正式员工,是中国最大的手机、数字技术和计算机零售商在线市场之一.
公司的产品目录涵盖多个类别,包括家居用品、电脑、玩具、男装、女装、鞋类、图书、礼物、运动装备和汽车配件.
2014年5月,京东成功在美国纳斯达克上市.
www.
jd.
com其他云服务提供商可以从京东的经验中学习以下方面:通过在同一数据存储集群上执行深度学习分析,可以消除将数据复制到独立分析集群所需的时间.
在京东的案例中,这占据了整个分析工作负载运行时间的一半BigDL提供了一个框架,可用于在Caffe*等框架中加载已使用GPU训练好的模型,并在基于CPU的Spark*中使用这些模型.
BigDL还可与第三方预训练模型一起使用,从而加快服务上市时间通过创建图像特征提取功能,京东目前能够开发和部署创新型应用,令自身的公有云产品(如文本分类)或电子商务业务(如图像搜索)更具竞争优势案例研究|京东利用CPU替代GPU加速图像分析51解析京东大数据下高效图像特征提取方案,https://software.
intel.
com/zh-cn/articles/building-large-scale-image-feature-extraction-with-bigdl-at-jdcom.

英特尔技术特性和优势取决于系统配置,并可能需要支持的硬件、软件或服务得以激活.
产品性能会基于系统配置有所变化.
没有计算机系统是绝对安全的.
更多信息,请见https://software.
intel.
com/zh-cn/articles/bigdl-distributed-deep-learning-on-apache-spark,或从原始设备制造商或零售商处获得更多信息.
性能测试中使用的软件和工作负荷可能仅在英特尔微处理器上进行了性能优化.
诸如SYSmark和MobileMark等测试均系基于特定计算机系统、硬件、软件、操作系统及功能.
上述任何要素的变动都有可能导致测试结果的变化.
请参考其他信息及性能测试(包括结合其他产品使用时的运行性能)以对目标产品进行全面评估.
关于性能和基准测试程序结果的更多信息,请访问www.
intel.
cn/content/www/cn/zh/benchmarks/benchmark.
html性能估测结果在实施近期针对"Spectre"和"Meltdown"漏洞的软件补丁和固件更新之前发布.
实施更新后,这些结果可能不再适用于您的设备或系统.

英特尔不控制或审计本文提及的第三方基准测试数据或网址.
请访问提及的网站,以确认提及的数据是否准确.

描述的成本降低情景均旨在在特定情况和配置中举例说明特定英特尔产品如何影响未来成本并提供成本节约.
情况均不同.
英特尔不保证任何成本或成本降低.
此处提供的所有信息可在不通知的情况下随时发生变更.
关于英特尔最新的产品规格和路线图,请联系您的英特尔代表.

本文中的性能测试将20个NVIDIATesla*K40与24个基于英特尔至强处理器E5-2650v4(2.
20GHz,1200个逻辑内核)的服务器进行了比较.
每个服务器拥有24个物理内核,启用了英特尔超线程技术(英特尔HT技术),并且已配置为支持50个使用ApacheHadoopYetAnotherResourceNegotiator*(YARN*)的逻辑内核.
英特尔、英特尔标识、至强是英特尔公司或其子公司在美国和/或其他国家的商标.