英特尔电脑内存不足怎么解决

白皮书2014年8月IT@Intel大数据分析助力获取充分的营销资讯英特尔IT以及营销事业部相信,营销分析平台及其底层技术可为企业提供重要的业务价值.
RichardMason英特尔IT营销分析产品负责人SeshuEdala英特尔IT工程师NavneetKumar英特尔IT大数据BI开发工程师S.
Suman英特尔IT大数据BI开发工程师PradeepBaluvaneralu英特尔ITBI分析师AdapaN.
K.
EswaraReddy英特尔IT大数据BI开发工程师LakshmananLetchumanan英特尔IT信息技术经理要点概述基于ApacheHadoop*软件的英特尔数据平台有一项重要的用途,即提供深入的资讯并支持对英特尔的营销投资优化.
其目标是帮助营销部门实时了解营销活动效果,并确定哪些方面需要改良.
过去,英特尔每次研究单个媒介渠道提供的营销数据.
现在,我们的解决方案支持对多个媒介渠道同时分析,从而对多种营销渠道如何在大型市场活动中产生合力作用有更深入的了解.

英特尔IT以及公司营销事业部相信,营销分析平台及其底层技术可尽量提高未来营销活动的效果和效率,从而为企业提供重要的业务价值.
英特尔IT选择英特尔数据平台作为营销分析平台的支持技术.
其中的一个关键任务是确定在英特尔数据平台上增强哪些技术特性,以便对营销分析平台有更强力的支持.
技术目标包括:使用最新的技术缩短数据处理时间优化数据显示方式,方便用户查找处理时间和存储空间方面因借助英特尔数据平台内的多种优化技术而获得了显著优势.
我们的ApacheSpark*和ApacheShark*概念验证在这些方面实现了进一步的优化.
项目团队相信,营销分析平台及其底层技术可为企业提供重要的业务价值.
我们的战略将更关注未来的营销活动,帮助英特尔将资金投入到能够尽量提高参与度、品牌知名度和需求生成的营销解决方案.
IT@Intel白皮书:大数据分析助您获得敏锐的营销资讯第2页,共9页www.
intel.
cn/IT对本文有贡献者TatianaShusterman市场营销研究经理缩略词ETLextract,transform,load提取、转换、加载MPPmassivelyparallelprocessing大规模并行处理RDDresilientdistributeddataset弹性分布式数据集背景为了满足英特尔对大数据分析的需求,英特尔IT实施了基于ApacheHadoop*软件的英特尔数据平台.
多个业务部门使用该平台发掘大数据背后隐藏的价值,其中包括公司营销事业部,该部门目前开始使用英特尔数据平台对多个数据源分析,包括付费和自有媒介渠道(付费搜索、付费数字条幅、付费社交投资、Intel.
com以及自有社交媒体),以评估营销活动的效果.
过去,每次的分析只能是单个媒介渠道,而渠道之间的数据整合极少.
整合多种渠道的分析让我们能够更容易了解客户的具体情况,并实现最终目标—增强与英特尔受众互动,提高品牌知名度并推动需求生成.
图1展示了对多种渠道进行数据分析后,便能够了解到不同的付费媒介对于提高客户参与度所起的作用,同时在各个渠道之间实现最优化的投资平衡.
另外,分析还包括一个渠道对另一个的影响,例如客户从一个渠道(付费数字条幅)获取信息,然后经由另一个渠道(付费/有机搜索)参与.
为了向该解决方案提供技术支持,英特尔IT需要评估英特尔数据平台的实施(参阅《了解今天的英特尔数据平台》侧栏).
使用该平台的最新版本来对处理从单一个媒介渠道得来的数据,执行日常数据处理任务需要4至5个小时,而对18个月的历史数据处理需要12个小时的时间.
考虑到数据种类和数量的增加,以及跨渠道整合数据的复杂度,该平台需要再作优化,除了确保在可控制的范围内执行日常处理任务之外,还需要能够支持交互式查询,从而帮助营销事业部询问更复杂的问题.
崶崶嵁崶崶图1.
营销事业部希望将营销活动分析扩展至所有的媒介渠道,如付费数字条幅、付费社交投资和付费/有机搜索.
这种方法能够让我们更全面地了解活动的效果,并帮助确定哪些领域的投资最有效,以及如何优化这些投资.
目录1要点概述2背景3解决方案营销分析平台英特尔数据平台架构6概念验证ApacheSpark概念验证ApacheShark概念验证8后续步骤9结论IT@Intel白皮书:大数据分析助您获得敏锐的营销资讯第3页,共9页www.
intel.
cn/IT解决方案英特尔IT和公司营销事业部组建了一支项目团队,着手创建营销分析平台.
该项目团队选择英特尔数据平台作为技术解决方案的基础,因为它能够通过不同的数据源来收集、调整、分析和发现信息.
项目团队构建的营销分析平台旨在满足以下业务目标:支持全球范围内的管理人员及时访问数据创建一个详细、全面的客户行踪视图,包括客户在购买过程中如何从一个渠道转向另一个提供一个灵活的平台执行高级分析、数据挖掘和历史趋势分析等任务实现上述业务目标的关键是部署一个适当的技术环境.
其中包括提供英特尔数据平台增强特性,以及研究如何更有效地运用新兴技术来实现以下目标:使用最新的技术缩短数据处理时间优化数据显示方式,方便用户查找营销分析平台该项目团队设想构建一个单一的数据和报告平台,以便为营销事业部提供丰富的分析功能.
如表1所示,该平台将从以下几个方面提供支持:活动效果.
使营销活动和不同渠道(付费、自有和免费)内容的效果评估实现标准化,自动创建跨媒介渠道的报告.
活动优化.
推动内部、近实时分析,以优化营销活动,包括跨渠道的活动.
分析演练沙盘(AnalyticsSandbox).
为数据挖掘和高级分析提供演练沙盘.
我们相信该平台将可提供以下业务优势:更有效地安排各媒介渠道之间的营销支出分配进一步优化营销内容、渠道和活动来改进投资分配决策未来,该解决方案将支持营销事业部了解英特尔营销活动如何转化为实际的销售,从而帮助在营销和销售机构之间的协调.
⊥⊥恐交⊥⊥交什姣交吢擽仁惥表1.
营销分析平台支持营销事业部评估渠道内和渠道之间的营销活动的效果.
活动效果活动/渠道等级某个特定的营销活动能够带来多少曝光机会总体参与率是多少哪种渠道能够带来单位成本更高的参与度活动优化活动/渠道等级在针对某个活动的特定渠道中,哪种内容能够带来单位成本更高的参与度如果某种内容在不同的渠道中使用,那么它在哪种渠道中的效果更好哪些付费媒介活动对自有和免费媒介的影响最大分析演练沙盘接触等级(ContactLevel)在Intel.
com上购物或对英特尔广告有所响应的客户在年龄分布和行为方面有哪些特征营销事业部如何以及经由哪种渠道再次吸引他们的注意客户通过各种不同的方式使用Intel.
com,这些方式与最终的购买行为之间有何关联IT@Intel白皮书:大数据分析助您获得敏锐的营销资讯第4页,共9页www.
intel.
cn/IT英特尔数据平台架构该项目团队在英特尔的定位比较特殊,它本身担任着双重责任—明确营销分析项目的技术(支持平台及其分配)以及业务价值(客户需求).
该团队不是简单地将需求与平台相匹配,而是使用故事板找出与英特尔数据平台技术相关的近期所有使用案例、有哪些可能和限制.
然后该团队将这些需求提供给英特尔IT.
英特尔IT负责对技术堆栈扩展,使其不仅限于媒介的作用,从而针对未来进行规划.
为支持营销分析平台,英特尔IT指出该解决方案必须要能够应对三种类型的数据处理:批量处理.
处理大量闲置数据(主要是将原始数据转换为可报告的数据)的长时间分析循环.
交互式"即席"查询支持用户通过将实际、多维和原始数据结相结合,以便获得描述式和直观的资料.
数据流处理.
少量数据到达后,在存储到磁盘之前对其进行持续处理和分析的数据处理管道.
每种数据处理类型旨在满足大数据在不同方面的要求,包括容量、速度、价值和变量.
最新版英特尔数据平台可有效执行批量处理和交互式查询;批量处理能够以并行的方式对大量闲置web日志数据转换,而Hive开放数据库连接数据库界面支持企业用户对数据集专门查询.
但是,使用Hive的专门查询会持续数秒钟的时间,因此无法提供真正的交互式体验.
基于对营销分析平台的构想,我们需要在解决方案中添加数据流处理和交互式分析功能,以便执行近实时数据分析,从而降低从数据生成到获得实际资讯过程中的数据延迟和查询延迟.
为此,我们评估现有的数据流架构,并确定需要优化哪些领域,从而提供数据流处理和交互式查询支持.
未来,该解决方案将支持营销事业部了解英特尔营销活动如何转化为实际的销售,从而帮助在营销和销售机构之间的协调.
日吢擽IT@Intel白皮书:大数据分析助您获得敏锐的营销资讯第5页,共9页www.
intel.
cn/IT凧崶嵁崶崶MRXIPGSQ恐数据流架构如图2所示,当前的英特尔数据平台按照以下数据传输方式部署:1.
数据来自不同的来源,如社交feed和网络数据.
2.
ApacheCamel*按照企业的整合模式将数据发送至英特尔数据平台.
3.
ApacheMapReduce*、ApachePig*和ApacheHive*按照转换规则来处理数据:MapReduce.
协调集群中的每台服务器,以并行处理总体处理任务的不同部分的分布式计算功能.
Pig.
用于数据清理、过滤和转换的交互式脚本编写环境.
Hive.
用于多维连接和聚合的SQL语言.
它还可用于专门查询.
4.
在线分析处理库(processingcube)通过Hive开放数据库连接接口直接连接到Hadoop,以减少数据跳变.
5.
ApacheSqoop*使用本地实用程序和连接器,从Hadoop导入数据并导出至大规模并行处理(massivelyparallelprocessing,简称MPP)关系型数据库.
MPP关系型数据库支持交互式报告和查询.
曃'7:<10*0%8%TEGLI'EQIP曃7USST7USST曃勮n彩姁,EHSST亼晊巰,MZI忛⒉忛,EHSSTⅢ⒉偗⒉偑仐1ET6IHYGI4MK,MZI,MZI姁塉⒉察%TEGLI'EQIP亼图2.
从不同的来源收集的数据流向英特尔数据平台.
然后,英特尔数据平台将数据转换,以便分析和生成报告.
在英特尔数据平台内,我们采用分割方案和其他优化方法来减少处理时间.
IT@Intel白皮书:大数据分析助您获得敏锐的营销资讯第6页,共9页www.
intel.
cn/IT优化英特尔数据平台借助英特尔数据平台内的多种优化技术,处理时间和存储空间方面获得了显著提升.
对于Hadoop中的大型文件,我们使用了SequenceFile格式并启用了压缩功能,以尽量降低I/O延迟,并避免出现大量较短的映射任务.
对于在Hadoop中聚合并导出至MPP数据库的数据,使用了未压缩的文本格式以便于兼容,从而将存储容量减少到1/4至1/5.
该优化将产品端到端的执行时间缩短2.
5个小时.
对于大容量的中间文件,我们考虑提高数据块的容量.
较小的数据块意味着需要为较短的任务提供冗余设置并支付拆卸成本.
参照业内处理大型文件的最佳实践,我们选择将数据块的容量提高至256MB.
此外,我们还决定每天对所有作业执行一次监控,这样当数据量增加时,便可以调整reducer的数量.
我们不仅采用Hive和Pig,还结合了项目相关专业知识和数据知识来确定reducer的最佳数量,以减少不必要的开支.
另外,我们选择使用RCFile列格式来存储Hive表.
在任何时间点,仅运算几列数据就可符合业务规则.
列存储与分区相结合的方式可提供最优的数据布局、访问、存储和数据压缩.
这可降低存储需求,并尽量提升处理吞吐量.

概念验证除了上述提到的初步优化,我们还以进一步增强英特尔数据平台部署并支持其采用数据传输处理为目标,对ApacheSpark*和ApacheShark*进行了研究.
ApacheSpark概念验证ApacheSpark是使用Scala*编程语言构建的MPP系统.
Spark通过将数据提取至容错的弹性分布式数据集(resilientdistributeddataset,简称RDD)来实现分布式计算.
RDD根据需求在内存中计算和缓存,并能够感知分区、位置和沿袭情况.
此外,RDD还不会发生变化.
MapReduce和RDD的主要不同之处在于转换序列:基于磁盘的MapReduce借助顺序映射化简(sequentialmap-reduce)程序将数据转化,而RDD根据数据沿袭的需求计算数据,并长期保持数据在内存中,直至数据被视为无效或不必要数据.
如果出现内存错误,致使数据无效,RDD将再次应用整个数据沿袭,使数据在内存中再次出现.
了解今天的英特尔数据平台英特尔数据平台是一款开源软件产品,用于在ApacheHadoop软件上支持大量数据分析.
该平台针对ApacheHive*查询进行了优化,可为开源R*统计编程语言提供连接器,并支持使用IntelGraphBuilderforApacheHadoop软件—一种函数库,可将大型数据集构建到图形中,以便显示数据之间的关系—提供图形分析.
其他主要功能包括:针对英特尔至强处理器和英特尔10GbE服务器适配器进行优化来提升Hadoop性能通过加密和解密技术,数据更为保密,该加密和解密技术不会在存储层—Hadoop分布式文件系统*—中造成性能损失,充分利用了英特尔高级加密标准新指令提供的增强功能1使用HBase*在Hadoop分布式文件系统之上运行的开源、非关联式的分布式数据库,基于用户职能的访问控制可支持单元级粒度借助HBase和Hadoop分布式文件系统实现多站点可扩展功能和自适应的数据复制Hive查询的性能获得了高达3.
5倍的提升.
1英特尔AES-NI要求计算机系统具备支持AES-NI的处理器,并要求非英特尔软件能以正确顺序执行各项指令.
AES-NI在指定的英特尔处理器上可用.
有关上市时间,请咨询当地经销商或系统制造商.
如欲了解更多信息,请参阅英特尔高级加密标准指令集(AES-N).
IT@Intel白皮书:大数据分析助您获得敏锐的营销资讯第7页,共9页www.
intel.
cn/IT从设计角度而言,由于多种原因Spark的速度比传统的MapReduce更快,包括:数据优先考虑存储到内存中,而非写入磁盘.
常访问的数据可选择缓存在内存中,并跨多个不同的转换链重复使用.
因为RDD不会发生变化且输入牢固(stronglytyped),所以记录集可以编写为索引,这可为记录的索引访问和数据块访问提供出色的性能.
我们执行了一个概念验证,以确定Pig中的批量处理例程是否能够在Spark中重新编写并获得性能提升.
我们测试了多种容量的数据集,从65KB到400MB,并研究了对数据序列化对内存管理和查询性能的影响,以及内存内压缩是否能够带来益处.
通过借鉴Spark概念验证,我们确认了几种最佳方法,如表2所示.
ApacheShark概念验证ApacheShark是一款内存SQL查询引擎,运行于Spark顶端并使用Hive.
Shark旨在基于以下两种潜在优势取代Hive层:Shark可绕过传统MapReduce,并利用Spark的RDD模型加快数据处理速度.
Shark服务器可以作为中央高速缓存,支持多个客户端会话使用.
除了Spark概念验证之外,我们还执行了一个概念验证来评估要求的Shark延迟降低,目标是确定Shark的RDD模型和内存是否能够提供足够的优势,以提供交互式并发用户体验.
我们设计了两个查询:通常报告环境在连接至Hive系统时会使用的专门查询.
该查询使用更简单的星型方案来结合事实表和多个维度表.
该查询使用了75MB的事实表.
将原始数据集转换为可报告数据集的简单数据仓储ETL(extract,transformandload;提取、转换和加载)查询.
该查询可运行大小超过75MB的数据集.
表2.
Spark*最佳方法最佳方法主要驱动因素Kryo序列化RDD上的记录需要在网络中进行序列化和反序列化处理.
我们发现,使用Kryo序列化可比Java*序列化节省两倍的空间.
Kryo在本地Java对象表示(objectrepresentation)上的支出较少,但是速度明显比Java序列化更快.
弹性分布式数据集(RDD)压缩如果内存不够让数据使用KRYO系列化,可以考虑使用RDD来压缩.
要注意的是由于内存容量减少,速度会受到影响.
在性能方面会有点下降.
Snappy*压缩考虑使用Snappy压缩,而非默认的LZF压缩.
尽管测试表明使用Snappy的速度更快,但是我们并未专门测量从压缩所得的节省.
垃圾回收考虑在内存中以Kryo序列化格式将数据存储为一个大型阵列,以尽量避免垃圾回收受到中断.
Java对象的数量越多,垃圾回收的成本便越高.
因为序列化后存储的对象数量越少,垃圾回收的成本便会显著降低.
基元由于Java对象消耗大量内存空间,请考虑使用基元(如果适用).
磁盘上的数据列存储如要将数据存储在磁盘上,可考虑使用RCfile或Parquet等列存储.
Parquet比RCfile的压缩性能和列格式表现更高,从而支持更快地访问列子集.
此外,压缩可以降低I/O.
联合分区考虑使用联合分区,以确保在本地节点上可以聚合和连接,而无需调整或执行网络传输.
这种方法可让作业更快地运行.
RDD的磁盘高速缓存考虑使用本地磁盘为RDD缓存.
尽量少使用深度较高的RDD;即在从数据源到目的地的沿袭过程中,如果转换次数少,并均为本地转换,那么,重建成本将低于磁盘的反序列化处理.
IT@Intel白皮书:大数据分析助您获得敏锐的营销资讯第8页,共9页www.
intel.
cn/IT对于两种查询,我们发现以下相似的结果:Shark的速度是Hive的5至6倍(见图3),但是内存优势并不明显.
我们推断,由于以下的原因,所以未带来内存优势:专门查询不支持大量反复使用所缓存的不可变数据集.
此外,数据集太小而无法测量出从内存读取与从磁盘读取之间实质的差异.
ETL场景中涉及的数据量太大,导致内存处理速度下降.
此外,数据在查询过程中转换,无法持续,因为后续查询无法利用该转换.
总体而言,我们相信,相比当前的Hive层,Shark更具优势.
但是,它无法提供交互式的发现体验.
为此,我们计划将继续对Cloudera*Impala和PrestoDB*评估,这两者均为Hadoop下的SQL查询引擎.
后续步骤除了使用Spark和Shark优化当前的大数据批量处理,使用Impala或PrestoDB减少查询延迟以外,我们的营销分析平台需要实时分析功能,以便在数据到达时立刻获取信息.
目前的常规数据获取计划对于实时分析而言太不明显.
我们计划继续研究下列组件的使用方法,以确定它们是否能够降低从数据就绪到转化成决策点之间的延迟.
ApacheFlume*.
可处理增量日志文件的容错分布式日志聚合系统.
ApacheKafka*.
可支持多个连接松散的发布程序和订阅程序同步交换数据的快速、可扩展、分布式,高吞吐量消息服务.
ApacheStorm*.
可简化针对持续、永久,无限数据流的ETL拓扑的分布式并发数据处理管道.
三种组件共同构成一个数据收集、通信和处理系统,该系统适用于快速、小型的数据,与缓慢、大型的数据系统相互配合.
日察)80察7LEVO,MZI7,%6/怜櫕,MZI图3.
Shark*在专门查询和ETL(提取、转换、加载)查询方面的速度是Hive*的5至6倍.
结论企业营销事业部和英特尔IT共同展开了一个营销分析项目,帮助英特尔在媒介渠道内部和之间更有效地分配营销资金.
该项目的核心任务是构建一个营销分析平台,支持营销事业部跨渠道分析数据,从而更全面地了解内容、渠道和营销活动如何共同发挥作用.
英特尔IT提供了有效的信息,帮助营销事业部根据项目目标调整技术解决方案.
该项目团队继续开发营销分析平台,并对英特尔数据平台增强其功能特性,希望该解决方案将为营销和销售部门提供显著优势.
此外,英特尔IT还计划将英特尔数据平台上的技术优化运用到企业的其他大数据使用案例中.