数据刀片服务器的优势

IT@Intel白皮书英特尔IT部门IT最佳实践商业智能2012年7月挖掘企业大数据,成就更佳商业智能通过挖掘和分析大数据,企业将能够更深入、更广泛地洞察业务模式和发展趋势,帮助企业在制造、安全、营销和IT领域提高运营效率和竞争优势.
MotyFania高级商业智能解决方案,英特尔IT部门JohnDavidMiller英特尔IT实验室首席工程师要点综述英特尔IT部门正在部署系统和开发技能,用于深入分析大数据,以提高公司的商业智能(BI).
这一数据中的一大部分为非结构化的大数据集,在企业数据中所占的比例最高可达90%.
通过挖掘和分析来自各种来源形式的大数据,我们将能够更深入、更广泛地洞察业务模式和发展趋势,帮助企业在制造、安全、营销和IT领域提高运营效率并获得竞争优势.
要提升未来业绩,我们需要开发企业技能,以挖掘和处理大数据,并在此基础上预测和分析最佳行动方案,来支持英特尔:做出更明智的决策提高业务发展速度加快创新步伐发现和开拓新市场企业通常在意识到信息的全部价值之前,就已经开始获取并存储信息.
如今,并行计算的发展使处理大数据成为可能,并且能够解决许多以前由于数据过大而无法处理的业务难题.
英特尔IT部门在2012年与英特尔业务各部门密切合作部署了一个大数据平台,用概念验证展示其在为企业提供商业智能方面的出色成效.
我们2012年的大数据项目包括:恶意软件检测芯片设计验证市场情报推荐系统英特尔正处于利用大数据实现更佳商业智能的初期阶段,但我们预期这些能力在研发、网络安全、设计、制造、运营、市场开发和人力资源管理等领域将会快速增长.
IT@Intel白皮书挖掘企业大数据,成就更佳商业智能2www.
intel.
com/cn/ITIT@INTELIT@Intel计划将全球各地的IT专业人员及其在我们机构中的同仁紧密联系在一起,共同分享经验教训、方法和战略.
我们的目标十分简单:分享英特尔IT部门最佳实践,获得业务价值并实现IT竞争优势.
如欲了解更多信息,请访问www.
intel.
com/cn/IT或联系您当地的英特尔代表.
业务挑战互联设备、互联网服务、社交媒体、照相机、传感器和用户在全球各地产生的内容正呈爆炸式的增长,使原始数据量亦呈指数级升高.
此外,多至90%的企业数据(包括文档、网页和电子邮件)都是非结构化数据.
数量庞大和复杂的数据使传统的数据库软件难以应对,并急需一种新的方法来处理.
浩瀚数据,知识难求麦肯锡全球研究院的报告《大数据:创新、竞争和生产力的下一个前沿领域》显示,在美国的17个业务领域中,有15个领域的公司的数据存储量比美国国会图书馆还多.
1沃尔玛就是一个典型实例.
这一零售业巨擎每小时要处理超过100万笔客户交易,其数据库估计包含超过2.
5PB的数据,相当于美国国会图书馆全部书籍中所含信息的167倍.
这些大数据主要来自于全球数十亿笔的交易,以及诸如英特尔等企业每天记录的有关其客户、供应商和业务运营的信息.
大数据正从原来的存储难题,转变为新近的战略性资产,成为可以为业务各方面提供重要洞察的金矿.
我们认识到,大数据使用案例包含两个基本类别,分别是:大数据库.
包含结构化数据.
此类数据对于传统关系型数据库管理系统(RDBMS)而言过于庞大,无法处理.
深度分析.
用于搜索复杂、开放式问题的答案.
通常,此类答案无法直接在源数据中编写.
大数据可视化和分析工具能够帮助连续调优和抽象从而获得宝贵的洞察信息.
过去,大部分公司只能努力集合数据进行分析,或者进行抽样并尝试从中推断含义.
现状依然如此.
Gartner预测,"到2015年,超过85%的《财富》500强企业将无法有效利用大数据获得竞争优势.
"2然而,各领先企业已开始实施大数据分析能力,并取得了显著的成果.
据Gartner调查,这些公司正采用大数据所带来的新工具和技能,快速改进商业智能、数据挖掘和业务分析等实践.
MIT数字商业研究中心总监EricBrynjolfsson教授对179家大型上市公司展开了调研,发现使用"数据驱动型决策模式"的公司的生产力和赢利能力比竞争对手高出约5%.
他总结道:"对于能够充分利用大数据的公司,将可以更容易实现目标.
"31麦肯锡全球研究院,2011年5月.
www.
mckinsey.
com/insights/mgi/research/technology_and_innovation/big_data_the_next_frontier_for_innovation目录要点综述.
1业务挑战.
2浩瀚数据,知识难求.
2需要带头人.
3解决方案.
3MPP数据库管理系统平台.
3Hadoop.
3混合平台优势.
4开发大数据技能和专业知识.
4概念验证.
5恶意软件检测.
5芯片设计验证.
5市场情报.
6推荐系统.
6总结.
7更多信息.
7撰稿人.
7缩写词.
72"Gartner发布针对IT企业和用户的2012年及以后的热门预测",Gartner新闻稿,2011年12月1日.
www.
gartner.
com/it/page.
jspid=18627143MITSloan专家:当今业务问题评论,2012年2月14日.
www.
mitsloanexperts.
com/2012/02/15/erik-brynjolfsson-on-big-data-a-revolution-in-decision-making-improves-productivity挖掘企业大数据,成就更佳商业智能IT@Intel白皮书3www.
intel.
com/cn/IT需要带头人当今的IT经理需要开发系统来分析大数据,并帮助公司根据分析结果做出明智决策.
由于大数据是一个新领域,目前缺乏优秀的从业者和最佳实践.
提供大数据培训、咨询及其他相关服务的公司将能够帮助填补这一空白.
约两年前,我们开始考虑如何利用我们的大数据.
大数据工作在我们的总体路线图中占据着重要一环,以更有效的分析能力推动我们的业务变革.
解决方案英特尔IT部门正在开发多个大数据概念验证,以证明大数据在解决高价值业务难题方面的成效.
根据我们的研究和行业最佳实践,我们于2012年在内部实施了一款经济高效的混合大数据平台.
该平台由以下组件构成:基于SQL的大规模并行处理(MPP)数据仓库设备Hadoop*(用于在整个计算机集群间分布式处理大型数据集)MPP数据库管理系统平台传统业务分析解决方案一般采用数据仓库系统.
但这些系统设计用于进行在线交易处理,而不是做分析的工作.
它们通常采用通用数据库、服务器和存储平台构建而成,缺少处理不断增加且瞬息万变的TB级数据所需的能力.
相比之下,当今的MPP平台不再局限于SQL编程,可用于支持使用Java*、C/C++和R等编程语言进行开发工作.
当配备了丰富的高级分析和数据库内数据挖掘能力后,这些平台更为灵活,充分利用现有的商业智能和SQL技能,并可采用相关编程语言获得新的技能,以实现特定目的.
我们所使用的解决方案为第三方数据仓库解决方案,带有非对称大型并行架构,分析大型数据的速度最高可达到传统系统的100倍.
目前已经有众多厂商推出了此类系统.
在选择解决方案时,我们综合考量了多种因素,其中包括:最高性价比和经济高效的容量简单和快速回报存储和性能从TB可扩展到PB级开源R统计计算语言的内建高级分析的完整支持是否能够快速融入我们现有的商业智能环境与企业环境可互操作该系统专门用于分析,将专有数据过滤技术与基于英特尔至强处理器E7家族的刀片服务器和商用磁盘结合在一起,以较低成本提供了大数据处理性能,并且只需要很少的维护.
此外,由于它能够添加刀片来扩展性能和容量.
每块刀片与邻近的多块硬盘相连,并行传送数据,相比使用单独数据存储系统的解决方案,能够极大减少访问延迟.
在选择过程中,我们首先对11家数据仓库设备厂商进行了书面调查,然后向五家厂商发出了需求建议书(RFP)邀请.
最终我们根据RFP分析和技术评估选出一家厂商.
HadoopHadoop是一种开源框架,用于处理庞大数据量.
它摒弃了大型超级计算机的模式,而是采用了由多台服务器组成的集群模式,充分利用本地存储和计算资源,其中每台服务器处理一个数据子集.
Hadoop是Apache软件基金会的一个顶级开源项目.
目前市场上提供有多个商业发行版本.
Hadoop本身是一款分布式计算操作系统,提供有两项基本服务:Hadoop分布式文件系统.
该分布式文件系统提供了类似UNIX*的文件系统存储功能,分布于Hadoop集群中的所有节点上.
Hadoop还能够使用其它文件系统.
MapReduce.
此分布式计算特性是Hadoop的基石.
MapReduce可协调集群中的每台服务器,以并行处理总体任务的不同部分.
在此核心之上是众多商用和开源应用程序、工具包和数据层,包括:Hive:一种SQL语言,用于查询Hadoop数据Hbase:一种为提供高速读/写的列数据库,能够处理由上亿行和上百万列数据的数据表Pig:一种用于处理数据的交互式脚本环境Mahout:一种机器学习库,为集群、协作过滤和识别相似提供算法Sqoop:一种与RDBMS数据库进行导入/导出交换的工具IT@Intel白皮书挖掘企业大数据,成就更佳商业智能4www.
intel.
com/cn/ITOozie:一种工作流环境,用于协调复杂数据处理操作Cassandra:一种为文档所用的数据库Hadoop能够线性扩展.
例如,集群中的机器数量增加一倍可以减少约一半的处理时间,或在相同时间内处理两倍的数据量.
Hadoop使用Java进行编写并在Linux*上运行.
Hadoop应用程序通常也使用Java编写,但也可使用其他语言.
诸如Hive和Pig等Hadoop工具可在客户端电脑上运行并快速生成MapReduce程序.
由于Hadoop能够整合其集群中所有服务器的存储,并且这些服务器能够使用商用硬盘,因此每TB存储的成本非常低,同时集群的存储量可以扩展到PB级别.
鉴于此,Hadoop为获取和存储以前需要丢弃的数据提供了一个非常经济高效的选择.
此外,它也为获取和存储当前尚没有得到充分认知,但可能存在价值的数据提供了一种可行的机制.
诸如文本分析等领域已证明,更多数据(相比更少数据)能够产生更佳的结果,即使是在使用较简单的算法时也不例外.
在诸如网络安全等域中,Hadoop的庞大容量可支持在更长的时限内进行分析.
Hadoop及其相关技术通常不用于替代在线交易处理系统或其他传统RDBMS.
Hadoop的优势在于批量处理TB和PB级的数据.
混合平台优势我们将第三方数据仓库设备与其非对称大规模并行架构组件和Hadoop相结合(参见图1),建立了一个经济高效、高度可扩展的大数据平台,能够充分发挥每个组件的优势.
所有这些组件放置在一起,并采用快速网络连接和高速数据加载器相连,使该大数据平台能够根据需要在平台间将数据更高效地移动.
开发大数据技能和专业知识大数据的最大挑战之一在于,缺少技能娴熟的专家.
根据之前提及的麦肯锡全球研究院的报告,到2018年仅美国就面临缺少140,000至190,000名具备深入分析技能的人员,以及150万名知道如何运用大数据分析结果做出有效决策的管理人员和分析师.
诸如统计学、数学、机器学习和可视化分析等大数据的科学技能至关重要,但同样重要的还有协调数据与业务,以及将分析结果转变为业务成果所需的技能.
这意味着诸如英特尔业务部门等IT客户需要开发内部大数据使用技能,以从大数据中获益.
诸如Hadoop等许多大数据技术均采用开源模式,由互联网公司开发而成,用于经济高效地处理大量结构化和非结构化的数据.
这些技术发展迅速,但当前仍然需要在Linux、Java开发和分布式计算等领域拥有更深入的技术技能.
为了部署大数据技术,各公司还必须进一步发展这些技能.
缩小知识和技能领域的差距掌握新技能比实施技术更困难.
英特尔IT部门和英特尔业务部门正在努力采用多项措施缩小大数据专业知识和经验的差距,喍MPP喎倅TBPB倅Hadoop*ツ喑Вλοοο㈨эο倅Web图1.
英特尔IT部门的商业智能大数据平台基于大规模并行处理(MPP)数据仓库设备和运行ApacheHadoop*的工业标准服务器集群的组合.
挖掘企业大数据,成就更佳商业智能IT@Intel白皮书5www.
intel.
com/cn/IT包括研究和培训,聘用具备处理大数据的基本技能集的人员,启动测试和执行概念验证(PoC)工作(如本文所报告的工作),以及实施特定的使用案例等.
我们需要从处理数据和进行大数据分析中汲取相关经验.
我们相信使用大数据所提供的预测功能和最佳方案的商业智能能够带来的最终成效,将会证明当前在硬件、软件、培训和时间方面的投资物有所值.
概念验证英特尔有多项大数据的概念验证正在进行中.
在本部分,我们将讨论其中四个.
恶意软件检测随着攻击者和工具变得越来越成熟,网络威胁不断增加.
安全检测的目的是及时发现威胁,使用户和安全响应者能够采取必要的防御措施.
基于签名的文件扫描是过去处理恶意软件威胁的最常用方法,而现在由于生成的恶意软件数量越来越多,这一方法的效果逐渐减弱.
更好的方法是超越恶意软件一步,深入洞察恶意软件正在做什么、它来自哪里,甚至预测它未来可能出现在哪里等.
此类更深入的监控和预测要求不断观察服务器活动,以发现每个层面上的异常,包括系统、网络和应用等.
能够揭示这些威胁的模式通常隐藏在各种网络和服务器记录中,例如代理服务器、域名服务器、DHCP和VPN等,其中包含有庞大的数据量.
异常可表现为从典型恶意软件签名到更广泛的全球各地的可疑活动和行为方式,例如与已知有害的URL进行通信或不寻常搜索等.
分析要求一系列复杂的步骤,包括关联许多来源的数据,制定正常网络活动和模式的基准,以检测异常活动.
为了在所需时限发现这些异常,英特尔正使用大数据技术来收集原始的非结构化数据并对其进行组织,然后使用预测性分析等统计模型来检测活动的异常模式.
通过这一概念验证,我们致力于实时发现这些行为,使恶意软件能够被快速发现并得到遏制.
我们收集和分析长达数月甚至数年的数据,将能够更准确预测漏洞的来源和性质,以实施更有效的预防措施和系统.
芯片设计验证芯片设计涉及广泛的测试,以便能够在芯片中实现这些设计.
此类测试涵盖芯片实施的各个阶段,其中数百个传感器按每秒数千次的采样率收集数据.
这种广泛测试可产生庞大的数据量.
在此概念验证中,英特尔IT部门正在研究大数据平台如何能够用于优化验证流程,大数据的挑战和收益术语"大数据"指在数据量、来源种类和类型方面对传统关系型数据库方法形成重大挑战的信息难题.
数据多种类是大数据的一个最重要特征,包括文本、音频、视频、点击流、日志文件等.
基于该特征,即使是几TB的非结构化数据,也能够被视作大数据.
谷歌和雅虎等互联网搜索公司是率先开发大数据工具的公司,以便为万维网建立索引.
其他互联网公司紧跟其后,开发其它组件来处理订单和建议、Facebook类消息、以及互联网中的其他问题.
现在,企业IT部门正在运用这些相同的工具,解决一直以来难以分析和解决的高价值业务难题.
这些新技术的使用从来都不会轻而易举.
企业在整合、部署和维护这些新工具方面均面临着严峻的挑战,雪上加霜的是其中大部分工具还处于发展阶段.
此外,企业还在Linux*和Java*等领域需要新的IT技能.
开发和优化大数据解决方案需要重新思考并行计算结构方面的问题,例如MapReduce,而且并非所有问题都象Web索引一样采取并行处理方式就可以解决.
此外,解决大型问题可能需要降低数据库编程人员所一直要求的ACID语义中细微、一致、独立和持久性的特点,并牺牲一些低延迟性能来获取高吞吐量.
如果当前数据系统有足够的容量,则无需做出以上牺牲.
但是如果问题已经严重超出能力范围,则大数据解决方案可能是唯一的选择.
甚至在还没有明确使用案例的情况下,各公司也可利用低成本的大数据存储来捕获和存储几乎可能的一切,并在之后提取其潜在的价值.
IT@Intel白皮书挖掘企业大数据,成就更佳商业智能6www.
intel.
com/cn/IT分析几十亿行的结构化和非结构化数据,以帮助加速设计流程,缩短生产时间,并最终缩短上市时间.
"有效区域(Coverage)"是这种使用模式的一个典型示例.
在芯片验证的后期阶段,对于芯片何时可以推出,没有明确的规则.
一方面,推出带有错误的芯片会对公司的声誉造成巨大损害.
另一方面,过多测试会延迟芯片的推出,导致公司遭受数百万美元的销售损失.
有效区域的概念旨在避免这些极端的情况.
我们收集有关进行处理器测试的逻辑和物理状态的数据,能够更了解这些测试和测试工具的表现情况,并确定芯片是否已准备好推向市场.
大数据分析还能够对发现的缺陷进行自动汇总和分类,以及对大量历史测试进行根由分析,从而可对测试流程提供重要的帮助.
我们广泛分析收集到的大量数据,而不只是抽样,能够更全面了解各阶段的进展,并发现改进和精简设计流程的各种方法,最终改进产品.
市场情报对于诸如英特尔这样在全球各地都有销售和供应链的公司,必须能够预见不断变化的市场条件并准确预测未来一个月、六个月、甚至五到十年可能会发生的情况.
跨国公司必须对大量数据进行分类,包括天气预报、全球经济数据、论坛、新闻站点、社交网络、wiki、微博和博客等.
分析此类数据可帮助公司做出准确的预测,规划销售战略,评估竞争对手的威胁,预测消费者行为的变化,增强供应链,以及改进业务发展的计划.
对于这一概念验证,我们正与英特尔业务部门合作,分析来自各种不同来源的数据,以期实现以下目标:改进我们对于全球不同市场的销售预测,调整生产水平,以及向我们的股东提供更准确的预测.
根据在全球活动制定和测试方案,以确定它们对我们的市场、供应链、以及我们应对市场需求和竞争对手挑战的能力的影响.
为产品发现新用户和新用途.
推荐系统随着内容量持续呈指数增长,用户亟需帮助来找出最匹配其查询和兴趣的信息.
为此,整个英特尔对于推荐服务的需求正不断增长,以支持内部和外部应用.
推荐系统与亚马逊和Netflix向其客户提供的系统类似,旨在减少搜索和导航时间,以及实现更具个性化的目标结果,为用户提供支持.
此举可提高生产效率、可信度和整体用户体验.
实施可扩展的推荐系统要求预测分析能力和大数据专业知识,以便对大量历史数据执行复杂的资源密集型算法.
这一概念验证侧重于构建一个通用的、可重复使用的推荐引擎,包括在我们的大数据平台之上建立一个两层离线和在线架构.
离线组件是一种提供给批处理的流程,可执行推荐算法的核心.
它可保证我们的模型在可扩展的环境中执行大数据处理,并能够随时扩充.
在线组件可作为任何服务请求的服务层.
它可加载在离线阶段计算得出的相关中间计算值,并执行此算法中的最后一步,提供推荐的信息.
它还可应用上下文配置逻辑,根据请求上下文来过滤和调整最后的推荐.
该解决方案的使用Mahout实施核心算法作扩展.
Mahout是一种在Hadoop上采用Java编写的开源数据挖掘库.
它在无共享环境中的商用硬件集群中执行并行作业,可充分利用Hadoop架构的优势.
所有中间结果均被写入MPPRDBMS,供在线组件进行快速检索.
部署此推荐服务是提供及时个性化内容的一个关键因素.
这将让我们能够在使用英特尔内部应用时提高员工工作效率,还有助于实现竞争优势,改进外部客户对我们产品的选择,从而进一步增加收入.
我们将充分利用从上述基于大型数据以提供复杂的预测分析能力的工作中汲取的经验和知识,在未来提供类似的解决方案.
本白皮书仅用于参考目的.
本文件以"概不保证"方式提供,英特尔不做任何形式的保证,包括对适销性、不侵权性,以及适用于特定用途的担保,或任何由建议、规范或范例所产生的其它担保.
英特尔不承担因使用本规范相关信息所产生的任何责任,包括对侵犯任何专利、版权或其它知识产权的责任.
本文不代表英特尔公司或其它机构向任何人明确或隐含地授予任何知识产权.
英特尔、Intel标识、Xeon和至强是英特尔在美国和/或其他国家的商标.
*其他的名称和品牌可能是其他所有者的资产.
英特尔公司2012年版权所有.
所有权保留.
C请注意环保0712/WWES/KC/PDF327474-001总结从2012年的多个概念验证开始,英特尔IT部门采用系统化的方法将大数据分析能力增加到其整体商业智能的努力中.
通过增加挖掘和分析大数据的能力,英特尔希望其商业智能能力从描述的分析演进到预测和最佳方案的分析,实现对业务模式和发展趋势的更深入和更丰富的洞察.
我们已经完成了第一步,成功设计和构建了一个将第三方数据仓库设备与Hadoop结合在一起的大数据平台(Hadoop是一种开源框架,可跨多台服务器处理海量数据).
该解决方案使我们能够在结构化数据上执行MPP,以及在工业标准服务器上分布式处理大型数据集.
同时,我们的IT商业智能人员和业务部门还在内部发展了必要的大数据技能和专业知识,并实现了一定的成熟度.
在成功完成这些概念验证的基础上,英特尔期望在生产中运用其大数据平台解决高价值业务问题,以实现更高运营效率,提高营收和添加新的收入来源.
在未来几年里,我们预计我们的大数据分析计划将会进一步发展,为英特尔提供出色商业智能,使我们能够在制造、安全、营销、市场开发和IT等领域实现新的竞争优势.
更多信息如欲参阅相关主题的白皮书,请访问:www.
intel.
com/cn/it"采用高级分析能力实现英特尔业务转型的路线图"撰稿人JessicaBrindle,英特尔IT部门商业智能战略规划师缩写词BI商业智能MPP大规模并行处理PBPB字节PoC概念验证RDBMS关系型数据库管理系统RFP需求建议书TBTB字节如欲了解有关英特尔IT部门最佳实践的更多信息,请访问:www.
intel.
com/cn/it