网格amd双核处理器

1高效能计算机和网格环境发展所面临的挑战钱德沛DPCS2006,西安2006年10月19日高效能计算机和网格的重要性高效能计算机是解决重大挑战性问题的重要手段国家综合国力和信息化建设能力的体现国家创新体系的重要组成部分网格遵循开放标准、聚集各类资源,以服务的方式支撑各类应用高效能计算机和网格环境相辅相成,互为促进.
高效能计算机和网格的重要性我国对高性能计算和网格技术有迫切需求应用于国民经济与国防建设众多领域高效能计算机已经列入国家中长期科技发展规划纲要三、重点领域及其优先主题7.
信息及现代服务业(42)高效能可信计算机高效能计算机和网格的重要性研究高效能计算机和网格,对于落实国家中长期科技发展规划,提高我国高性能计算的能力和水平,加快支撑国家信息化的新型信息基础设施的建设,提高综合国力和国家科技竞争力有重大的意义.
对高性能计算机和网格环境的需求:科学研究大规模生物学基因测序人类蛋白质组计划计算能力需求在10TF~1PF,数据存储需求在100TB~1PB新药发现利用高性能计算机进行虚拟药物筛选天文学宇宙大尺度结构和星系形成的理论和样本研究行星流体与磁流体动力学研究科研信息化科学院e-Science计划对百万亿次机器需求迫切.
计划2008年前达到100万亿次运算能力,500TB存储能力.
资金、环境建设已经列入建设计划,亟待与863计划配合.
对高性能计算机和网格环境的需求:资源环境国家地质调查三维地质结构的描述复杂地质过程模拟资源评价与数据处理油气地震勘探海量地震勘探数据处理林业森林资源数据分布式处理水利分布信息管理构建、运行数学模型海量遥感数据处理海量数据存储和共享海量遥感数据处理2对高性能计算机和网格环境的需求:制造业飞机制造数据管理共享软件资源合理利用硬件资源合理利用航天仿真资源动态共享和协同工作船舶与海洋工程汽车协同设计和制造对高性能计算机和网格环境的需求:服务业气象数值预报集合预报精细和按需数值预报"十一五"计算能力需求60~200TF地震预报对地球内部构造及其活动的模拟城市交通信息系统动态数据管理高性能计算机性能稳步提高最高性能的计算机,每10年提高两个数量级,2005年世界TOP500榜首是DoE与IBM合作开发的367TFlops的"BlueGene/L"系统2010年前,国外将出现千万亿次量级的超级计算机;具有百万亿次计算能力的网格计算将进入实用阶段;2020年前,有可能实现接近Exaflops(1018:百亿亿次)性能的超级计算机.
30年前第一台商业巨型机问世Cray-1(1976年)向量机峰值性能133megaflops8MB主存880万美元第一台系统安装在LosAlamos国家实验室目前世界上最高性能计算机系统IBM研制的BlueGene/L,2005年安装在美LLNL国家实验室商用定制CPU:700MHz(2.
8Gflops)65536结点(131072CPU)峰值367Tflops32TB内存LINPACK280.
6Tflops面向生物计算30年,360万倍高性能计算机的发展趋势100Mflops1Gflops10Gflops100Gflops1Tflops10Tflops100Tflops1Pflops10Pflops100Pflops1Eflops10Eflops20002010202020231995200520151993SUMN=1N=500Top-500发展预测CourtesyofThomasSterling3世界高性能计算机发展美国的领先优势十分明显,综合发展水平世界第一,TOP10中有7台是美国公司研发制造的,有6台安装在美国TOP500中,美国生产制造了476台,占95%,其国内安装了299台,占总数的59.
8%日本是除美国之外的第二个具有强大自主研发能力的国家HPC技术研发上与美国并驾齐驱最新TOP500中,日本总的计算能力排第二位.
欧盟:在FP7实施PetaFlops发展计划英国:已启动高端计算万亿次级资源计划美国国家网络与信息技术研发计划5NITRDNITRD计划推进体制计划推进体制白宫总统科学和技术执行办公室国家科学和技术委员会信息技术研发国家协调办公室(NCO)高端计算协作工作组(HEC)大规模网络协作工作组(LSN)高可信软件和系统协作工作组(HCSS)人机交互&信息管理协作工作组(HCI&IM)软件设计和生产协作工作组(SDP)总统信息技术咨询委员会(PITAC)信息技术研发合作工作组(IWG)社会、经济和劳动力发展协调办公室(SEW)合作机构:AHRQ,DARPA,DOE/NNSA,DOE/SC,EPA,NASA,NIH,NIST,NOAA,NSA,NSF,ODDR&EU.
S.
国会NITRD授权和拨款立法美国NSF信息基础设施建设规划(06~10)5年内形成面向全球的P级高性能计算环境,主要资源:大量峰值性能在1~50Tflops范围的系统(部署在地区级院校和研究机构)多台峰值性能在100Tflops以上的系统(可供全国数千研究人员使用)至少一台1~10Pflops的系统(支持少数具有高层次计算性能需求的项目)重点投资100Tflolps~10Pflops的系统,包括结构松耦合和紧耦合、不同存储模型的系统加强协作,与DOE、DOD、NASA以及DARPA等机构合作,协调在创新HPC体系结构研发方面的投资,推动HPCS计划第三阶段的进展HPCS计划HPCS计划由美国国防部2002年提出并资助2007到2010年左右,新一代超级计算机,其产出率在未来20年仍能遵循摩尔定律HPCS计划分为三个阶段第一阶段(2002~2003),概念研究阶段Cray、IBM、HP、SGI和Sun第二阶段(2003~2006),研究和开发阶段Cray、IBM和Sun第三阶段(2006~2010),大规模开发阶段哪两家会胜出ReviewsIndustryProcurementsCriticalProgramMilestonesHPCSProgramPhases1-3020506070809100304ProductsMetrics,BenchmarksAcademiaResearchPlatformsEarlySoftwareToolsEarlyPilotPlatformsPhase2R&DPhase3FullScaleDevelopmentMetricsandBenchmarksSystemDesignReviewIndustryGuidedResearchApplicationAnalysisPerformanceAssessmentHPCSCapabilityorProductsFiscalYearConceptReviewsPDR&EarlyPrototypeResearchResearchPrototypes&PilotSystemsPhase3ReadinessReviewTechnologyAssessmentsRequirementsandMetricsPhase2ReadinessReviewsPhase1IndustryConceptStudy日本"先进高性能通用超级计算机开发利用"计划(06-12)政府统一规划与组织,产学结合10PF以上性能的混合型通用系统,十年后将再次超越美国4美国的网格研究美国政府支持的网格研究的特点是体量大、多样性、持续性.
其内容包括计算网格、数据网格、语义网格(知识网格),其范围包括系统开发、应用和基础研究.
过去5年来,美国联邦政府已投入至少5亿美元经费,实施了至少数十个大型的网格和网格应用项目.
美国国家科学基金会在2005-2009期间将保持每年1.
2亿美元投入,用于支持网格的研究、开发、应用、平台建设和维护.
欧盟的网格研究计划欧盟第六框架研究计划把先进网格技术和网格基础设施就作为重要的研究方向,各投入1亿多欧元,已支持了两轮课题EGEE网格基础设施,参与单位包括欧洲和世界其他国家70多个部门,目标是开发一个服务网格基础设施,可供科学家24小时使用CoreGrid,NextGrid,SIMDAT,Akogrimo等网格技术项目FP6的三轮网格技术项目–Calls2,3,5DataminingGridOntoGridInteliGridK-WFGridCoreGRIDsixvirtuallaboratoriesUniGridsHPC4UProvenanceGridCoordGrid@AsiaNextGRIDservicearchitectureAkogrimomobileservicesSIMDATindustrialsimulationsdata,knowledge,data,knowledge,semantics,miningsemantics,miningKnowArcChemomentumA-WareSormaplatforms,userplatforms,userenvironmentsenvironmentsSpecificsupportactionIntegratedprojectNetworkofexcellenceSpecifictargetedresearchprojectg-EclipseGrediaGridCompQosCosGridGrid4allAssessGridGridTrusttrust,securitytrust,securityGridservices,Gridservices,businessmodelsbusinessmodelsArguGridEdutain@GridGridEconNessi-GridChallengersDegreeBREINagents&semanticsXtreemOSLinuxbasedGridoperatingsystemsupportingtheNESSIETP&GridcommunitysupportingtheNESSIETP&GridcommunityBeinGridbusinessexperimentsEUFunding:124MEUFunding:124MCall5start:Summer2006Call5start:Summer2006Autilityprovidesimmediatelyuseableserviceswithestablishedfunctionality,performanceanddependability.
Emphasisisonuserneedsandissuessuchastrustandsecurity.
Servicesareknowledge-assisted('semantic')tofacilitateautomationandadvancedfunctionality.
Knowledgetechnologiesenablethedeliveryofhighlevelservicestotheuser.
Thearchitecturecomprisesserviceswhichmaybeinstantiatedandassembleddynamically.
Hence,thestructure,behaviourandlocationofsoftwareischangingatrun-time.
Service-OrientedKnowledgeUtility(SOKU)英国的网格研究全国大规模整体协调的研究计划即e-Science,其目标是推动科学技术的进步,并影响产业界,其长远目标是影响未来的信息技术基础设施.
在2001年至2006年共投入约2.
5亿英镑的科研经费建立了国家网格服务设施NGS已将e-Science的升级版Nationale-Infrastructure列入英国2004-2014科学规划.
日本的网格研究日本政府支持的网格研究有两类目标,以其两个大型的国家级网格研究计划(国家科研网格与商业网格)为代表.
第一类的主要目标是推动国家的科技进步,第二类的主要目标是提高生产力、推动经济.
国家科研网格计划面向高性能科学研究,主要由政府投入.
在2003年投入1.
25亿美元启动了"国家科研网格"(NAREGI)五年研究项目,旨在研制并部署使用面向纳米和生物技术等科学研究的网格基础设施.
5韩国的网格研究韩国于2001年启动了国家网格基本计划.
韩国的网格计划之一K*Grid,2002~2006年的五年计划投资为3500万美元,其中还不包括对网络和高性能计算机的投入.
该项目包括计算网格、数据网格、访问网格和应用网格四部分.
它将韩国的超级计算机和高性能集群连接在一起,建立应用试验床、应用门户,开发具体的应用程序.
2004年新启动了两个投资一亿美元的网格项目中国的高性能计算机和网格研究十五863重大专项"高性能计算机及其核心软件"研制成功两台高性能计算机,16.
5TFlops建立了中国国家网格研制了网格软件CNGridGOS研制了四个领域的11个应用网格国家自然科学基金委的"以网络为基础的科研活动环境"教育部的教育网格(ChinaGrid)上海市的上海网格我国高性能计算机进步明显掌握了高性能计算机的一些关键技术.
已具有数十万亿次系统的研发能力参与高性能计算机研制的单位已经从科研院所发展到企业界,有力地推动了高性能计算行业的发在2006年6月TOP500中,我国公开发布的高性能计算机共有28台,高性能计算能力从2002年的0.
6万亿次提升到近94万亿次,跃居世界第五.
5.
6%3.
6%7.
0%5.
8%61%台数比例28183529299装机数量94.
1896.
86137.
86260.
091779.
11总计算力(万亿次)中国德国英国日本美国国家高端计算机的技术挑战(1)存储壁垒(memorywall)存储器性能与处理器性能差距越来越大本地带宽及延迟和全局带宽及延迟发展不一致所造成的差距I/O壁垒(I/Owall)如何让系统吃得进,吐得出平衡系统设计功耗壁垒(powerconsumptionwall)功耗成为制约千万亿次系统的主要因素关系运行成本高端计算机的技术挑战(2)系统可靠性和可信性巨大的系统,庞大而复杂的软件,如何保障系统的可靠性部件数量巨大,硬件平均无故障时间很短软件错误错误很难避免系统的可用性、可管理性问题十分突出软件与编程怎样很好利用十万乃至更多处理器怎样面对数十万并发线程在编程模型和算法上期待新的突破网格服务环境面临的技术难题核心是研制能够有效支撑网格环境运行和应用的开发、部署与运行的网格软件必须解决在网格环境的运行管理、安全机制、计费和商业模型、服务质量保证等方面的技术难题建立起完善的网格服务机制,才能有效支撑各类应用.
6应用要解决的重要技术问题适应于数万个处理器构成的大规模并行系统的高效并行算法及其实现基于网格的领域应用框架网格环境下应用的开发方法现有应用的网格化以及新老应用的集成使高效能计算机和网格服务环境在应用中真正发挥作用,取得效益.
提高性能的传统做法0.
010.
11101970198019902000201020200.
010.
1110197019801990200020102020110100100010000100000197019801990200020102020110100100010000100000197019801990200020102020通过提高频率来增强性能通过提高频率来增强性能特征尺寸特征尺寸((umum))频率频率((MHzMHz))20052005年年6565纳米纳米1010亿以上的晶体管亿以上的晶体管19461946年年主内存中主内存中2020个数个数19711971年年I4004I4004处理器处理器2,3002,300个晶体管个晶体管不断缩小体积不断缩小体积功耗成为性能提高的障碍101001000199019952000200520102015CPUCPU功率功率((WW))30nm45nm65nm90nm0.
13um0.
18um0.
25um0.
35um0.
5um0.
7um0.
1110199019931997200120052009~30%30nm45nm65nm90nm0.
13um0.
18um0.
25um0.
35um0.
5um0.
7um0.
1110199019931997200120052009~30%供应电压供应电压((VV))功率功率==电容电容xx电压电压22xx频率频率即即功率功率~~电压电压33功率限制功率限制减少电压扩展减少电压扩展Intel的微处理器Intel今后的CPU都采用多核结构AMD的微处理器AMD微处理器Opteron(2004年8月)90nm制造工艺,主频2.
4GHz晶体管数量2亿个以上功耗小于95W双核、存储控制器、互连和I/O控制器3个HyperTransport接口实现多处理器互连AMDServerroadmap20067IBM的微处理器IBMPower4180nm制造工艺,主频>1GHz晶体管数量1.
70亿个功耗小于95W双核处理器每个处理器核为8路超标量处理器,采用乱序执行机制,片内集成NUMA功能IBMPower5130nm制造工艺,主频1.
9GHz晶体管数量2.
76亿个功耗小于95W双核SMT处理器4个Power5处理器采用MCM封装IBM的微处理器CELL处理器多核、多线程,片上集群64位PowerPC控制处理器8个紧耦合的加速部件SPE128bitSIMD/Vector,MAC256KBEmbeddedMemory集成的I/O和存储器接口时钟频率3.
2GHz峰值性能单精度205Gflops双精度20GFlops205GB/s内部互连带宽100GB/s存储器和外部I/O带宽BranchChannelPermuteLoad/Store128x128RegisterFileInstructionIssue(Dual)256KByteLocalStoreSinglePortR/WDMAResultForwarding&StagingInternalInterconnectBus128bitFPU128bitFixed多核处理器带来的新问题编程模式并行的粒度同构还是异构的核如何充分利用处理能力应用的可移植性存储器壁垒加剧新型计算机体系结构基于多核处理器的体系结构(many-core)基于通用处理器基于精简的处理器核IBM的Cell处理器专用与通用结合的体系结构加速部件提高存储器的性能多层次cache加大处理器和存储器之间的带宽多线程预取提高存储器的性能PIM(Processor-In-Memory)技术存储器与处理器紧耦合在一个芯片内部流计算机充分开发应用程序的局部性和并行性8高性能节点技术节点结构大SMP多少处理器为好节点存储器结构,cache一致性节点内高速互连处理器、存储器、I/O如何高速互连节点I/O结构提高数据吞吐能力节点通信子系统与整体通信网络的关系高性能节点主板设计高密度、高可靠性高性能互连互连网络的拓扑结构扁平多级可扩展性平均跳数可靠性和容错能力互连网的实现技术芯片协议算法交换机光互连技术光器件大量商品化光互连有高带宽、长距离、低损耗特点全光交换仍需时日提高I/O能力均衡系统设计以I/O为中心的设计基于InfiniBand的系统处理器、存储器、I/O、网络地位对等高数据吞吐率I/O子系统高密度、高容量存储设备高密度、高速磁存储光存储海量存储高吞吐率的海量数据管理、访问、处理、容灾并行文件系统备份系统缓存管理和副本控制系统软件编程模型和编程语言并行编译并行编程环境调试与性能优化系统管理运行时系统9低功耗技术部件级低功耗技术低功耗器件系统级低功耗技术节点动态休眠任务动态迁移计算模型和新型算法面向千万亿次级系统的计算模型能充分发挥并行性的新型算法基础算法和领域相关的算法性能评测、优化网格软件(1)网格软件的系统结构与集成研究系统结构、检验实例集、质量控制流程、工程化测试和集成网格系统软件虚拟化与服务化机制、名字管理服务、资源和服务的接入、动态服务管理、批式和交互式作业服务与调度、用户管理、资源信息管理与服务、安全机制等网格编程环境和使用环境研究网格编程语言、编译器/解释器、调试器等工具软件和集成编程环境网格软件(2)数据网格软件异构分布的文件、结构化和半结构化数据资源的一体化集成、访问和管理网格工作流软件跨地域跨部门网格工作流软件,支持基于服务的业务流程建模、服务组合,业务流程变换构建网格环境提升网格资源能力,建成多区域、多行业网格互联互通的网格环境网格环境集成部署技术扩展网格结点的规模和地域分布,加强资源整合网格运行管理和评测技术网格运行管理模型和机制网格环境集成、运行、测试、评价面向应用的资源集成和服务部署网格监控管理系统网格物理资源监控、网格服务监控,计费管理,开发实用的网格监控管理系统高性能计算和网格应用面向行业的网格应用系统平台和应用框架研究行业网格应用标准行业网格应用系统的开发与运行管理行业应用高效并行算法研究与并行软件开发并行程序的性能评价与优化高效能计算机应用支撑软件行业生产性应用10对应用和产业的影响解决国家面临的重大挑战性问题促进传统产业的改造高端系统技术研究促进产品技术水平的提高高端系统的部件,如节点,直接成为新的服务器产品刺激新的应用,为国产高性能服务器拓宽市场诞生新的网格服务业"十一五"863计划的一些情况三个层次专题:前沿性、探索性研究,鼓励创新重点项目:对重要方向和关键技术的研究开发的重点支持,产生重要的技术成果和原型产品重大项目:解决国家重大问题,提供某个方面的关键技术和完整的系统,对产业和应用有重要推动作用高效能计算机与网格服务环境"十一五"863计划的重大项目千万亿次高效能计算机系统网格软件网格环境高性能计算与网格应用CNGrid(2006-2010)高效能计算机2008年:百万亿次2010年:千万亿次网格软件:CNGridGOS强调稳定可靠,向产品化发展与国际主流接轨中国国家网格环境节点、管理运行中心应用科学研究资源环境制造业服务业CACM,2005.
11"SuperCompetition"谢谢!