基因组学领域的进步为认识人类疾病开辟了新道路,并且越来越多地用于制定创新的精

准治疗计划.
要获得这些发现和成果,需要对不断增加的基因组测序数据进行处理、存储和分析.
2015年,每年的全球测序存储容量接近1PB,并且每七个月增加一倍.
1、2照此速度,在未来五年内,基因组测序每年将产生数百PB的数据,到2025年,每年可能需要近1ZB的存储容量.
1、2麻省理工学院-哈佛大学博德研究所(broadinstitute.
org)是全球最大的人类基因组数据生产组织之一,每天会产生约24TB的新数据.
目前,博德研究所管理着超过50PB的数据.
研究人员需要工具来及时分析这些海量数据,从而了解疾病和可行的治疗方法.
他们需要类似基因组分析工具包*(GATK*)的工具,这是一组由博德研究所创建的领先软件方法,获得了全球大多数基因组学研究中心的认可.
博德研究所将发布GATK4.
0作为下一个主版本,为所有用户(包括用于商业目的)提供开源许可.
开源许可让更多的科学家和研究人员能够使用GATK,将有助于加快发展全球基因组分析.
英特尔-博德基因组数据工程中心英特尔与博德研究所在计算基础设施和软件优化领域已经合作多年.
2017年,双方达成了一项为期五年的新合作——英特尔-博德基因组数据工程中心,旨在使用GATK、Burrow-WheelerAligner(BWA)、Cromwell、英特尔基因组学内核库(英特尔GKL)、GenomicsDB*及其他工具和技术,简化并加快基因组学工作流程.
博德研究所与英特尔的专家将共同构建、优化并广泛分享工具与基础设施,帮助科学家整合并处理基因组数据.
最终,将在基于英特尔架构的平台上产生一系列经过优化的基因组分析硬件和软件最佳实践,这些最佳实践可应用于存储在私有数据中心的研究数据集,并将扩展到私有云、公共云和混合云.
面向基因组分析的英特尔Select解决方案英特尔可扩展系统框架高性能计算优异的访问性能,可扩展且易于部署,推动基因组学的洞察与发现.
面向基因组分析的英特尔Select解决方案以BIGstack2.
0*参考架构为基础.
随着基因组数据量大幅增加,此次合作将利用技术来实现大规模基因组分析.
面向基因组分析的英特尔Select解决方案便是成果之一,这是一套经过优化的软件.
此外还包括用于实现一站式配置、搭建和部署的参考架构,以运行符合GATK流水线、Cromwell和GenomicsDB的基因组分析.
面向基因组分析的英特尔Select解决方案英特尔-博德基因组数据工程中心致力于利用英特尔架构和技术优化GATK,并为基因组分析制定参考架构.
于是,便产生了面向基因组分析的英特尔Select解决方案,该解决方案基于BIGstack2.
0*参考架构,由英特尔和博德研究所合作开发,并由英特尔解决方案提供商交付.
与之前的基因组学软件相比,该解决方案将GATK4.
0的整体运行性能提高了五倍,并缩短了基础设施的部署时间,加快了基因组学工作流程.
3性能在多个方面有所改进,包括使用英特尔固态盘(SSD)后MWA速度提升75%,使用英特尔现场可编程门阵列(英特尔FPGA)后HaplotypeCaller*速度提升两倍.
3经验证的性能和质量结果已通过博德研究所的认证.
解决方案简介|面向基因组分析的英特尔Select解决方案面向基因组分析的英特尔Select解决方案应用预打包的基因组学应用:工作流程Cromwell作业调度工具容器管理数据并行处理存储管理优化的基因组学内核库*大规模分析GenomicsDB*平台基础设施硬件英特尔Omni-Path架构BWA图1.
解决方案配置概述什么是英特尔Select解决方案英特尔Select解决方案是一系列经过验证的硬件与软件堆栈,针对特定的软件工作负载进行了计算、存储和网络方面的优化.
这些解决方案的开发源于英特尔与行业解决方案提供商的深入合作,以及与全球领先数据中心和服务提供商的广泛协作.
若要符合英特尔Select解决方案的条件,解决方案提供商必须:1.
遵循英特尔规定的软件与硬件堆栈要求2.
达到或超越英特尔参考基准性能阈值3.
发布详细的实施指南,帮助客户进行部署解决方案提供商可以自行开发优化功能,为解决方案增加更多价值.
2高性能数据分析计算集群和基因组分析优化工作流程是复杂的硬件和软件系统.
面向基因组分析的英特尔Select解决方案是经过优化的端到端硬件和开源软件配置,专为加速基因组分析而设计,包括系统部署以及运行其上的软件,可为这些复杂基因组流水线搭建与配置提供经过验证的堆栈解决方案.
面向基因组分析的英特尔Select解决方案旨在从小型超级计算机集群扩展到极大规模的超级计算机集群.
定制系统可根据具体需求快速、动态地配置.
组织可以随着工作负载增加进行扩展.
面向基因组分析的英特尔Select解决方案还提供一些工具,允许您通过功能强大且基于应用编程接口(API)的现代软件发现、组合并监控资源.
解决方案简介|面向基因组分析的英特尔Select解决方案表1.
面向基因组分析的英特尔Select解决方案的Base和Plus配置v组件面向基因组分析的英特尔Select解决方案BASE配置面向基因组分析的英特尔Select解决方案PLUS配置头节点1个头节点平台英特尔服务器主板S2600WFT处理器英特尔至强铂金8180处理器(28内核,2.
5GHz)内存128GBDDR4-2666主机适配器100HFA016LS英特尔Omni-PathHostFabric接口适配器,外围设备互连标准*(PCIe*)x16应用节点1个应用节点(也称为网关节点)1个应用节点平台英特尔服务器主板S2600WFT英特尔服务器主板S2600WFT处理器英特尔至强铂金8180处理器(28内核,2.
5GHz)英特尔至强铂金8180处理器(28内核,2.
5GHz)内存128GBDDR4-2666512GBDDR4-2666主机适配器100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16计算灵活节点4个计算灵活节点8个计算灵活节点平台英特尔服务器主板S2600WFT英特尔服务器主板S2600WFT处理器英特尔至强铂金8180处理器(28内核,2.
5GHz)英特尔至强铂金8180处理器(28内核,2.
5GHz)内存256GBDDR4-2666256GBDDR4-2666供图:LenRubenstein和博德研究所3本地存储7个4TB英特尔固态盘DCP4600系列,PCIeHHHL7个4TB英特尔固态盘DCP4600系列,PCIeHHHL主机适配器100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16扩展卡1个英特尔Arria10FPGA1个英特尔Arria10FPGA计算高密度节点4个计算高密度节点16个计算高密度节点平台英特尔服务器主板S2600BPB英特尔服务器主板S2600BPB处理器英特尔至强铂金8176处理器(28内核,2.
1GHz)英特尔至强铂金8176处理器(28内核,2.
1GHz)内存256GBDDR4-2666256GBDDR4-2666本地存储4TB英特尔固态盘DCS4500系列,串行ATA(SATA)2TB英特尔固态盘DCP4501系列,PCIeM.
24TB英特尔固态盘DCS4500系列,SATA2TB英特尔固态盘DCP4501系列,PCIeM.
2主机适配器100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16扩展卡1个英特尔Arria10FPGA1个英特尔Arria10FPGA网络基础设施数据网络英特尔Omni-Path边缘交换机100系列,24端口英特尔Omni-Path边缘交换机100系列,48端口管理网络每秒1Gb(Gbps)48x端口交换机1Gbps48x端口交换机NFS存储基础设施平台英特尔服务器主板S2600WFT处理器英特尔至强铂金8180处理器(28内核,2.
5GHz)内存256GBDDR4-2666磁盘2个480GB英特尔固态盘DCS3520系列(镜像操作系统)主机适配器12Gbps英特尔RAID控制器RS3SC008,JBOD模式100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16JBOD英特尔存储系统JBOD2312S3SPx12驱动器JBOD驱动器12–24个Seagate*Enterprise,容量:6–10TBRAID基于RAID的ZFSLUSTRE*存储基础设施LUSTREMDS*2个元数据服务器平台英特尔服务器主板S2600WFT处理器英特尔至强铂金8180处理器(28内核,2.
5GHz)内存256GBDDR4-2666磁盘2个480GB英特尔固态盘DCS3520系列(镜像操作系统)主机适配器12Gbps英特尔RAID控制器RS3SC008,JBOD模式;100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16LUSTREOSS2个对象存储服务器平台英特尔服务器主板S2600WFT处理器英特尔至强铂金8180处理器(28内核,2.
5GHz)内存256GBDDR4-2666磁盘2个480GB英特尔固态盘DCS3520系列(镜像操作系统)主机适配器12Gbps英特尔RAID控制器RS3SC008,JBOD模式;100HFA016LS英特尔Omni-PathHostFabric接口适配器,PCIex16LUSTREOST对象存储目标JBODColfaxCX4270-JBOD*44x驱动器,带双扩展驱动器44个SeagateEnterprise,容量:6–10TBRAID基于RAID的ZFSLUSTREMDT元数据目标JBOD英特尔存储系统JBOD2224S2DP,2U,双端口SASSSDS4个HGST*SAS400GB解决方案简介|面向基因组分析的英特尔Select解决方案4软件针对英特尔技术优化的GATK*、BWA和GATK工作流程经过优化的Cromwell工作流程带优化例程的英特尔GKL,用于加速开发人员代码GenomicsDB*,专用于大规模变异分析HTCondor*作业调度工具,用于运行集群分析作业Docker*,用于运行集群内隔离容器中的多个作业ApacheSpark*,用于大数据分析处理开源并行文件系统Lustre,用于高性能存储针对英特尔技术优化的GATK、BWA和GATK工作流程经过优化的Cromwell工作流程带优化例程的英特尔GKL,用于加速开发人员代码GenomicsDB,专用于大规模变异分析HTCondor作业调度工具,用于运行集群分析作业Docker,用于运行集群内隔离容器中的多个作业ApacheSpark,用于大数据分析处理开源并行文件系统Lustre,用于高性能存储固件和软件优化英特尔高级矢量扩展指令集AVX-512(英特尔AVX-512)英特尔AVX-512面向基因组分析的英特尔Select解决方案:软件、固件和技术配置面向基因组分析的英特尔Select解决方案充分利用了英特尔架构的高性能特性,包括英特尔至强可扩展处理器、英特尔固态盘数据中心系列、英特尔Omni-Path架构高性能网络和英特尔FPGA.
表1为面向基因组分析的英特尔Select解决方案在"Base"和"Plus"配置下的硬件和软件.
对于英特尔Select解决方案,服务器供应商或数据中心解决方案提供商必须使用如表1所示或更高的配置.
可使用2、4、16、24、36或48台指定计算设备及本地和共享存储设备(适用时)对这些解决方案进行定制,以满足不同环境的需求.
通过英特尔基因组学内核库(英特尔GKL)简化代码开发英特尔GKL提供了基因组学所使用的代码,该代码针对英特尔架构进行了优化.
开发人员可以调用这些例程,来加速代码性能.
通过代码库,开发人员可以专注于代码的功能与操作(无须关注具体的优化工作),同时也让英特尔GKL可以利用英特尔架构的能力.
通过GenomicsDB*提高可扩展性GenomicsDB是独特的变异存储数据库,能够支持成千上万的基因组变异数据.
该平台最先由英特尔实验室开发,并针对博德研究所的应用案例进行了定制.
GenomicsDB将与GATK4.
0打包,可以帮助研究机构大幅加快工作流程.
它能够为HaplotypeCallerGenomicVCF(GVCF)工作流程提供大幅扩展能力.
例如,如果不使用GenomicsDB,博德研究所需要六周时间才能从2,300条全基因组中生成数据库.
而有了GenomicsDB,即使信息量增加五倍,只需两周时间便能生成数据库.
4这一优势促成了由博德研究所领导的基因组聚合数据库*(gnomAD*)项目,该项目包括15,000条全基因组,是世界上最大的基因组数据聚合项目之一.
4持续开发世界各地的大型基因组数据库能够为全球的研究工作带来巨大益处.
英特尔-博德基因组数据工程中心仍将继续开发面向基因组分析的英特尔Select解决方案,以便高效访问这些数据库进行分析.
未来,整合后的技术将在云和共享环境中提供基因组学所需的连接、性能、隐私与安全性.
英特尔与博德研究所合作带来的益处英特尔与博德研究所的工作为基因组学领域及支持该领域的技术人员和业务经理带来众多益处,其中包括:科学家可获得以下益处:支持优化且高效的流水线优化的一站式解决方案预打包的工作流程描述语言(WDL)脚本同类应用支持减少对IT部门的依赖访问更多内部基因组数据提高统计能力开源软件灵活的应用架构解决方案简介|面向基因组分析的英特尔Select解决方案5解决方案简介|面向基因组分析的英特尔Select解决方案IT部门可获得以下益处:易于部署可扩展性缩短搭建时间无许可成本的开源软件已知的参考架构供应商和解决方案支持根据工作负载合理利用硬件(例如,预打包的WDL)企业所有者可获得以下益处:能够根据预算扩展解决方案耗电成本低解决方案经过预配置,可缩短搭建时间并降低支持成本实现内部基因组数据价值最大化无许可费用开源应用软件可扩展至其他应用OEM合作伙伴——简化基因组分析集群部署面向基因组分析的英特尔Select解决方案,不仅使运行基因组学工作负载变得更加轻松,还可以加快部署专为基因组分析设计的可预测集群.
因此,许多高性能系统集成商已同英特尔达成合作关系,为基因组学领域客户提供满足他们需求的解决方案设计与部署.
"我们的目标是减少研究人员面临的挑战,从不断增加的基因组数据集中获得更有意义的洞察.
对我们而言,在面向基因组分析的英特尔Select解决方案1.
0版本上运行GATK4可使性能立即提高5倍.
我们与英特尔合作,希望在更大规模下更快地运行GATK最佳实践流水线,并简化部署,造福全球基因组研究.
"——博德研究所数据科学平台组外联与通信副总监GeraldineVanderAuwera供图:LenRubenstein和博德研究所6解决方案简介|面向基因组分析的英特尔Select解决方案高访问性能、可扩展且易于部署,帮助实现基因组分析基因组学的工作对于认识疾病、创建诊断工具、制定安全有效的治疗方法至关重要.
研究人员利用技术建立庞大的基因组数据存储库,并逐步了解了数据的力量,让基因组学数据和分析取得迅速发展.
博德研究所是世界上对基因组数据贡献最大的机构之一,其GATK软件是全球领先的基因组分析工具,可用于分析和变异体识别研究.
英特尔-博德基因组数据工程中心将科学与技术相结合,对基因组分析代码和工作流程加以优化,并对优化后的基础设施进行了定义(即面向基因组分析的英特尔Select解决方案),以运行这些工作负载.
最终的结果是:分析速度加快,部署基因组分析定制的硬件解决方案所需的时间缩短.
多个系统集成商已开始提供此类系统的安装服务,并将继续探索更多基因组学发现.
英特尔至强可扩展处理器英特尔至强可扩展处理器:为企业数据中心提供高可扩展性与上一代处理器相比,为虚拟基础设施提供更高性能实现卓越的资源利用效率和敏捷性针对数据中心解决方案,提高数据和工作负载的完整性,确保监管合规性该系列包括英特尔至强铜牌处理器、英特尔至强银牌处理器、英特尔至强金牌处理器和英特尔至强铂金处理器.
了解更多信息英特尔—博德基因组数据工程中心:intel.
cn/content/www/cn/zh/healthcare-it/solutions/genomics-broad-data.
html"大数据基因组学和优化的基因组代码":intel.
com/content/www/us/en/healthcare-it/solutions/genomicscode.
html英特尔与博德研究所白皮书,"面向GATK最佳实践流水线部署的基础设施":https://www.
intel.
cn/content/www/cn/zh/healthcare-it/solutions/documents/deploying-gatk-best-practices-paper.
html英特尔Select解决方案:intel.
cn/selectsolutions英特尔至强可扩展处理器:intel.
cn/xeonscalable英特尔Select解决方案由英特尔Builders提供支持:http://builders.
intel.
com.
在Twitter上关注我们:#IntelBuilders71Stephens,ZacharyD等人,"BigData:AstronomicalorGenomical"(大数据:天文学还是基因组学),PLOSBiology,2015年7月.
https://doi.
org/10.
1371/journal.
pbio.
1002195.
2Robison,ReidJ,"HowBigIstheHumanGenome"(人类基因组有多大)PrecisionMedicine,2014年1月.
https://medium.
com/precision-medicine/how-big-is-the-human-genome-e90caa3409b0.
3英特尔,"InfrastructureforDeployingGATKBestPracticesPipeline"(面向GATK最佳实践流水线部署的基础设施),2016年11月.
intel.
cn/content/www/cn/zh/healthcare-it/solutions/documents/deploying-gatk-best-practices-paper.
html.