小型微型计算机系统JournalofChineseComP

utersystems2007年7月第7期Vol.
28No.
72007嵌人式NHD系统1/0性能分析及优化刘海洋',2,孟晓炬',2,库依楠',许鲁'l(中国科学院计算技术研究所,北京100080)2(中国科学院研究生院,北京100039)E一mail:{liuhy,me飞xx,kuyn,xulu}@ict.
ac.
cn摘要:在入式NHD(NetworkHardDisk)来统是一种动态连接计葬资源和存储资源的装笠,它以硬件的方式对ATA存储控制君的访问接口进行功能模拟,即将对标准磁盘访问的ATA协议转化为对网络存储设备访问的NBD协议,从而为计算子系统提供度拟的存储空间.
文章对NHD系统的1/0性能进行分析,并针对性采用了DMA流水、零拷贝和TCP校验和却载等优化技术.
实验数据表明,在不改变硬件配呈条件下,优化后NHD系统的1/0性能由原来的1.
OSMB/5提升为3.
45MB/s,基本达到实用化需求.
关键词:NHD,1/0性能;DMA流水;零拷贝中图分类号:TP333文献标识码:A文章编号:1000一1220(2007)07一1334一05Analysisandoptimizationofl/OPcrformanceforEmbeddedNHDSystemLIUHai一yangl'2,MENGXiao一xuanl'2,KUYi一nanl,XU一Lul1(InstitoteofC如吵utingTechnofo舒,Chi,eseAcad曰的夕ofsc俪ces,Beiji:9100050,China)2(Gr"duatesc人oolofth,Ch认eseACade州ofscie,ce,,Beiji,910003,,Chi,a)Abstract:TheembeddedNHD(NetworkHardDisk)systemisaspecia1izeddevicewhichisabletoconnectcomputingresourceandstoringresource.
Asahardwaredevice,itsimulatesthefunctionsofdata一accessinginterfacebasedonATAprotoco1bytranslatingthestandardATAintoitscounterpartofNBD,anetworkblocktransport班otocol.
Inthisway,itprovidesavirtu-alstoragespaceforlocalcomputingsubsystem.
Thispaperanalyzesthel/OperformanceofNHDsystemandcarriesoutsomecorrespondingoptimizationtechno1ogies,suchasDMAstreaming,zero一copy,TCP一checksumoffloadingetc.
Theexperimentresultsshowthatthel/OperformanceofoptimizedNHDsystemwiththesamehardwareconfigurationastheoriginaloneisimprovedfroml.
05MBpsto3.
45MBps.
Keywords:NHD;1/Operformance;DMAstreaming;zero一coPy1引言传统的计算机系统计算资源和存储资源通过物理总线紧祸合,所构成的计算环境是相对固定的,极大地限制了计算机系统灵活性发挥.
国家高性能计算机工程技术中心自主研发的动态服务部署系统闭,在存储和计算分离的基础上,通过专用的硬件装置(NHD)将存储资源和计算资源之间的物理总线连接转换为网络连接,能够动态构建计算坏境满足不同应用的需求.
从主机操作系统和上层应用的角度来看,NHD系统所提供的功能是一块基于ATA协议物理磁盘,但后者实际并不存储任何数据,它只是为本地计算资源访间存储资源提供一条基于IP网络的数据传输通路.
在这种体系结构下,整个计算机系统的1/0性能依赖于基于NHD系统的所提供的数据传输通路的1/0性能.
文章针对NHD系统的功能特性提出了相应的1/0性能优化方案,即将该系统所提供的数据传输通路分为前后级联的两部分并分别加以优化.
考虑到上层所采用的是同步数据传输协议,因此这里主要针对这两部分的数据传输延迟进行分析和优化.
实验数据表明通过采用DMA流水、零拷贝和TCP校验和卸载等优化技术,在不改变硬件配置的条件下,NHD系统的1/0性能由原来的1.
05MB/s提升为3.
45MB/5,基本达到实用化需求.
此外本文针对NHD系统提出的1/0性能优化方案对其他相关嵌入式存储系统也是适用的.
文章组织如下:第二节介绍NHD系统的逻辑功能和相对应的1/0数据通路;第三节对该系统的1/0性能进行分析,并在此基础上并给出针对性的性能优化方案;第四节通过实验数据给出性能优化前后的1/0性能对比;最后是总结及下一步工作展望.
ZNHD系统概述2.
INHD系统的逻辑功能收稿日期:2.
%一.
3一27基金项目:国家自然科学基金项目(6o373o45)资助.
作者简介:刘海洋,男,1979年生,硕士研究生,主要研究方向为网络存储;孟晓恒,男,198.
年生,博士研究生,主要研究方向为虚拟存储;库依楠,男,1979年生,硕士,工程师,主要从事网络存储方面研发.
许t,男,1962年生,研究员,博士生导师,主要研究方向为操作系统、体系结构和网络存储.
7期刘海洋等:嵌入式NHD系统1/0性能分析及优化1335NHD系统是一种动态连接计算资源和存储资源的装置,它以硬件的方式对ATA存储控制器的访问接口进行功能模拟,即将对标准磁盘访间的ATA协议转化为对网络存储设备访问的NBD协议,从而为本地计算资源提供一条网络数据传输通路以访问远程网络存储设备.
如图1所示,该系统从功能上可划分为三个部分:D前端的功能模拟接口;2)后端的功能模拟接口;3)动态连接支持模块.
动态支持连接模块入4;3.
根据命令解析结果,调用NBD模块从指定存储设备服务器读取相应的数据;4.
嵌入式处理器通过数据寄存器端口向FPGA的F作0写入一扇区数据,然后通知FPGA处理数据;5.
FPGA通过IDE接口以Multi一wordDMA(MDMA)方式将数据从FIFO写入主机内存,并判断所有的数据是否传输完毕,若传输完毕,则向主机发出中断,通知主机该命令处理结束;否则向嵌入式处理发出中断,转入2;6.
主机对中断进行响应,将数据从内核空间拷贝到用户空间,并返回;图INHD系统的逻辑功能图Fig.
IThelogicfunctionofNHDsystem009080706050403020100岁前端的功能模拟接口通过可编程逻辑器件FPGA对ATA存储控制器的访间接口进行功能模拟,以获取对数据访间的控制权.
FPGA内部的功能模块又包括寄存器组、扇区缓冲器(FIFO)、译码器和控制器等,它和嵌入式处理器协作完成ATA协议处理和数据传输.
后端的功能模拟接口利用IP网和存储设备相连,并通过NBD协议和后者进行数据通信.
NBD协议是一种简单的块传输协议,相对于其他数据传输协议(如iSCSI),它所带来的协议开销更小,且由于实现简单而具有更好的可移植性,动态连接支持模块通过硬件或软件的方式连接前后端的功能模拟接口,提供一条完整的数据通路一方面,前后端的功能模拟接口通过总线和嵌入式处理器连接,它们在物理上是连通的;另一方面,运行在嵌入式处理器上的软件对ATA协议进行解析并转化为对应的NBD协议和存储设备进行交互,由此所构成的数据通路在逻辑上也是连通的.
2.
ZNHD系统的1/0数据通路3NHD系统1/0性能分析和优化3.
1性能分析和评价的依据NHD系统为计算资源提供的是一条基于块传输的1/0数据通路,不同的数据块大小所对应的数据传输速率也各不相同.
单位传输的数据块大小越大,则数据通道的1/0带宽利用率也越高,其所对应数据传输率也越高.
图3给出了在Windows操作系统平台下对大量的文件进行读写操作时,不同的块大小访问频率.
试验环境计算机配置为AMDAthlonl.
3GHZ的CPU,512M内存,操作系统为WindowXPprofessional,NHD系统提供的虚拟磁盘空间为loG.
储服务器4KBSKB64KB其它总和图3大量文件拷贝时Windows系统读写数据块大小的频率分布图Fig.
3Thefrequencydistribut沁nofthesizeofdataaccess-edinWindowssystemwiththecoPyofquantitiesoffi1esNHD设备图2Fig.
2基于NHD系统的数据传输通路图ThedatachannelbasedonNHDsystem图2显示了NHD系统各功能部件以及为计算资源和存储资源提供的1/0数据通路.
下面以ATA协议的DMA读操作为例,具体描述NHD系统数据传输处理流程(DMA写操作类似):1.
FPGA收到来自主机的命令请求后,进入相应的命令协议状态机并向嵌入式处理器发出中断;2.
嵌入式处理器响应该中断,并进行判断:若是新命令请求,则访间FPGA寄存器组,对该命令进行解析;否则,转从图3可以看出无论是读还是写操作,64K的数据块都有很高的访间频率,分别是90.
52%和76.
05%.
对Linux系统测试也有类似的情况.
因此下面在对NHD系统的1/0性能进行分析中,考虑到操作系统自身的缓存机制,我们以64K块大小作为性能评价的依据.
此外,在进行性能分析之前,我们首先引入NHD系统对应的数据传输通路的1/0带宽计算模型.
设G是一个由N个不同传输节点依次级联构成的传输系统,其中任意两个相邻传输节点之间采用的是同步数据传输协议且它们各自的数据传输率分别为Vl,VZ,V:,…,巧.
设大小为K的数据块依次_、,、、___二,,,'一.
_,~,一.
,,、,,_、,、.
K,.
,经过这N个传输节点,且在每个节点引入的延迟为子,那么~~~人"'嘴,.
,'一八八'升协,"''"、子'2、"J~~/矽V万'月尸~1336小型微型计算机系统2007年系统G的有效1/0带宽V可由下面的公式计算得到:武+武+奇…+六一去(1)由公式1可知,为了提高NHD系统的1/0性能,我们必须对数据通路中的每个组成单元数据传输延迟进行分析并优化.
结合第2章对NHD系统的逻辑功能和1/0数据通路的分析,我们将该数据传输通路视为一个由前后两个节点级联构成的串行传输系统,其中前端传输节点对应主机、FPGA和嵌入式处理器三者之间的数据传输,即上述数据传输流程中的步骤1、2、4、5和6;而后端传输节点则对应嵌入式处理器和存储设备服务器之间的数据传输,即上述流程中的步骤3.
下面分别对这两个节点数据传输延迟进行分析和优化.
3.
2前端节点传输延迟分析及优化在3.
1节我们提到,前端传输节点负责将数据从主机内存经由FPGA的FIFO写入NHD系统内存或者从NHD系统内存写入主机内存.
具体的来说它又可以分为三部分处理:1)主机端处理(即2.
2节流程6,下同);2)IDE接口数据传输(流程5);3)嵌入式处理器和FPGA之间数据传输(流程1、2和4).
下面以主机读取64K大小的数据块为例,根据实际测得的实验数据来分析上述各部分的处理开销.
实验环境的硬软件配置见表1.
表INHD系统1/0性能测试的实验环境配置表Table1TheexperimentalconfigurationsfortheperformanceevaluationofNHDsystem项目名称主机NHDNBD服务器网络测试工具软、硬件配置IntelceleroncpU1300MHz,slZM内存,操作系统为RedHats.
053C2500166MHZ,SMSDRAM,ZMFLASH,操作系统为uClinuxAMDAthlonl.
4G,512M内存,操作系统为RedHats.
0,硬盘为wD8oGlooMbit以太网Agilent169oA逻辑分析仪主机端处理(用Nl代表)主要包括ATA命令结束时的中断处理,从内核空间到用户空间的64KB大小的数据拷贝和进程切换.
实际测得这部分总开销约为495us.
IDE接口数据传输(用N:代表)是指FPGA通过IDE接口以MDMA方式将64KB数据依次从FIFO写入主机内存.
MDMA模式2访问周期为12ons,ATA接口数据总线宽度是16位,因此数据传输率约为15.
gMB/s.
受硬件资源限制,FPGA的FIFO大小为512字节,因而每次只能写入一个扇区数据,其所需延迟为30.
7us,考虑到从南桥到内存引入的延迟开销,实际测得延迟约为32us,因此写入64K数据总共需要4096us(32usX128).
嵌入式处理器和FPGA之间的数据传输(用N:代表)主要包括中断响应、软件处理(比如ATA命令解析等)和将64KB数据依次从嵌入式处理器内存写入到FPGA的FIFo.
出于通用性考虑,FPGA和嵌入式处理器通过中断方式相互通信,即嵌入式处理器以PIO的方式向FPGA每写入512字节后就进入等待状态,当后者以MDMA方式将写入的512字节数据写入主机内存后(见上文)就以中断方式通知前者,如此循环直至写完64KB数据.
实际测得的每次中断处理开销约为60us;嵌入式处理器和FPGA之间的接口数据总线宽度为16位,故每写入一个扇区数据总共需要256次1/0操作,其中实际测得的FPGA数据平均访间周期约为540ns(有效周期为Zlons),则写入一个扇区开销约为138us(54ons'256);此外,嵌入式处理向FPGA每传输一个扇区数据的软件处理开销约为34us由上我们得出嵌人式处理器和FPGA之间每传输64KB数据的总延迟开销为29696us((60+138+34)usX128).
将上述三部分的延迟开销累加可以得到主机通过NHD系统读取64KB数据的总延迟开销约为34287us(不包括网络传输延迟),这其中N:所占比例最大,约为86.
6%.
由于NI和主机的软硬件系统配置有关,N:由ATA协议接口特性所决定的,因此这里主要对N3进行优化,根据上面分析我们知道N3的开销主要集中在中断处理和1/0操作上.
由于受FP-GA的FIFO大小及FPGA和嵌入式处理器之间的通信方式所限,每传输一扇区数据需要一次中断,故传输64KB数据需要128次中断操作.
为了减少中断次数和1/0开销,我们提出了一种DMA流水技术.
DMA流水则是指从嵌入式处理器内存到FPGA的FIFO及后者到主机内存的基于DMA的数据传输操作是流水进行的,即N:和N3中的1/0操作是并行的,这类似于路由器中数据报转发的直通方式(cut一through)·为了实现DMA流水我们用DMA传输方式来代替嵌入式处理器和FPGA之间原有的PIO数据传输方式,由于FPGA不具有内存"主设备"功能,可以借助嵌入式处理器内部集成的DMA控制器来实现上述DMA操作.
在采用DMA流水技术后,FPGA可以一次性将所有64KB数据通过DMA方式写入到主机内存,整个过程只需要两次中断:一次是FPGA向嵌入式处理器发出命令处理中断,另一次是数据传输完毕后DMA控制器发出的中断.
此外将FPGA的数据总线由16位扩充为32位这样进一步加快数据传输速率.
表2优化前后端节点各部分开销和数据传输率对比Table2Thecomparisonofthespendingandrateofdatatransmissioninthefrontendbeforeandafteroptimizing优化方案没有优化DMA流水Nl(us)NZ(us):::40960N3(us)29696数据传输率(MB/5)42501.
8213.
17下面分析前端传输节点在采用了DMA流水以后的数据传输率,仍以64KB数据块读操作为例,其中N,开销不变;NZ和N:的1/0操作是并行的,并且速率相当,为了方便讨论,我们将N:的开销计算到N:中;而N:包括了两次中断处理(12ous)、1/0操作(4o96us)和软件开销(34us)等,累计开销为425Ous.
表2给出了主机读取64KB数据时,优化前后各部分的开销情况及相应的数据传输率(测试环境同表1).
7期刘海洋等:嵌入式NHD系统1/0性能分析及优化13373.
3后端节点传输延迟分析及优化后端传输节点是指NHD系统和网络存储服务器之间的数据传输,即2.
2节中的步骤3.
NHD系统通过IP网和网络存储服务器相连,并通过NBD协议和后者进行数据传输.
这部分开销主要包括两部分:1)NBD协议开销;2)TCP/IP协议处理开销.
厂尸-.
卜-RAWTCP.
叫今-NBD月KBSKB16KB32KB64K」〕-门卜-RAWTCP2.
2382.
4162名163.
0453.
145一冲一NBD1.
3681.
9952·458一}2·8853一096可以看出无论是发送还是接收,数据拷贝开销都占了很大的比例,分别为34.
47%和25.
25%.
下面以NHD系统从存储服务器读取数据为例,描述其数据拷贝过程.
当NHD系统收到从存储服务器发来的网络数据包后,它首先以DMA方式将数据包从物理线路拷贝到预先分配的系统物理内存(内核空间)中,接着调用相应的协议处理模块来解析该数据包,最后将其中的有效负载从内核空间拷贝到用户指定的内存空间,如此循环直到所有数据接收完毕.
如3.
2节所述,FPGA再将该用户空间的数据以DMA方式一次性写入主机内存.
表3NHD系统发送的接收数据包协议栈各层开销情况表Table3TheoperationspendingoftheTCP/IPprotocolstackwhensendingandreceivingdatapackagebasedonNHDsystemTCP层(us)IP层(us)物理层图4在不同块大小RAWTCP和NBD传输同样的数据时性能对比图Fig.
4Theperformancecomparisonbetween流程发送接收数据拷贝数据校验协议处理(us)114113合计(us)380400J啥n甘勺CJ11Q曰口U扣b067nJO止1RAWTCPandNBDwhentransferringthesamedatabasedonthedifferentblocks注:1)由于平台的原因,测试中没有利用处理器内部的数据Cache,2)物理层开销包括硬中断开销、软中断开销和排队等待等;3)在发送时,数据拷贝与校验是并行的.
NBD协议是一种基于TCP的简单块传输协议,它采用基于Request/R叩ly应答方式进行同步数据传输.
为了分析NBD协议处理开销,我们分别测试了在不同读写块大小情况下,NBD(运行于TCP之上)和TCP各自进行数据传输时的1/0性能、图4给出了测试结果(测试环境见表1),从该图可以看出,单位传输的数据块越大,NBD协议处理附加开销对性能影响越小.
当传输的块大小为64K时,采用NB口进行数据传输的有效带宽(3.
O96MB/5)已经接近利用TCP数据传输时的有效带宽(3.
145MB/5).
因此下面我们主要针对TCP/IP的协议处理开销进行分析.
TCP/IP是一个分层的核心级通信协议,每层分别完成不同的通信功能,其主要的协议开销在于:1)数据拷贝,包括从发送方用户空间到内核空间或者接收方从内核空间到用户空间的报文数据拷贝;2)数据校验,报文的发送方和接收方都需要对消息进行校验和计算,以保证消息的正确性;3)硬件中断,网络设备驱动程序以中断的方式来通知一次数据发送或接收的完成;4)协议处理,在每一层都需要进行打包或拆包以及相关的报头解析.
NHD系统上运行的是Linux内核2.
4版本所实现的TCP/IP协议栈,通过tcpdump程序以及嵌入式处理器内部集成的定时工具对这个协议栈的处理开销进行了测试(测试环境见表1),测试结果显示NHD系统发送和接收一个以太网数据包(有效负荷为1448字节)的开销分别为380us和400us.
表3给出了协议栈各层的具体开销情况,从表中我们从上面的数据拷贝过程可以看出,如果让FPGA直接从内核空间将解析完的数据写入主机内存,就可以避免从内核空间到用户空间的数据拷贝,这就是前面提到的零拷贝技术.
具体的实现是当协议栈完成对数据包的解析后,通知FPGA将有效负荷直接从内核空间以DMA的方式写入主机内存.
和第3.
2节FPGA一次DMA将所有数据写入主机内存不同,在这种情况下FPGA需要多次DMA操作才能完成数据传输,每次传输数据量跟网络数据包的有效负荷有关.
此外,FPGA在传输过程中还可以并行计算数据校验和,在一次传输结束后将校验和返回给协议处理模块,由后者对数据正确性进行判断,下面分析后端传输节点在采用零拷贝技术后的1/0性能,仍以64KB数据块读操作为例.
假设每个数据包的有效负载为1448字节,则读取64K数据约需要接收46个数据包,并向存储服务器返回7个应答包(实际中测试NHD系统平均每收到7个数据包返回一个应答包).
除去数据拷贝和校验和开销,每接收一个数据包(1448字节)的开销约为232us,发送一个应答包的开销约为ZOOus.
这样,若不计NBD协议开销,每读取64K数据开销为12072us(46X232us十7X200us),故数据传输率可达5,177MB/s.
这只是一种理想情况下的估计值,实际测试数据传输率为4.
"MB/s.
4NHD系统优化前后的性能对比在对NHD系统数据传输性能进行分析时,将其数据通路分成前后级联两个传输节点,并对其数据传输延迟分别进行了分析和优化.
表4给出了优化前后这两个节点的数据传1338小型微型计算机系统2007年输率、NHD系统整体有效1/0带宽率理论值(根据公式1计算得到)以及通过winbench"工具实际测试值.
试验环境主机配置为InterCeleronCPU1300MHZ,512M内存,操作系统为WindowsXPProfessional,其他配置参考表1.
表4NHD系统优化前后有效1/o带宽对比Table4ThecomParisonofthel/Obandwidth.
beforeandafteroptimizingNHDsystem前端节点后端节点NHD系统理NHD系统实优化数据传输数据传输论有效1/0际有效1/0率(MB/5)率(MB/5)带宽(MB/5)带宽(MB/5)的数据传输延迟进行了详细分析,提出了基于DMA流水、零拷贝和校验和卸载等1/0性能优化方案,在基本不改变硬件配置的情况下,使NHD系统的有效1/0带宽由原来的1.
oSMB/s提升为3.
45MB/5,基本满足实际应用需求.
未来的研究工作需要对NHD系统的1/0性能做进一步优化:一方面对运行在该系统上的TCP八P协议栈进行扁平化,以减少嵌入式处理器协议处理开销;另一方面实现前后端节点数据并行传输,这样可以大大提高NHD系统整体1/0性能.
优化前优化后1.
8213.
173.
0965.
1771.
1463.
714一"巨3.
45从该表可以看出,根据前后端节点的数据传输率以及公式1计算得到的NHD系统1/o带宽理论值和实测值误差在1%之内,这充分证明了上述1/0性能分析的正确性.
另一方面,通过采用DMA流水和零拷贝等技术使得NHD系统1/0性能有了很大的提高,基本达到实用化要求.
此外,上述的分析和优化虽然是针对NHD系统,但其分析方法和优化的技术是通用的,对其他类似的数据传输系统也有一定的借鉴意义.
Re氏rences:[1〕W.
Richardstevens.
TCP八Pillustratedvolumel:theproto-cols[M].
Beijing:ChinaMachinePress,2000.
[2〕Friedhelm段hmidt.
TheSCSIbus&IDEinterfaceprotocols,applications&programming(Zndedition)[M〕.
玫ijing:ChinaElectricPowerPress,2001,[3〕Rajjain.
The:rtofcomputersystemsperformanceanalysis[M〕.
Newyork:Johnwiley&Sons,INC,1991.
[4〕Liuzhen一jun,xuLu,Yinyang.
BluewhalesonD:aservice-on-demandmanagementsystem[J〕.
ChinesejournalofCom-puters,2005,28(7):1110一1117.
〔5〕MaY卜11,FuXia吧一lin,协nxiao一ming,et.
1,Thoseparationbetweenstorageandcomputation[J〕.
JournalofComputerRe-searchandDe,eloPment,2005,42(3):520一530.
5结论和进一步工作文章介绍了一种动态链接计算资源和存储资源硬件装置—嵌入式NHD系统,并对其1/o性能进行分析和优化.
根据该系统的功能特点,将其数据传输通道分成前后级联的两个传输节点,并在基于64KB数据块大小情况下对每个节点附中文参考文献:〔4〕刘振军,许鲁,尹洋.
蓝鲸SonD动态服务部署系统[J〕.
计算机学报,2005,28(7):1110一1117.
〔5〕马一力,傅湘林,韩小明,等'存储和计算的分离〔J].
计算机研究与发展,2005,42(3):52压530