空闲系统空闲进程

CPUiowait指标详解陈炽卉chenchihui@inspur.
com第2页共7页目录1IOWAIT概述31.
1IOWAIT%的具体含义31.
2IOWAIT的一些事实41.
3不同SMT级别对IOWAIT%取值的影响.
52总体建议53附录:不同SMT级别时IOWAIT取值演示53.
1SMT4时IOWAIT%为3.
63.
2SMT2时IOWAIT%为6.
63.
3SMT1时IOWAIT%为12.
7第3页共7页1iowait概述在常用的系统CPU统计工具如topas、sar、vmstat、lparstat、iostat等等输出中,通常都有一列iowait.
有一些客户常常以此为指标衡量IO性能,这种做法是否合理呢我们首先来看看iowait的定义.
1.
1Iowait%的具体含义如下是iowait的具体定义:Reportsthepercentageoftimetheprocessor(s)wereidleduringwhichthesystemhadoutstandingdisk/NFSI/Orequest(s).
也即iowait其实是一种特殊形式的CPU空闲.
特殊之处在于,在此CPU的等待队列上有线程在等待IO完成(我们称之为pendingIO或者outstandingIO).
这是由IO的特点决定的,因为IO速度较慢,现代操作系统实现IO一般是通过异步中断来完成的:即提交IO请求,然后线程挂起进入等待队列;IO完成后,再通过中断通知相关线程转到就绪队列,进行处理.
在相关任务线程提交完IO请求,到IO中断返回的过程中,此时IO主要由存储侧处理,主机侧CPU实际上处于空闲状态.
如果此时有其他任务线程可调度,系统会直接调度其他线程,这样CPU就相应显示为Usr或Sys;但是如果此时系统较空闲,无其他任务可以调度,CPU就会显示为iowait(实际上与idle无本质区别).
第4页共7页注意AIX仅仅标记那些触发未完成IO任务的空闲CPU为iowait状态,不会牵连到系统中其他空闲的CPU(这些CPU状态依然标记为IDLE空闲状态).
这样就有效减少了一部分iowait值虚高的情形:比如一个4颗物理CPU的系统,如果只有其中一颗物理CPU上有未完成IO请求,则iowait最高不会超过25%.
1.
2iowait的一些事实基于此,可以看到:1)%iowait合理值取决于应用IO特点.
比如备份任务往往iowait较高;而cache命中率高、磁盘读写少的应用负载iowait一般不高.
2)从上述说明可以看到,减少%iowait的方法有两类:一类是进一步缩减IO处理时间,比如采用SSD盘,或者甚至内存盘等技术;另外一类是缩减IO处理过程中CPU的空闲时间,比如在系统中添加CPU密集型任务,可以使得%iowait比例明显降低甚至为0;3)%iowait比例与是否存在IO性能问题并无直接关系:低iowait也不代表没有磁盘性能问题;参考第二点,完全可能在实际上IO服务时间非常长,但由于系统中同时存在CPU密集型任务掩盖了iowait.
高iowait不一定代表有磁盘性能问题;因为系统可能比较空闲,而业务类型是IO密集型比如备份.
第5页共7页1.
3不同SMT级别对iowait%取值的影响如果系统启用了SMT1,由于目前iowait%的计算方法,SMT1模式也会造成iowait%被放大.
比如一个8核SMT1环境,如果其中一个逻辑CPU处于iowait状态:因为SMT1情况下,该逻辑CPU独占一颗物理CPU,那么相应的iowait%就是1/8=12.
5%.
而如果是8核SMT4环境,其中一颗逻辑CPU处于iowait状态:因为SMT4环境下,4个逻辑CPU对应一颗物理CPU;而4个逻辑CPU获得物理CPU的比例取决于其负载,在负载等同(都没有实际负载)的情况下,处于iowait状态的逻辑CPU只能拿到0.
25左右的物理CPU份额;这样iowait%将会是1/8*0.
25=3.
125%.
而如果是SMT2模式,同样情况下iowait%取值应该在6.
25%左右.
2总体建议综上可以看到,iowait取值由于度量算法因素,波动会比较大,与IO性能并没有直接的关联.
我们需要结合更多IO指标比如IO服务时间来评估是否实际存在IO性能问题.
例如可以通过iostat-DlT1|grep-v"0.
00.
00.
0"持续观察磁盘IO服务情况;如果读、写avgserv时间或排队avgtime出现明显增长,则需要做相应调整,应对磁盘瓶颈.
通过iostat-a、fcstat等观察光纤卡的统计数据,判断是否存在瓶颈需要调整.
3附录:不同SMT级别时iowait取值演示第6页共7页测试方法:#.
/iostress4启动io压力,然后运行vmstat查看iowait百分比.
3.
1SMT4时iowait%为3#vmstat-Iwt103Systemconfiguration:lcpu=64mem=114688MBkthrmemorypagefaultscputimerbpavmfrefifopipofrsrinsycsussyidwahrmise130175332427536828127754000027707628503071392323:43:28130175333327536818027838000027787139499081392323:43:38140175333427536817027870000027732155499411392323:43:483.
2SMT2时iowait%为6#smtctl-t2smtctl:SMTisnowenabled.
Itwillpersistacrossrebootsifyourunthebosbootcommandbeforethenextreboot.
#vmstat-Iwt103Systemconfiguration:lcpu=32mem=114688MBkthrmemorypagefaultscputime第7页共7页rbpavmfrefifopipofrsrinsycsussyidwahrmise230174858227541480027716000027652182499532488623:44:17240174603127544031027716000027657137496242488623:44:27130174347127546591027679000027540142492812488623:44:373.
3SMT1时iowait%为12#smtctl-t1smtctl:SMTisnowdisabled.
Itwillpersistacrossrebootsifyourunthebosbootcommandbeforethenextreboot.
#vmstat-Iwt103Systemconfiguration:lcpu=16mem=114688MBkthrmemorypagefaultscputimerbpavmfrefifopipofrsrinsycsussyidwahrmise1301736147275538970274640000274334784882508791223:45:061301733596275564470276110000275091454888708801223:45:161301731036275590070276740000276011384902208791323:45:26说明:在绝大多数应用场景下,高级别的SMT整体性能表现更佳,尤其对以整体吞吐率TPS为主要度量的客户应用而言.
SMT8常常能达到SMT1的2倍左右性能.
在少部分场景下,主要是锁冲突比较严重的情况下,SMT1通过限制并发数,可能获得一定性能优势;但这实际上是治标不治本的方法,并不能保证凑效.
一般而言,需要从根本上定位造成锁冲突的原因;解决锁冲突后,SMT8/SMT4性能仍然优于SMT1.
第7页共7页