机房网络运营托管

网络中心机房清理记录2009年7月21日~7月24日一、前期准备工作根据网络中心机房目前的实际状况,2009年7月13日在中心办公会议上确定在暑假适当的时候对网络中心机房进行一次集中清理.
上一次中心机房清理为2007年10月.
由于学校今年暑假开学时准备工作时间非常短,8月31日开学,9月1日新生报到,8月下旬,网络中心将全力配合基础学院和研究生院迎新展开工作,工作必将非常紧张.
充分考虑近期学校与网络相关的工作,只有本科招生工作正在同步进行,经过几次协商和沟通,7月20日中心负责人与招生分配处负责人最终确定工作时间,利用招分办休息的两天(7月21日-7月22日)时间进行机房现场清理工作,保证招生工作的顺利有序进行.
与集成商相关工作人员协调时间,备足清理机房的相关仪器设备(标签机、测线仪、吸尘器等),以及若干多模单模跳线备份.
与IBM、eyou、F5、深澜、东软等合作厂商相关技术人员提前联系,保证机房清理工作完成之后,设备正式加电上线时能够获得相关技术支持.
7月20日请示主管校领导批准后,通过网络公告、邮件、主要办公楼张贴公告等形式向全校师生发布机房清理公告.
明确清理程序,通知中心主要技术人员,按照要求,于指定时间,按时到岗.
二、中心机房清理目标全面整理机房,消除安全隐患.
三、中心机房本次清理详细记录现场清理工作:2009年7月21日7时——2009年7月22日21时后期整理工作:2009年7月23日7时——2009年7月24日1参加现场清理的工作人员:陈朔鹰,赵敬中,唐凯,吕天兵,刘卫民,卢肖,朱丽洁,崔睿,王凤贵.
因其他事情无法到达现场,进行远程电话咨询和支持:俞宙,杨军.
前期准备:2009年7月21日下班时协调东软公司关闭info.
bit.
edu.
cn系统.
现场清理第一天:2009年7月21日现场值班:吕天兵,晚上值班:崔睿7:00技术人员开始进行准备工作.
7:20开始逐个关闭主机房正在运行的应用系统和服务:邮件系统、计费系统、主页、数据库、磁盘阵列、IBM刀片服务器等.
8:20开始关闭核心交换设备,断网.
8:35依次逐步切断主机房全部动力电源,保留两台空调继续运行,关闭专用机房空调.
图1中心机房北侧核心设备机柜(凌乱不堪的光纤跳线)28:40聘请的专业机房清理人员10人进入主机房现场,熟悉现场情况,领队从主交换机6509开始记录当前全部线路连接状态,绘制现场连接图.
图2中心机房东侧机柜组(散落一地的飞线)8:40开始关闭托管服务器机房的全部托管服务器.
8:45关闭托管机房的全部电源.
8:45开始关闭UPS间的3台UPS.
8:50开始初步清理UPS间环境.
8:55逐个打开UPS设备进行内部清洁和维护.
9:20使用清理人员带来的笔记本和专用打印机,按照机柜的顺序开始为每个机柜和每组接线制作标签.
9:40工人开始粘贴标签,拆下各种接线.
9:50工人开始擦拭清理下来的接线,初步清理机器外面的浮尘.
10:00与相关人员初步确认工作进度,技术人员逐步离开现场,主机房保留值班技术人员协助清理工作.
3图3技术人员正在做标签登记工作9:50打开3台UPS设备,里面布满了尘土(UPS房间密闭性较差所致),采用小毛刷、吸尘器对机器内部进行清理.
10:00从UPS间拉电源至主机房为清扫设备临时供电.
4图4UPS设备内部明细图12:00UPS除尘结束.
13:00主机房继续调整线路,除尘.
13:00UPS加电调试,两台正常,一台无法启动.
13:30确认其中一台UPS存在故障,联系原厂商技术人员进行进一步诊断.
13:30开始从配电盘向主机房拉两根电缆线,为主机房刀片服务器新增两路供电线路.
15:00UPS厂家1名技术人员到现场进行技术诊断,检查相关的连线和电池组.
15:30主机房拉两根电缆线安装完毕,等待通电后的确认测试.
15:30主机房继续清理机柜,更换老化网线,,更换老化插座,重新绑扎连线.
516:30排除UPS故障隐患,更换UPS内的控制板.
16:50确认3台UPS工作正常.
17:00根据当天工作进度,为保证能够在第二天下午两点对主机房加电,与清理公司经理确认晚上加班的时间和进度.
17:10负责UPS维护的技术人员全部撤离现场.
18:00工人晚饭.
中心值班人员检查当天工作进度和质量.
19:00继续清理主机房,,将部分飞线移到地板下.
23:45关闭主机房全部空调,切断主机房主全部电源,保留UPS间供电电源和空调运行.
23:452名公司经理带7名工人结束一天工作离开机房.
第一天工作的成果:清理完成UPS间的设备,发现并排除UPS故障一处,完成主机房地上8个机柜的整理工作.
第一天主要工作人员:集成商相关人员经理2名、工人8名;中心主要负责领导及相关技术人员第二天:2009年7月22日现场值班:吕天兵7:45工人到达现场,开始准备工作.
8:00在主机房继续清理工作,整理中心核心交换机Cisco6509的光纤,开始清理主机房地面,清理IBM和SUN的机柜.
12:45继续整理Cisco6509的光纤,调整IBM和SUN机柜.
13:00部分新增设备上架归位.
14:00中心主要技术人员集中,电工到位,IBM工程师到位,集成商工程师到位,做加电前的准备工作.
14:30主机房集中了约20人,分别同时开始工作.
14:55合UPS输出电闸,向配电柜供电,正常.
14:57为IBM机器加装电源PDU,合上电柜电闸,向IBM刀片中心四路供电,IBM技术人员对IBM机器调试开始.
15:25IBM刀片中心硬件工作正常,操作系统正常启动,未发现明显问题.
615:35合上主机房两路电闸,为IPv6等设备加电,检查单机运行状态.
15:50依次对IPv6设备、校园网主页、防篡改系统、监控系统等服务器加电.
16:10供学生使用的校内邮件系统SMAIL启动不正常,无法马上确定故障位置快速排除,暂时关机.
16:15为磁盘阵列加电,正常.
16:25检查监控室电源,准备启动监控终端.
16:30监控室启动监控终端,正常.
16:40开始在IBM刀片服务器上为即将上线的新的校园网主页发布系统配置运行环境,检查网络连通,发现有一块网卡仍然工作不正常,通过交换刀片位置确定问题出在交换模块上.
17:00检查机房环境:一半设备投入恢复运行,已经供电的3路电源系统正常,UPS运行正常,2台5匹空调运行,机房环境温度为25度.
17:00再次启动供学生使用的校内邮件系统和相关的磁盘阵列,排查问题.
17:00机房北侧,6名工人同时在6509前工作,光跳线安装过半.
17:30工人开始对机房地板进行检查,查遗补漏.
17:40确认提供SMAIL服务的服务器存在问题,当天无法恢复,停机.
17:50开始安装6509的最后几根光跳线.
17:50IBM工程师还在对刀片服务器中的"两片"进行调试,更换备件.
18:00检查机房环境:一半设备投入恢复运行,已经供电的3路电源系统正常,UPS运行正常,2台5匹空调运行,机房环境温度上升到26.
5度.
18:40最后两路开始合闸供电,北侧的核心交换设备加电.
18:45网络监控显示,全校部分网络设备已经连接正常.
18:50托管服务器机房开始供电,开始启动托管服务器.
18:50网络中心连接校园网的计算机已经连入网络.
18:55启动小型机.
19:00启动DNS,启动F5,启动计费系统,启动邮件系统.
19:00更换空调过滤网,启动机房第三台机房专用空调.
19:06计费系统运行.
19:08在监控室通过IP可访问到校内图书馆.
719:10开始调整线路,发现计费系统上连接6509和SCE的两根光纤分别有一路不通.
19:14校内客户端可以登陆.
20:20校内网络运行正常.
20:30通过临时光纤飞线,连接教育网的线路开通.
20:35通过临时光纤飞线,连接公网的线路开通.
20:42学校主页正常开通.
21:00检查系统各项功能是否正常.
21:30工人再次进入机房进行地面清洁工作.
21:30技术人员吃饭.
22:07通过临时光纤飞线,调通本部与良乡之间的线路.
22:20记录遗留问题,明确明天工作.
22:25结束全天工作.
第二天工作的成果:完成了中心机房的清理工作,实现了校园网主干网络链路的畅通和主要应用服务的正常运行.
第二天主要工作人员:集成商相关人员经理1名、工人8名;中心主要负责领导及相关技术人员;IBM技术支持人员、深澜技术人员和相关集成商技术人员.
四、中心机房清理工作完成的后续工作7月21日到7月22日两天的中心机房清理工作完成后,实现了中心机房的除尘清理工作,保障了校园网主干链路重要楼宇的网络畅通,恢复了学校主要应用的正常运行.
后续工作时间:2009年7月23日至7月24日后续工作目的:排除故障点,保证校园内所有网络节点的正常运转第三天:2009年07月23日现场值班:卢肖9:00工人进场,准备将地板的某些拼接处打磨切割,防止翘起.
89:00工人进场,准备将散落在机房地面的若干主干多模、单模光纤对入地.
9:25出口防火墙到国际交流中心招分办的网络恢复,招分办正常工作.
9:37目前故障节点:校医院、1号2号教学楼北部平房区、留学生楼、校工厂、基建处库房、IPv6.
9:30工人在中心机房外部空房切割地板.
10:10工人去购买专用切割设备.
10:30工人继续切割地板.
13:00切割地板安装完毕,开始逐个调试故障点13:41留学生楼网络恢复.
13:45校医院网络恢复.
13:50新增加的EyouIPv6测试服务器调试正常.
14:45基建处库房网络恢复.
15:25IPv6恢复.
15:30info数字校园平台恢复(info.
bit.
edu.
cn).
15:40工程训练中心(原校工厂)网络恢复.
16:30一号二号教学楼北面平房区网络恢复.
第四天:2009年07月24日现场值班:卢肖10:30二号教学楼网络恢复,目前所剩故障点:膳食处、二号教学楼北面静电实验室二层小楼.
13:30为基础教育学院开通迎新网站和bbs.
bit.
edu.
cn.
14:00部分中心技术人员再次集中,调试设备,为最后结束清理工作作好准备.
14:11二号教学楼北面静电实验室二层小楼,网络恢复.
14:30通过网络向全校发布机房清理结束公告,感谢大家支持.
14:35修复校内邮件系统,连通网络,亿邮公司工程师远程登录,确认系统故障为存放用户邮件的磁盘阵列硬件出现问题,导致系统无法正常启动.
该硬件问题需要在下周与DELL公司联系,寻求技术支持.
17:10膳食处网络恢复.
9图5最后的三对光纤飞线(左侧的橙色两对和右侧的黄色一对)图6中心机房北侧机柜(光纤飞线入地后)18:00快速更换IBM刀片中心交换模块,解决新主页系统服务器的网络连通性10问题.
图7中心机房东侧机柜组图8中心机房机柜组全貌1118:00准备将机房清理最后的三对重要光纤飞线入地,见图5.
18:35最后的三对重要光纤飞线入地,见图6.
18:40替换计费系统连接6509和SCE的两根临时光纤.
18:40与公司确定上交清理技术资料的最后时间.
18:40整个机房清理的收尾工作完成.
清理工作结束.
五、中心机房清理工作小结主要完成的工作:1.
中心机房所有UPS供电设备的除尘清扫工作并修复了其中一台发生故障的UPS设备;2.
为中心机房IBM刀片服务器增加两路供电,更换服务器内部分配件,消除工作隐患;3.
清理中心机房所有机柜,除尘清扫,更换老化网线、老化插座,排除安全隐患;4.
清理中心机房所有飞线,将飞线入地,排除安全隐患,保持机房地面及机架排线合理;将中心机房所有光、电跳线重新捆绑标记;5.
调整中心机房地面,重新安装部分地板,保持地面干净平整.
本次清理工作中应该改进的工作:1)停网公告本次仅提前了一天,尽管通过网络公告板、邮件、BBS和办公楼张贴等多种形式进行了公告,但由于时间较短,不少用户并没有及时得到相关信息,致使从断网开始主机房咨询电话就不断.
因此,今后类似的全校断网应尽量提前三天进行公告.
2)由于本次是全面断网,造成从校外访问我校主页也无法进行,给外人一种"学校网络出了什么事情"的假象.
因此,在技术和条件允许的情况下今后要考虑通过技术手段,在断网期间,面向公众显示必要的提示信息.
3)两年一次的清理周期并不长,一般应该为每三年进行一次清理,但本次清理成果显著,一方面反应出机房本身客观条件(不能很好密闭,光纤、线路自然老化等)存在的问题,另一方面反应出日常工作(临时飞线过多,清洁卫生等)中存在问题.
因此,加强日常保养是维护机房良好环境的重要措施.
124)公告的内容和措辞可以再进行一些斟酌.
附1:中心机房清理工作相关公告1.
关于网络服务中心机房维护的通知(2009年7月20日)根据安排,7月21日上午7:00至7月22日晚21:00,我中心机房进行网络核心设备的除尘清扫维护工作.
在此期间,关闭所有网络设备电源,暂停所有网络服务.
请大家避开这个时间段使用网络.
给您带来不便,敬请谅解!
2.
关于网络服务中心核心机房维护工作结束的通告(2009年7月24日)根据安排,7月21日7:00至7月22日21:00,我中心机房完成了网络核心设备的除尘清扫工作.
在此期间,我中心主要技术人员与集成商实施人员一起,主要完成了下述工作:中心机房所有UPS供电设备的除尘清扫工作并修复了其中一台发生故障的UPS设备;为中心机房刀片服务器增加两路供电;清理中心机房所有机柜,除尘清扫,更换老化网线、老化插座,排除安全隐患;清理中心机房所有飞线,将飞线入地,排除安全隐患,保持机房地面及机架排线合理;将中心机房所有光、电跳线重新捆绑标记;将中心机房地面切割拼接打磨,保持地面干净平整.
经过所有工作人员的努力,最终于7月22日晚上8点35分左右,实现了校园网主干网络链路的正常访问.
在两天的机房清理打扫过程中,得到了全校师生员工的大力支持配合和理解,在此我中心深表感谢,并对由于机房调整而造成的网络中断再次表示歉意.
附2:网络中心机房历史清理记录第一次清理:2005年7月第二次清理:2007年10月第三次清理:2009年7月21日~7月23日记录整理:陈朔鹰,卢肖,唐凯审核:赵敬中13