机房应急预案模板
在我们平凡的日常里,有时会面对自然灾害、重特大事故、环境公害及人为破坏等突发事件,为了控制事故的发展,总不可避免地需要事先编制应急预案。下面是小编为大家收集关于机房应急预案模板,希望你喜欢。

机房应急预案模板(精选篇1)
IDC数据中心机房的安全无疑是整个计算机信息系统安全的前提,如果数据中心机房存在这样那样的不安全因素,从而导致发生数据中心机房事故,则整个信息系统的安全也就不可能实现。
随着网络信息化建设的不断深入,加强机房各类设备、系统以及信息与网络安全等方面应对突发事件的处理能力将是我们目前面临的一项重要任务。为确保系统及机房安全与稳定,以保证正常运行为宗旨,按照“预防为主,积极处置”的原则,本着建立一个有效处置突发事件,建立统一指挥、职责明确运转有序、反应迅速处置有力的机房安全体系的目标,将正在发生或已发生事故的损害程度减轻到最低。
1、维保预防措施
1、建立健全机房维保技术人员管理制度
1.1在正常工作日内,信息技术人员负责对机房进行监控,主要职责是:巡视网络设备及系统的运行情况,发生异常情况及时处理,消除故障隐患。
1.2周末、节假日及重大会议期间技术人员轮流值班,负责处理有关异常情况。
2、应提高对机房可靠性、可用性、安全性等方面的认识,既要重视信息系统安全,又要重视机房的运行维护管理,重视对计算机硬件、软件及网络设备的维护。要树立大局意识和忧患意识,对机房设施安全的重要性给予足够的重视。
3、应重点加强管理制度的执行。管理制度包括预防维护流程和紧急情况处理预案两个方面。要制定相应的管理制度,包括机房管理岗位制度、机房操作规程等,以明确岗位职责。为应对机房中可能会发生的紧急情况,如火灾、断电、数据丢失、设备失灵等,应按各种紧急情况分列处置措施,还要对预案进行演练。
4、应不断提高机房管理人员的技术水平。机房设施非常复杂,涉及很多专业和系统,维护人员只有通过不断的总结以往出现的各种问题进行后续学习和培训,提高技术水平,才能避免更多的相同的问题及异常情况甚至事故的发生。
5.应加强供配电、照明等电源子系统的监测。同时应重点对温度、湿度、灰尘、有害气体等进行评估和监测。还要加强静电防护、干扰源分析及保护、雷击
防护、电磁干扰、振动控制,防火、防水等工作。
5、应加强对进入机房人员的管理。工作人员行为、素质等因素均可能对机房安全造成影响,因此,除管理制度约束外,门禁和视频监视等物理安全策略均可有效提高机房安全水平。
7、应定期对机房设施进行安全评估。最好每年聘请第三方机构进行安全评估,专业评估机构拥有专家力量,能够比较安全地对所有的设备进行操作,不会因为误操作引起机房故障。
8、机房内严格采取防雷、防火、防尘、防静电等措施以及机房24小时监控等措施。
9、认真做好数据备份工作,定期做一次数据库完全备份,每月检查服务器运行和备份情况。
10、对机房的主要网络设备(路由器、主干交换机等)进行工作时间内全程监控,发现异常情况应及时进行处理,确保整个网络的正常运行。
2、应急处置措施
2.1机房漏水应急预案
(1)发生机房漏水时,第一目击者应立即通知运维服务小组,并及时报告监控系统突发故障应急领导小组。
(2)若空调系统出现渗漏水,运维服务小组负责人应立即安排停用故障空调,清除机房积水,并及时联系设备供应方处理,同时启动备用空调,必要情况下可临时用备用空调对服务器进行降温。
(3)若为墙体或机房门渗漏水,运维服务小组负责人应立即采取有效措施确保机房安全,及时清除积水,维修墙体或门窗,消除渗漏水隐患。 2.2设备发生被盗或人为损害事件应急预案
(1)发生设备被盗或人为损害设备情况时,使用者或管理者应立即报告系统突发故障应急领导小组,同时保护好现场。
(2)系统突发故障应急领导小组接报后,通知用户保卫部门、相关领导,一同核实审定现场情况,清点被盗物资或盘查人为损害情况,做好必要的影像记录和文字记录。
(3)事发单位和当事人应当积极配合公安部门进行调查,并将有关情况向系统突发故障应急领导小组汇报。
(4)系统突发故障应急领导小组安排运维服务小组、事发单位及时恢复系统正常运行,并对事件进行调查。运维服务小组和事发单位应在调查结束后一日内书面报告系统突发故障应急领导小组。事态或后果严重的,应向相关领导汇报。 2.3机房长时间停电应急预案
(1)定期检查机房供电设备的运行状况和电路线缆器材情况,当发生下列突发事件时,按照以下方案进行处置:
(2)当机房发生市电供电突然停电或是电源异常时。首先应和后勤部门联系确认正常停电以及预计停电时间。检查不间断电源的电池可供电时间,确保设备正常运行,如遇到突然断电,应及时将空调等不在UPS电源供电范围内的设备及时断电,预防突然来电时瞬间电流过大导致设备损坏等现象。
(3)当确定停电时间超出机房UPS承载范围后,首先确定停电的范围以及受影响的设备范围。并及时通知各部门做好停电应急准备。然后通知机房电源维护人和设备的'负责人到达现场,做好各设备的电源停电准备。在UPS供电电量仅剩10%之后,严格按操作手册停掉各服务器的电源,最后停核心交换机和路由器,等待电力恢复。
(4)当确定停电原因是在本身供电系统范围内,立即汇报给负责领导,并及时联系相关维护人员达到现场检修。对于恢复时间无法预计的,要通知后勤部门做好柴油机发电及移动电源车供电准备
(5)恢复供电后,严格按照操作程序逐步恢复机房设备和UPS的供电,以防瞬间电流过大造成设备损坏。
2.4通信网络故障应急预案
(1)发生通信线路中断、路由故障、流量异常、域名系统故障后,操作员应及时通知本单位信息系统管理员,经初步判断后及时上报运维服务小组和系统突发故障应急领导小组。
(2)运维服务小组接报告后,应及时查清通信网络故障位置,隔离故障区
域,并将事态及时报告系统突发故障应急领导小组,通知相关通信网络运营商查清原因;同时及时组织相关技术人员检测故障区域,逐步恢复故障区与服务器的网络联接,恢复通信网络,保证正常运转。
(3)事态或后果严重的,应向应急指挥办公室和相关领导汇报。 (4)应急处置结束后,运维服务小组应将故障分析报告,在调查结束后一日内书面报告系统突发故障应急领导小组。 2.5网络病毒事件应急预案
(1)发现不良信息或网络病毒时,信息系统管理员应立即断开网线,终止不良信息或网络病毒传播,并报告指挥调度中心运维服务小组和系统突发故障应急领导小组。
(2)运维服务小组应根据系统突发故障应急领导小组指令,采取隔离网络等措施,及时杀毒或清除不良信息,并追查不良信息来源。
(3)事态或后果严重的,应向监控中心办公室和相关领导汇报。 (4)处置结束后,运维服务小组应将事发经过、造成影响、处置结果在调查工作结束后一日内书面报告系统突发故障应急领导小组。 2.6服务器软件系统故障应急预案
(1)发生服务器软件系统故障后,运维服务小组负责人应立即组织启动备份服务器系统,由备份服务器接管业务应用,并及时报告系统突发故障应急领导小组;同时安排相关责任人将故障服务器脱离网络,保存系统状态不变,取出系统镜像备份磁盘,保持原始数据。
(2)运维服务小组应根据系统突发故障应急领导小组的指令,在确认安全的情况下,重新启动故障服务器系统;重启系统成功,则检查数据丢失情况,利用备份数据恢复;若重启失败,立即联系相关厂商和上级单位,请求技术支援,作好技术处理。
(3)事态或后果严重的,应向监控中心应急指挥办公室和相关领导汇报。 (4)处置结束后,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。
2.7黑客攻击事件应急预案
(1)当发现网络被非法入侵、网页内容被篡改,应用服务器上的数据被非法拷贝、修改、删除,或通过入侵检测系统发现有黑客正在进行攻击时,使用者或管理者应断开网络,并立即报告系统突发故障应急领导小组。
(2)接报告后,系统突发故障应急领导小组应立即指令运维服务小组核实情况,关闭服务器或系统,修改防火墙和路由器的过滤规则,封锁或删除被攻破的登陆帐号,阻断可疑用户进入网络的通道。
(3)运维服务小组应及时清理系统,恢复数据、程序,恢复系统和网络正常;情况严重的,应向监控中心应急指挥办公室和相关领导汇报,并请求支援。
(4)处置结束后,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。 2.8核心设备硬件故障应急预案
(1)发生核心设备硬件故障后,运维服务小组应及时报告系统突发故障应急领导小组,并组织查找、确定故障设备及故障原因,进行先期处置。
(2)若故障设备在短时间内无法修复运维服务小组应启动备份设备,保持系统正常运行;将故障设备脱离网络,进行故障排除工作。
(3)运维服务小组故障排除后,在网络空闲时期,替换备用设备;若故障仍然存在,立即联系相关厂商,认真填写设备故障报告单备查。
(4)事态或后果严重的,应向监控中心应急指挥办公室和相关领导汇报。 2.9业务数据损坏应急预案
(1)发生业务数据损坏时,运维服务小组应及时报告系统突发故障应急领导小组,检查、备份业务系统当前数据。
(2)运维服务小组负责调用备份服务器备份数据,若备份数据损坏,则调用磁带机中历史备份数据,若磁带机数据仍不可用,则调用异地备份数据。
(3)业务数据损坏事件超过2小时后,运维服务小组应及时报告系统突发故障应急领导小组,及时通知业务部门以手工方式开展业务。
(4)运维服务小组应待业务数据系统恢复后,检查历史数据和当前数据的
差别,由相关系统业务员补录数据;重新备份数据,并在工作结束后一日内报告系统突发故障应急领导小组。 2.10雷击事故应急预案
(1)遇雷暴天气或接上级部门雷暴气象预警,运维服务小组应及时报告系统突发故障应急领导小组,经请示同意后关闭部分服务器,切断电源,暂停内部计算机部分网络工作。
(2)雷暴天气结束后,运维服务小组报经系统突发故障应急领导小组同意,及时开通服务器,恢复内部计算机网络工作,对设备和数据进行检查。
(3)因雷击造成损失的,运维服务小组应会同相关部门进行核实、报损,并在调查工作结束后一日内书面报告系统突发故障应急领导小组。必要时,应向监控中心应急指挥办公室和相关领导汇报。 2.11空调设备故障应急预案
若机房专用空调损坏,应第一时间启用机房备用空调,并通知厂家上门进行维修,并及时报告相关领导请示,获得授权后按机房设备关闭顺序关闭各类设备。 2.12火灾事故应急预案
(1)一旦机房发生火灾,应遵照下列原则:首先确保人员安全;其次保护关键设备、数据安全;三是保护一般设备安全;
(2)人员疏散的程序是:机房工作人员立即按响火警警报,并通过119电话向公安消防请求支援,所有人员戴上防毒面具,所有不参与灭火的人员按照预先确定的线路,迅速从机房中撤出;
(3)人员灭火的程序是:首先切断所有电源,启动自动喷淋系统或使用灭火器,灭火值班人员戴好防毒面具,从指定位置取出泡沫灭火器进行灭火。 2.13电源设备故障应急预案
机房目前使用UPS系统,在紧急情况发生时,应按如下步骤进行关机:(1)确认所有负载均已安全关机。
(2)关闭UPS负载电源。
(3)将UPS的系统启用开关切换到off的状态。 (4)将电池连接断路器切换到off的位置。
机房应急预案模板(精选篇2)
第一条:机房意外停电后,首先确定停电的范围以及受影响的设备范围。
第二条:确认停电的范围为本公司或本机房,应立即联系工机科电话汇报。估算电力可能恢复的时间,并通知直接上级。
第三条:如果确认停电的时间在1个小时内,可以在UPS正常供电的时间内,等到电力恢复。如果不能确认在2个小时内恢复供电,需及时到达现场。做好各设备的电源停电准备。在UPS供电达1.5个小时后,严格按操作手册停掉存储和各应用服务器的电源,最后停核心交换机和路由期。等待电力恢复,电力恢复供电后转第七条执行。如果确认停电的范围仅在于本机房电源故障,立即汇报给机房电源维护负责人。
第四条:机房维护负责人将掉电的电源柜总空开和分空开的状态处于下电状态。并向直接领导汇报,马上联系相关厂家,如有可能请厂家立即到现场支持。第五条:将掉电的所有的.设备电源状态处于下电状态,以防止电源柜加电对设备的冲击。
第六条:等各厂家和相关的人员到齐后,商议设备恢复时因注意的事项,并形成相关文档。
第七条:电力室恢复供电后,先不要急于给电源柜加电,等待10—20分钟后,再开始给电源柜加电,以防止供电不稳或再次掉电。
第八条:供电正常后,确定设备处于下电状态后,打开电力柜的总控开。第九条:根据设备加电顺序,启动分项空开。第十条:设备加电顺序,网络交换类设备正常后再给磁盘阵列柜加电,存储状态检查正常后,启动主机(以上各设备务必按操作手册的启动顺序上电)。第十一条:设备启动正常后,开始启动数据库。第十二条:数据库启动正常后,开始启动中间件服务器。第十三条:中间件服务器正常后,启动应用程序。
第十四条:机房设备进行全面点检,确认所有设备运行和服务正常。
机房应急预案模板(精选篇3)
1.总则
1.1编制目的
为高效有序地做好机房火灾事故的应急处置工作,避免或最大程度地减轻火灾事故造成的损失,保障员工生命和企业财产安全,维护社会稳定。
1.2编制依据
《中华人民共和国安全生产法》《江苏省消防条例》
1.3适用范围
适用于机房火灾事故的现场应急处置和应急救援工作。
2.事件特征
2.1事件类型及危险性分析
2.1.1电气线路短路、过载、接触电阻过大,静电,雷击等强电侵入,机房内电脑、空调等用电设备长时间通电过热、设备故障等原因均可能引起计算机房的火灾事故。
2.1.2机房火灾事故会造成计算机设备损坏、系统故障网络中断或瘫痪,影响网络的安全运行。
2.1.3火灾产生的有毒烟雾污染机房的空气,造成人员中毒、窒息等人身伤亡事故。
3.应急组织及职责
3.1火灾应急指挥部
应急指挥部总指挥:
机房火灾应急抢险指挥:
成员:
3.2指挥部人员的职责
3.2.1指挥的职责:全面指挥突发事件应急救援工作。
3.2.2高低压专业职责:组织、协调本部门人员参加应急处置和救援工作,对发生险情机房切断电源。
3.2.3智能化专业职责:监控相关区域事故情况。
3.2.4空调专业职责:发现异常情况,及时切断空调、通风系统,做好运行方式的调整和故障设备的隔离。
4.应急处置
4.1现场应急处置程序
4.1.1最早发现火情者应立即向值班长和机房负责人汇报,机房负责人到现场指挥灭火,同时报告公司领导,启动本预案。
4.1.2机房负责人根据事故状态及危害程度做出相应的应急决定,指挥疏散现场无关人员,各应急救援队立即开展救援。
4.1.3事故扩大时,拨打119报警电话请求市消防队支援。报警内容:单位名称、地址、着火物质、火势大小、着火范围。把自己的电话号码和姓名告诉对方,以便联系。同时还要注意听清对方提出的问题,以便正确回答。打完电话后,要立即到交叉路口等候消防车的到来,以便引导消防车迅速赶到火灾现场。4.2现场应急处置措施
4.2.1机房负责人组织人员迅速查明着火原因。4.2.2发生火灾事故后,运行值班人员在人身安全不受危害的情况下要坚守本职岗位,确保设备运行。
4.2.3火灾初起阶段,值班人员要利用区域内常规灭火器(干粉或气体灭火器)进行扑救。控制初起火灾,防止火势蔓延。根据火势情况立即启动气体自动灭火装置。
4.2.4被困火场逃生时,应用湿毛巾捂住口鼻,背向烟火方向迅速离开。逃生通道被切断、短时间内无人救援时,应关紧迎火门窗,用湿毛巾、湿布堵塞门缝,用水淋透房门,防止烟火侵入。
4.2.5火灾发生时要采取有效措施扑灭身上的火焰,使伤员迅速脱离开致伤现场。当衣服着火时,应采用各种方法尽快地灭火,如水浸、水淋、就地卧倒翻滚等,千万不可直立奔跑或站立呼喊,以免助长燃烧,引起或加重呼吸道烧伤。灭火后伤员应立即将衣服脱去,如衣服和皮肤粘在一起,可在救护人员的帮助下把未粘的部分剪去,并对创面进行包扎。
4.2.6在火场,对于烧伤创面一般可不做特殊处理,尽量不要弄破水泡,不能涂龙胆紫一类有色的外用药,以免影响烧伤面深度的判断。为防止创面继续污染,避免加重感染和加深创面,对创面应立即用三角巾、大纱布块、清洁的衣眼和被单等,给予简单而确实的包扎。手足被烧伤时,应将各个指、趾分开包扎,以防粘连。
4.2.7消防队到达火场时,应立即与消防队负责人取得联系并交待失火设备现状和运行设备状况,然后协助消防队灭火,并提供技术支援。
4.2.8复情况,事故应急处理全部结束,才能恢复生产秩序。
4.2.9火灾事故报告流程
4.3.1出现火情后,值班人员除采取有效措施扑灭初期火情外应立即想机房负责人汇报;
4.3.2火势无法控制时由机房负责人决定报火警请求辖区消防队救援。并在在火灾事故发生后1小时内向所云汇报突发事件信息。速报内容主要包括事故发生的时间、地点、人员伤亡、设备损坏情况、可能的引发因素和发展趋势等。
4.3.3联系方式
消防队:119医务急救:120
4.4注意事项
4.4.1应急处置时注意防止中毒、窒息、触电、烫伤。
4.4.2危险区设好警戒线,并挂好标示牌。无操作权限的人员不得乱动现场设备。
4.4.3佩戴个人防护器具时注意检查防护用品合格,且在有效检验期内;正确佩戴使用正压式呼吸器、隔热服、隔热手套、绝缘靴等安全防护用具。
4.4.4现场自救和互救时不熟悉现场情况和灭火方法的人员不得盲目进入危险区域,救人前先确认自己的能力和现场情况是否能够满足对他人施救的需要。
4.4.5应急救援结束后要全面检查,确认现场无火灾隐患和建筑物坍塌的隐患。
4.4.6加强自身防护,避免救火导致人身伤害。
4.5附则
4.5.1机房应急人员的联系方式。
机房火灾的应急预案2
第一条机房内禁止明火禁止吸烟,机房内的所有设备需要定期维护并做巡检记录、根据机房实际情况进行清扫工作。
第二条机房网络设备维护由网络管理员进行,如发现机器故障应及时排除故障,在遇到硬件三包范围内的故障时,应及时联系供应公司上门或将机器送供应公司维修;
第三条酒店员工必须严格遵守有关机房、设备及系统运行管理规定,不得在机房内从事与系统管理、运行维护、系统安装和调试等无关的工作;
第四条做好防火、防雨、防湿、防盗工作,注意用电安全;机房内的环境要每周检查温度、湿度、电力系统、是否满足机房相关的标准要求。
第五条机房内的交换机和服务器系酒店运营的.关键设备,任何人不得自行配置或更改其系统参数。
第六条要做好机房的安全工作,对服务器的各种帐户、密码严格保密。
第七条应及时做好数据的备份工作,保证在系统发生故障时,数据能够快速、安全的恢复。所有备份数据不得更改,并要求做到本地和异地分别备份保存。
第八条为了确保本酒店网络正常运行,每日对机房内的设备进行巡视,主要着重于服务器及网络设备运行正常与否。
1、对机房里的温度进行调节,如室内温度过高,调节空调对机房进行有效的通风。
2、查看交换机与防火墙及接入设备的工作状态,如发生异常,对其进行及时有效的维护。
3、监测网络运行状况。
第九条除本酒店网络管理员外,公司其他人员因工作需要进入机房的,需网络管理员陪同下进入机房。
第十条严禁带外单位人员或无关人员进入机房,确因工作需要,如:系统故障诊断和处理,设备维修维护、系统或设备安装等进入机房,必须由网络管理员陪同进入,配合项目的实施。
第十一条进入机房的设备应在进入机房前拆除外包装,以保证机房环境的清洁和安
第十二条严禁携带易燃、易爆、易腐蚀等危险性物品进入机房。
第十三条机房内提供的UPS电源只允许为主机、服务器、网络及存储等核心设备供电,严禁安插其他设备,增加UPS电源供电负荷。
第十四条严禁擅自切断供电系统,确因工作需要断电时,首先应做好相应准备工作,经部门领导批准,然后给所有部门发放断电或断网通知,最后方可实施。
第十五条机房内安装用电设备或有用电需求的项目时,必须经过专业人员或设备提供商的安装工程师进行现场勘查,经确认在满足或符合要求后工程才能实施。
(一)值班人员发现机房火情(包括监控中心人员)要立即到现场查看。
(二)如果是个别电路盘着火,应拔出着火的电路盘,用1211或二氧化碳灭火器将火扑灭。
(三)某机柜几块电路盘及电缆着火,应立即拔出着火的电路盘,用1211或二氧化碳灭火器喷射灭火剂将火扑灭。
(四)如果机房的机架机柜着火,值班人员无力自灭自救时,监控中心应切断机架机柜电源或楼层电源,关闭空调,严禁开窗,及时向公司安全生产管理领导小组报告。
(五)公司安全生产管理领导小组指挥机关义务消防队队员进行灭火,组织值班人员立即撤离现场,封闭门窗,按下区域自动灭火按钮灭火,同时拨打119报警,大声呼救,报告公司主管领导或安保值班室,监控室广播火警。
(六)在消防队到达后,应积极配合,简明扼要说明着火位置,火势情况和已采取的补救措施。
(七)用1211或二氧化碳灭火器喷射灭火剂能把火扑灭的,应配合消防队保护现场和消除隐患,防止再次着火。
(八)用1211或二氧化碳灭火器不能把火扑灭时,为防止烟熏引起人员中毒,应组织人员有序疏散,使用相应的灭火器材灭火,尽快将火扑灭。
(九)应保护好现场,按照事故调查处理办法执行。
(十)火灾报警电话:119
本预案应注意的特别事项:
1、当发生火灾情况,进行处理并保证人身安全的同时,根据设备的重要性进行相应的抢救措施,保证重要设备,特别是直通电话,以及与冀北、华北相应数据的上传,保证通道畅通。
2、抢救完主要设备,在进行次要的设备抢修,待事故处理完毕后,进行相应的实验,保证设备的运行性,并进行设备的可行性分析。
机房应急预案模板(精选篇4)
为更好的应对机房停电此类突发事件,提高处理各类停电事件的能力,建立健全可靠的应急机制,最大限度地降低各类停电事件对公司各部门的影响,特制定《杭州博日有限公司机房停电事件应急预案》(以下简称预案)。 1.2工作原则
(1)预防为主。立足安全防护,加强预警,重点保护公司重要系统信息,数据安全。 (2)快速反应。发生突发事件时,及时获取充分而准确的信息,迅速处置,最大程度地减少突发事件影响。
(4)坚持“统一领导、协调配合、明确责任、坚守岗位”的原则。 1.3适用范围
所有机房临时停电,突发停电以及较长时间停电的事件。 2.组织机构及职责
2.1组织机构(联系人名单及联系方式每半年更新一次)设备计量课主要联系人及联系方式Helpdesk:分机:____。(7 X 24工作)各主要设备供应商联系人及联系方式:2.2各组织机构职责
1)设备计量课应尽可能及时通知所有部门停电信息,且准备好应急措施。
2).设备计量课应及时做好停电应急措施,通知各相关部门做好重要数据备份,并通知到机房设备供应商,同时做好拉闸限电的准备。为保障停电期间和恢复供电后机房所有设备正常运行,设备计量课所有相关人员在此期间必须保持随时待命状态。
3).机房设备供应商应做好相关设备技术支持工作,若是计划内停电,应提前对机房设备做好停电应急方案,且在停电至恢复供电,所有设备恢复正常期间保持随时待命状态,重要关键设备,须有技术支持人员现场侯命;突发临时停电应尽可能做好远程技术支持工作。
3.设备计量课应急预案
3.1机房长时间停电应急预案
⑴接到长时间停电通知后,应询问停电原因及具体停电时间并及时通过邮件发布或电话通知停电公告,要求各部门尽可能在停电前停止业务、保存数据,关闭所有能关闭的用电设备。 ⑵根据停电时间长短情况,协同有关部门部署应急措施,检查应急设备是否正常,若时间条件许可模拟停电测试应急设备性能。
(3)对机房设备用电做好统计,做好拉闸限电预案。
(4)各相关技术支持人员部署到位,确保停电期间重要系统和设备运行正常,以及恢复供电后所有系统,设备运行正常。 (5)通知相关部门,停电期间加强对存在安全隐患的.设备及区域的巡查(如电梯间,水房等),保障公司人员和财产安全。
(6)机房管理人员详细记录事件原因及此期间采取的应急措施,备案。 3.2机房突发性临时停电应急预案
(1)相关人员发现突发性停电时应立即报告部门领导,及时了解停电原因及停电时间,并立即检查机房设备是否运行正常,检查各系统是否运行正常,同时查询机房设备相关记录,计算UPS当前状况下可供电时间,并向相关部门领导汇报。 (2)告知各业务部门停电相关信息,判断停电时间长短做好相应应急措施,提醒各部门做好数据备份以防万一。
(3)通知相关部门检查存在重大安全隐患的设备运行情况(譬如电梯,水房等),保障公司人员和财产安全。
(4)通知IT部门机房管理人员及机房设施相关人员进入紧急待命状态。
(5)恢复正常后,查明停电原因,记入机房安全管理日志。 4.培训和演习4.1培训
IT运维部门及机房相关人员每年至少开展一次机房停电等突发事件处理的培训,提高机房管理人员及其相关人员的应急能力。 4.2预案演习
各应急组织机构每年至少安排一次演练,通过演练发现应急工作体系和工作机制以及各备用设备,系统存在的问题,不断完善应急预案,提高应急处理能力。
5.附则
5.1预案更新
本预案结合演练和实施情况,及时进行修订和完善。 5.2责任与奖惩
各应急机构对在应急事件处置中作出突出贡献的集体和个人,提出表扬和奖励;对玩忽职守,造成不良影响或严重后果的,按有关规定提出处理意见,并追究其责任。 5.3制定和解释
本预案由设备计量课制定并解释。 5.4本预案实施或生效时间
机房应急预案模板(精选篇5)
一制定目的
为应对医院突发性大面积停电事故,迅速有序地组织和恢复供电,确保病人生命安全和减少财产损失,保证医院用电畅通,促进事故应急工作的制度化和规范化,依据国家相关法律法规,结合我院实际情况,制定本预案。
二适用范围
本预案所称“突发性大面积通电事故”(下称“大面积停电事故”)是指因严重自然灾害重要设施损坏或遭受破坏等原因造成突发性的全院大面积电力系统安全防线失效,电网发生大面积瓦解或崩溃的事故。
三应急原则
大面积停电事故处理工作贯彻“预防为主,常备不懈”的方针,遵循“统一领导,完善机制,明确责任,加强合作,快速发应,措施果断”的原则。
四组织机构
医院成立大面积停电事故应急领导小组,下设应急抢修队。
1、医院大面积停电事故应急领导小组组长:
总经理副组长:
院长成员:
人事行政部经理后勤主管电维修工职责:
(1)做好日常安全供电工作,落实安全生产责任制,防范大面积停电事故发生。
(2)发生大面积停电事故时,及时做好停电事故应急工作,尽快恢复供电。
(3)根据大面积停电事故严重程度,决定启动和终止应急预案。
(4)及时向上级报告事故情况并向社会公布。
(5)必要时请求外力支援。
(6)领导小组组长是履行本预案规定的第一责任人。成员单位应在领导小组的统一指挥下,各司其职,各负其责,通力合作,做好大面积停电事故时的社会综合应急工作。
2、应急抢修队队长:
后勤主管成员:
电维修工职责:
发生事故时,组织人员实施救援行动;向指挥小组汇报事故情况,必要时向供电部门发出求援请求,事后总结应电路还是低压电路。如果高压电路出现故障,医院电工立即导入备用电源,应及时与供电部门抢修班联系,尽快恢复,保证用电;如果医院抵押电路出现故障时,应快速查明原因,按照操作规定恢复电路。
(二)部门科室应急程序
1、各科室接到停电通知后,应该在允许情况下吧所有的及其电源切断,待电路恢复正常后再投入使用。
2、接到停电通知后,立即做好停电准备。如有抢救患者使用备用电源。
3、突然停电后,立即寻找抢救患者及其运转的.动力方法,维持抢救工作,并开启应急灯照明等。并应及时通知电工或总值班。
4、危重患者手术中使用呼吸机的患者平时应在机旁备有简易呼吸器,遇突然停电,医护人员立即将呼吸机脱开,使用简易呼吸器维持呼吸。使用电动吸氮的患者,用50ml注射器接吸氮管吸氮。
5、如双线均突然出现供电故障,院内发电机供电前,医护人员则应首先保证病人抢救;护士应沉着镇静,上呼吸机者采用手抱球法,上监护仪者采用人工测血压脉搏,电动吸氮者则采用50毫升注射器接吸氮管抽吸等,严密观察并请变化,其余工作人员则立即电话通知电工,人事行政部,并采用应急灯供照明。
6、加强巡视病房,安抚患者,同时注意防火防盗。
7、电梯遇到突然停电后,后勤人员要做好乘客思想工作,向外面打电话,用人工方法把所有乘客放出去。
六保障措施
1、电工日常应做好发电机的维护保养工作,保证发电机随时投入使用。
2、电工平时要掌握供电知识和操作规范,注意操作安全。
3、临床科室常规备有应急灯电筒等照明用物,定期检查,保持完好状态。
4、后勤部门要组织进行应急停电演练,每年1-2次,通过演练,使大家熟悉掌握突发停电的应急处置程序,确保病人安全。电路还是低压电路。如果高压电路出现故障,医院电工立即导入备用电源,应及时与供电部门抢修班联系,尽快恢复,保证用电;如果医院抵押电路出现故障时,应快速查明原因,按照操作规定恢复电路。
机房应急预案模板(精选篇6)
沙沟中学实施营养午餐突发断水断电等意外事故处理应急预案水、电是实施营养午餐改善计划学校食堂正常供餐必备的最基本的条件,是食品安全工作的重要组成部分,也是保障师生正常生活的重要基础。断水断电等意外事故在学校时有发生,为进一步加强学校食堂水、电等设施的管理,保障学校断水断电等意外事故发生时能正常为学生提供图纸等的营养午餐,维护学校正常的教育教学秩序,特制定本预案
一、组织机构
(一)成立学校突发断水断电等意外事故应急成立领导小组。
组长:王鹏程
副组长:马紅治
马志锐
组员:马强
吕宗仁
王继祖
陆岩
马万喜
各班主任
指挥部的工作职责是:
(1)启动学校断水断电等意外事故处理应急预案。
(2)领导、组织、协调事故应急处理工作。
(3)负责事故处理事项的决策。
(4)负责上报与事故相关的重要信息。
(5)审批学校应急处理工作报告。
二、常规管理
(一)、学校组织相关人员定期和吧不定期深入学校对学校可能断水断电等意外事件的隐患,即使做查漏补缺,做到早发现、早报告、早治理,不能因为人为因素断水断电而停止正常营养午餐。
(二)、学校要与当地政府、水保站、农电站等相关部门保持联系,协调学校的用水和用电工作。
(三)、用水紧张或缺水学校,要想办法做好学校用水的储蓄工作,并邀请相关部门对学校用水质量检测,确保水质量好,无安全隐患。
(四)、做好学校食堂用电设施的改造工程,指定专人经常对学校食堂用电设施进行检修,维护。
(五)、对却因客观原因二造成的`断水断电等意外事故时应立即启动该预案。
三、建立报告机制
1、对学校发生临时断水断电等意外事故是学校不能对学生实施午餐时,学校从业人员向管理人员报告,管理人员向校长报告,校长协调有关人员检查检修,对于用电设施必须有专业人员进行检修,确保短时间内供水供电。
2、对学校发生长时断水断电等意外事故时,学校从业人员向管理人员报告,有管理人员检查检修,同时上报县意外事故应急处理协调领导小组。
四、事件处理
1、各级领导小组负责人接到报告后,及时组织相关人员赶赴学校开展事故处理工作
2、学校应及时对学生做好解释说明工作,同时采取科学合理的办法通过各种途径解决学生营养午餐
3、学校迅速与家长取得联系,通过告示等形式给家长做好解释工作,去的家长的谅解,保证广大师生及家长在事故发生和过程中的知情权,严防事态扩大给学校教育工作造成不良影响。
4、协调各方面力量做好学校稳定工作,保障学校正常的教育教学秩序
5、学校要及早购置手摇鼓风机等应急设备,在学校断电时能立即启用。
6、主动和有关部门联系,及时购买等价等值、卫生、营养、可口的熟食品,如牛奶、面包等,及时为学生供应午餐。
7、断水断电事故处理结束,要认真总结分析事故发生原因,提出改进意见,完成处置总结报告,报送县营养办。
五、责任追究
对断水断电突发公共事件的应急处置工作中实行领导责任制和责任追究。对有突出表现的个人予以鼓励和表彰;对负有直接责任个人依据有关法规和规定给予行政处分;;对处理不当,贻误时机,造成恶劣影响的直接责任人,要严肃追究责任。
六、本预案由学校突发断水断电等意外事故一见处理工作领导小组负责解释。
机房应急预案模板(精选篇7)
一、为认真贯彻落实《国务院关于特大安全事故行政责任追究的规定》,积极提高我公司重点要害部位特大安全事故应急处理能力,努力减少各类特大安全事故所造成的损失,消除火灾事故的隐患,保障公司财产和员工的生命安全,特制定本预案。
二、本预案针对我公司通信机房的火灾而制定。
移动通信机房灭火流程如下:
(一)值班人员发现机房火情(包括监控中心人员)要立即到现场查看。
(二)如果是个别电路盘着火,应拔出着火的电路盘,用1211或二氧化碳灭火器将火扑灭。
(三)某机柜几块电路盘及电缆着火,应立即拔出着火的电路盘,用1211或二氧化碳灭火器喷射灭火剂将火扑灭。
(四)如果机房的机架机柜着火,值班人员无力自灭自救时,监控中心应切断机架机柜电源或楼层电源,关闭空调,严禁开窗,及时向公司安全生产管理领导小组报告。
(五)公司安全生产管理领导小组指挥机关义务消防队队员进行灭火,组织值班人员立即撤离现场,封闭门窗,按下区域自动灭火按钮灭火,同时拨打119报警,大声呼救,报告公司主管领导或安保值班室,监控室广播火警。
(六)在消防队到达后,应积极配合,简明扼要说明着
火位置,火势情况和已采取的补救措施。
(七)用1211或二氧化碳灭火器喷射灭火剂能把火扑灭的,应配合消防队保护现场和消除隐患,防止再次着火。
(八)用1211或二氧化碳灭火器不能把火扑灭时,为防止烟熏引起人员中毒,应组织人员有序疏散,使用相应的'灭火器材灭火,尽快将火扑灭。
(九)应保护好现场,按照事故调查处理办法执行。
(十)火灾报警电话: 119
三、本预案应注意的特别事项
1、当发生火灾情况,进行处理并保证人身安全的同时, 根据设备的重要性进行相应的抢救措施,保证重要设备,特别是直通电话,以及与冀北、华北相应数据的上传,保证通道畅通。
2、抢救完主要设备,在进行次要的设备抢修,待事故处理完毕后,进行相应的实验,保证设备的运行性,并进行设备的可行性分析。
机房应急预案模板(精选篇8)
为确保办公室机房安全与稳定,以保证正常运行为宗旨,按照“预防为主,积极处置”的原则,本着建立一个有效处置突发事件,建立统一指挥、职责明确运转有序、反应迅速处置有力的机房安全体系的目标,特制定本预案。
一、机房日常维护
1、建立健全机房管理制度
(1)在正常工作日内,信息技术人员负责对机房进行监控,主要职责是:巡视网络设备及系统的运行情况,发生异常情况及时处理,消除网络故障隐患。
(2)节假日期间信息技术人员轮流值班,负责处理有关异常情况。
(3)机房采取来人来访登记制度,未经允许,无关人员不得进入机房区域。
2、机房内严格采取防雷、防火、防尘、防静电等措施以及机房入口处24小时监控录像等措施。
3、认真做好数据备份工作,定期做一次数据库完全备份,每月检查服务器运行和备份情况。
4、信息技术人员对机房的主要网络设备(路由器、主干交换机等)进行工作时间内全程监控,发现异常情况应及时进行处理,确保办公室网络的正常运行。
二、机房突发事件应急处置方案
1、电源系统应急预案
(1)定期检查机房供电设备的运行状况和电路线缆器材情况,当发生下列突发事件时,按照以下方案进行处置:
(2)当机房发生市电供电突然停电或是电源异常时。检查不间断电源的电池可供电时间,确保设备正常运行,如遇到突然断电,应及时将空调等设备及时断电,预防突然来电时瞬间电流过大导致设备损坏等现象。
(3)当确定停电原因是在本身供电系统范围内,立即汇报给负责领导,并及时联系相关维护人员达到现场检修。
(4)恢复供电后,严格按照操作程序逐步恢复机房设备,以防瞬间电流过大造成设备损坏。
2、网络和服务器络系统应急预案
(1)发生网络故障时,首先检查机房设备情况,确定网络故障的原因,然后联系网络维护人员,及时处理和排除故障。
(2)当确认原因为短时间无法恢复,应该及时向负责领导汇报,然后再联系维护人员,及时处理故障。
(3)当人为或病毒破坏的.故障发生时,具体按以下顺序进行:判断破坏的来源及性质,断开影响安全与稳定的信息网络设备,断开与破坏来源的物理网络连接,然后再联系维护人员,及时处理故障。
(4)发生服务器系统故障后,应立即向相关领导汇报情况,同时安排人员将故障服务器脱离网络,保存系统状态不变,保护原始数据。
在确认安全的情况下,重新启动故障服务系统:若重启系统成功,则检查数据丢失情况,利用备份数据恢复;若重启失败,立即 联系相关维护人员,请求技术支持,做好技术处理。
处置结束后,技术人员应将处理过程记录下来,以方便日后对此问题的处理。
3、消防和防雷应急预案
(1)上班工作时间发生火警,还在机房工作的人员应及时紧急撤离,并立刻拨打119报警。在确保自身安全的情况下,应尽量使用灭火器进行灭火,减少电子设备的损坏。同时采取关闭电源总闸等措施,尽量减少可能造成的损失和破坏。
(2)非工作时间或节假日休息时间值班人员发现火情后,要立刻拨打119报警,并立刻通知相关部门和领导,做好火灾的处置工作。
(3)火情结束之后,机房相关人员应全体赶赴现场,同时立即联系相关网络公司和设备相关厂家,及时评估事故损失情况,研讨恢复网络系统正常运行的最佳解决方案。
(4)遇雷暴天气或接上级部门雷暴气象预警,应关闭所有服务器,切断电源,暂停内部计算机网络工作。雷暴天气结束后,及时开通服务器,恢复内部计算机网络工作。因雷击造成的损失,应及时进行核实、报损,并将详细情况向部门领导汇报。
4、自然灾害和盗抢应急预案
(1)发生自然灾害后,首先应该组织人员撤离现场。当确认灾害不会造成人生伤害后,在回到机房检查设备,立刻向上级领导汇报,并联系相关网络和设备厂家,积极做好灾后恢复工作,确保在最短时间内
恢复机房正常运行。
(2)发生盗抢事件后,要保护好现场然后报警,并向上级领导汇报情况。待现场处理完毕后,要组织相关人员估计损毁情况,并联系相关网络和设备厂家,积极做好恢复工作。
机房应急预案模板(精选篇9)
1.总则
1.1编制目的
为高效有序地做好机房火灾事故的应急处置工作,避免或最大程度地减轻火灾事故造成的损失,保障员工生命和企业财产安全,维护社会稳定。
1.2编制依据
《中华人民共和国安全生产法》《江苏省消防条例》
1.3适用范围
适用于机房火灾事故的现场应急处置和应急救援工作。
2.事件特征
2.1事件类型及危险性分析
2.1.1电气线路短路、过载、接触电阻过大,静电,雷击等强电侵入,机房内电脑、空调等用电设备长时间通电过热、设备故障等原因均可能引起计算机房的火灾事故。
2.1.2机房火灾事故会造成计算机设备损坏、系统故障网络中断或瘫痪,影响网络的安全运行。
2.1.3火灾产生的有毒烟雾污染机房的空气,造成人员中毒、窒息等人身伤亡事故。
3.应急组织及职责
3.1火灾应急指挥部
应急指挥部总指挥:
机房火灾应急抢险指挥:
成员:
3.2指挥部人员的职责
3.2.1指挥的职责:全面指挥突发事件应急救援工作。
3.2.2高低压专业职责:组织、协调本部门人员参加应急处置和救援工作,对发生险情机房切断电源。
3.2.3智能化专业职责:监控相关区域事故情况。
3.2.4空调专业职责:发现异常情况,及时切断空调、通风系统,做好运行方式的调整和故障设备的隔离。
4.应急处置
4.1现场应急处置程序
4.1.1最早发现火情者应立即向值班长和机房负责人汇报,机房负责人到现场指挥灭火,同时报告公司领导,启动本预案。
4.1.2机房负责人根据事故状态及危害程度做出相应的应急决定,指挥疏散现场无关人员,各应急救援队立即开展救援。
4.1.3事故扩大时,拨打119报警电话请求市消防队支援。报警内容:单位名称、地址、着火物质、火势大小、着火范围。把自己的电话号码和姓名告诉对方,以便联系。同时还要注意听清对方提出的问题,以便正确回答。打完电话后,要立即到交叉路口等候消防车的到来,以便引导消防车迅速赶到火灾现场。4.2现场应急处置措施
4.2.1机房负责人组织人员迅速查明着火原因。4.2.2发生火灾事故后,运行值班人员在人身安全不受危害的情况下要坚守本职岗位,确保设备运行。
4.2.3火灾初起阶段,值班人员要利用区域内常规灭火器(干粉或气体灭火器)进行扑救。控制初起火灾,防止火势蔓延。根据火势情况立即启动气体自动灭火装置。
4.2.4被困火场逃生时,应用湿毛巾捂住口鼻,背向烟火方向迅速离开。逃生通道被切断、短时间内无人救援时,应关紧迎火门窗,用湿毛巾、湿布堵塞门缝,用水淋透房门,防止烟火侵入。
4.2.5火灾发生时要采取有效措施扑灭身上的火焰,使伤员迅速脱离开致伤现场。当衣服着火时,应采用各种方法尽快地灭火,如水浸、水淋、就地卧倒翻滚等,千万不可直立奔跑或站立呼喊,以免助长燃烧,引起或加重呼吸道烧伤。灭火后伤员应立即将衣服脱去,如衣服和皮肤粘在一起,可在救护人员的帮助下把未粘的部分剪去,并对创面进行包扎。
4.2.6在火场,对于烧伤创面一般可不做特殊处理,尽量不要弄破水泡,不能涂龙胆紫一类有色的外用药,以免影响烧伤面深度的判断。为防止创面继续污染,避免加重感染和加深创面,对创面应立即用三角巾、大纱布块、清洁的衣眼和被单等,给予简单而确实的包扎。手足被烧伤时,应将各个指、趾分开包扎,以防粘连。
4.2.7消防队到达火场时,应立即与消防队负责人取得联系并交待失火设备现状和运行设备状况,然后协助消防队灭火,并提供技术支援。
4.2.8复情况,事故应急处理全部结束,才能恢复生产秩序。
4.2.9火灾事故报告流程
4.3.1出现火情后,值班人员除采取有效措施扑灭初期火情外应立即想机房负责人汇报;
4.3.2火势无法控制时由机房负责人决定报火警请求辖区消防队救援。并在在火灾事故发生后1小时内向所云汇报突发事件信息。速报内容主要包括事故发生的时间、地点、人员伤亡、设备损坏情况、可能的引发因素和发展趋势等。
4.3.3联系方式
消防队:119医务急救:120
4.4注意事项
4.4.1应急处置时注意防止中毒、窒息、触电、烫伤。
4.4.2危险区设好警戒线,并挂好标示牌。无操作权限的人员不得乱动现场设备。
4.4.3佩戴个人防护器具时注意检查防护用品合格,且在有效检验期内;正确佩戴使用正压式呼吸器、隔热服、隔热手套、绝缘靴等安全防护用具。
4.4.4现场自救和互救时不熟悉现场情况和灭火方法的人员不得盲目进入危险区域,救人前先确认自己的能力和现场情况是否能够满足对他人施救的需要。
4.4.5应急救援结束后要全面检查,确认现场无火灾隐患和建筑物坍塌的隐患。
4.4.6加强自身防护,避免救火导致人身伤害。
4.5附则
4.5.1机房应急人员的联系方式。
机房火灾的应急预案2
第一条机房内禁止明火禁止吸烟,机房内的所有设备需要定期维护并做巡检记录、根据机房实际情况进行清扫工作。
第二条机房网络设备维护由网络管理员进行,如发现机器故障应及时排除故障,在遇到硬件三包范围内的故障时,应及时联系供应公司上门或将机器送供应公司维修;
第三条酒店员工必须严格遵守有关机房、设备及系统运行管理规定,不得在机房内从事与系统管理、运行维护、系统安装和调试等无关的工作;
第四条做好防火、防雨、防湿、防盗工作,注意用电安全;机房内的环境要每周检查温度、湿度、电力系统、是否满足机房相关的标准要求。
第五条机房内的交换机和服务器系酒店运营的关键设备,任何人不得自行配置或更改其系统参数。
第六条要做好机房的安全工作,对服务器的各种帐户、密码严格保密。
第七条应及时做好数据的备份工作,保证在系统发生故障时,数据能够快速、安全的恢复。所有备份数据不得更改,并要求做到本地和异地分别备份保存。
第八条为了确保本酒店网络正常运行,每日对机房内的设备进行巡视,主要着重于服务器及网络设备运行正常与否。
1、对机房里的温度进行调节,如室内温度过高,调节空调对机房进行有效的通风。
2、查看交换机与防火墙及接入设备的工作状态,如发生异常,对其进行及时有效的维护。
3、监测网络运行状况。
第九条除本酒店网络管理员外,公司其他人员因工作需要进入机房的,需网络管理员陪同下进入机房。
第十条严禁带外单位人员或无关人员进入机房,确因工作需要,如:系统故障诊断和处理,设备维修维护、系统或设备安装等进入机房,必须由网络管理员陪同进入,配合项目的实施。
第十一条进入机房的设备应在进入机房前拆除外包装,以保证机房环境的清洁和安
第十二条严禁携带易燃、易爆、易腐蚀等危险性物品进入机房。
第十三条机房内提供的`UPS电源只允许为主机、服务器、网络及存储等核心设备供电,严禁安插其他设备,增加UPS电源供电负荷。
第十四条严禁擅自切断供电系统,确因工作需要断电时,首先应做好相应准备工作,经部门领导批准,然后给所有部门发放断电或断网通知,最后方可实施。
第十五条机房内安装用电设备或有用电需求的项目时,必须经过专业人员或设备提供商的安装工程师进行现场勘查,经确认在满足或符合要求后工程才能实施。
(一)值班人员发现机房火情(包括监控中心人员)要立即到现场查看。
(二)如果是个别电路盘着火,应拔出着火的电路盘,用1211或二氧化碳灭火器将火扑灭。
(三)某机柜几块电路盘及电缆着火,应立即拔出着火的电路盘,用1211或二氧化碳灭火器喷射灭火剂将火扑灭。
(四)如果机房的机架机柜着火,值班人员无力自灭自救时,监控中心应切断机架机柜电源或楼层电源,关闭空调,严禁开窗,及时向公司安全生产管理领导小组报告。
(五)公司安全生产管理领导小组指挥机关义务消防队队员进行灭火,组织值班人员立即撤离现场,封闭门窗,按下区域自动灭火按钮灭火,同时拨打119报警,大声呼救,报告公司主管领导或安保值班室,监控室广播火警。
(六)在消防队到达后,应积极配合,简明扼要说明着火位置,火势情况和已采取的补救措施。
(七)用1211或二氧化碳灭火器喷射灭火剂能把火扑灭的,应配合消防队保护现场和消除隐患,防止再次着火。
(八)用1211或二氧化碳灭火器不能把火扑灭时,为防止烟熏引起人员中毒,应组织人员有序疏散,使用相应的灭火器材灭火,尽快将火扑灭。
(九)应保护好现场,按照事故调查处理办法执行。
(十)火灾报警电话:119
本预案应注意的特别事项:
1、当发生火灾情况,进行处理并保证人身安全的同时,根据设备的重要性进行相应的抢救措施,保证重要设备,特别是直通电话,以及与冀北、华北相应数据的上传,保证通道畅通。
2、抢救完主要设备,在进行次要的设备抢修,待事故处理完毕后,进行相应的实验,保证设备的运行性,并进行设备的可行性分析。
机房应急预案模板(精选篇10)
高性能计算技术及应用水平已成为显示综合国力的一种标志。高性能计算机持续不间断地为用户提供高性能计算服务,而运维应急预案是主机运行中处理突发事件的依据和方法,是主机系统稳定运行的保障。本文简要介绍上海超级计算中心主机运维应急预案,供同行参考。
1.主机和运维管理制度简介
超级计算机是功能最强、运算速度最快、存储容量最大的一类计算机。目前只有少数国家掌握研发技术,系统造价非常昂贵,多用于国家高科技领域和尖端技术研究,是国家科技发展水平和综合国力的重要标志。上海超级计算中心作为上海信息港主体工程之一,国家和上海市政府投资先后引进神威-I超级计算机、神威-64P集群计算机、曙光4000A超级计算机系统并投入商业化运行。
上海超级计算中心自20__年正式开通至今,这些高性能计算机系统已安全、稳定运行七年多时间,上机用户取得了丰硕的科研成果和社会效益。在这七年中,为保障这些高性能计算机系统安全、稳定、不间断地运行,技术支持部在中心引进第一台高性能计算机--神威-I超级计算机系统的同时,建立了机房应急预案、运行记录、设备运行参数等基础运维制度,在二期引进曙光4000A超级计算机系统过程中,不断完善原有运维制度,并针对该主机系统特点编写了大量操作方法和应急预案。
中心自20__年获得ISO27001(BS7799)信息安全认证以来,技术支持部根据其要求规范了文档体系建设,形成了机房管理制度、应急预案、操作方法、运行情况记录的四大类运维文档。
正是这些运维管理制度的不断完善和有效执行,才确保了资产价值高、服务对象广、社会影响大的中心主机系统安全、稳定运行,保障重点项目、用户服务的连续性。
2.应急预案重要性
上海超级计算中心机房运维管理文档划分为机房管理制度、应急预案、操作方法、运行记录共四大类(如图1所示)。
图1应急预案分类
应急预案在应急系统中起着关键作用,它明确了在突发紧急情况发生之前、发生过程中以及刚刚结束之后,谁负责做什么、何时做,以及相应的策略和资源准备等。它是针对可能发生的重大事故,按照其影响和后果严重程度,在应急准备、响应、操作各个方面预先做出的详细安排,是开展及时、有序和有效事故应急工作的行动指南。因此,应急预案在这四类运维管理文档中处于最为重要的地位。
3.应急预案分类
应急预案按重要性和事件种类,可以划分为消防预案、断电预案、空调预案、其他预案共4种,预案各文档之间彼此独立又互为关联,具有非常强的可操作性。制定预案的指导原则是尽一切可能,最大限度地确保向用户提供的服务不中断。在紧急事件发生的情况下,保证核心设备连续运行,避免存储数据丢失。在事件处置完成后,能快速恢复高性能计算服务。
3.1消防预案
消防预案是主机房最重要的应急预案。该类预案根据《上海超级计算中心灭火和应急疏散预案》的原则并结合主机房主机设备和消防设备的运行特性而制定。主要由《主机房消防应急预案》和《主机房气体喷淋消防系统启动撤离及处置应急预案》2个文档组成。
消防应急预案:该预案着重规范了火警事件发生后,所有主机维护人员如何根据所属区域和现场情况,判断和选择正确的处理方法,同时配合中心物业人员处置,降低事件带来的`影响。
对于设备发生烟雾,主机维护人员协同物业人员寻找烟雾点予以切断相关区域电源;当设备发生可以控制火情,协同物业人员灭火;当主机房发生火灾而无法控制,应采取施救方法等措施。
气体喷淋预案:该预案描述主机房气体喷淋系统启动的响应和确认并具体规定了撤离机房路线、善后处置。
这两个预案中,消防应急预案作为消防预案的主体,涉及到如何处理与消防有关情况的各个方面。气体喷淋预案是主机房发生重大火灾时应对的最终灭火手段和人员撤离引导方法。
3.2断电预案
断电预案的重要性仅次于消防预案。该类预案根据中心供配电系统实际情况和各种断电影响范围下对主机运行的最小保障要求而制定的。主要由《主机房断电应急预案》、《曙光4000A超级计算机系统紧急关机操作方法》、《曙光4000A超级计算机系统双路断电关机操作方法》等多个文档组成主机房断电应急预案:该预案用于断电情况下,主机维护人员如何与中心物业部门联系控制主机房供电情况,并且负责对主机系统运行受断电影响程度做出正确判断。指导维护人员按影响程度,分别选用预案中对应的操作方法。本预案在所有断电预案中起指导思想作用。紧急关机操作方法:该预案制定了主机系统在紧急情况下,最快速度关机的操作步骤。主要用于发生烟雾、明火或消防、断电预案需在数分钟内关机断电的事件。
双路断电关机操作方法:该紧急操作预案主要用于在外界双路供电全部中断情况下的操作。
该预案的关机原则是:根据实际电力供应考虑操作步骤,宁慢勿快,在时间允许的情况下,最大程度保证存储节点、SAN和SCSI存储设备、工程用户的计算节点的运行,尽可能减少关闭范围,以确保能在恢复供电的情况下,主机尽快恢复正常运行状态,减少影响范围。
3.3空调预案
超级计算机系统在运行中消耗大量电能,在
提供高性能的计算能力同时产生大量的热量,必须采用专用空调系统,以保持主机系统适当的温、湿度、空气洁净度等运行环境需求。因此,专用空调系统与主机系统密切相关,空调预案是主机房必备的应急预案。
制定该预案的原因在于,断电情况下,空调与主机系统存在互相牵制的现状。主机和空调系统均为外界双路供电,主机系统配有UPS不间断电源系统,而空调系统无UPS支持。在双路停电情况下,主机系统可获得UPS电池组支持运行若干分钟,空调系统无UPS支持只能停机。由于在无空调冷却情况下,主机系统会在短时间内积聚大量热量导致超过运行警戒温度,主机系统在有可供电余量的情况下,仍将被迫关机。因此,确保空调中断情况下的主机运行环境是该预案的制定原则。
预案根据各台主机配备的空调系统特点制定,由《曙光机房空调系统故障应急预案》和《神威机房空调系统应急预案》2个文档组成,这里仅介绍曙光机房空调系统应急预案。
该预案的第一步:考虑增强主机系统散热效果,采用打开主机机柜前后门,和机房周边木门,在通风道上布置有UPS支持的应急风扇,形成空气对流,带走热空气,从而增强主机系统散热效果,降低升温速度。
该预案的第二步:在采取上述措施并持续升温到一定温度之上的情况下,考虑紧急关闭部分或全部计算节点,减少热量生成,确保主机系统的核心存储和网络系统不受影响,确保空调系统修复后,主机系统能快速恢复运行。
3.4其他预案
除了固定的三类预案之外,技术支持部还根据主机系统实际运行中出现的各种意外情况,随时制定具有针对性的预案。
如《大楼顶棚坍塌应急操作方法》的制定,就
是由于20__年1月连续发生雨雪等灾害性天气,中心大楼顶棚大量积雪且难融化,物业预计存在情况继续恶化,有发生顶棚坍塌事故的可能,一旦发生将影响一楼主机运行。
针对该突发的隐患,中心技术支持部制定应急操作方法,对维护巡查频度范围、漏水可能发生位置、如何处理受漏水影响的主机设备等操作步骤进行严格界定。即使在最后,中心大楼顶棚经受住灾害性天气的考验,该预案并未发挥作用,这正体现了应急预案的备而不用的特点。而且通过各种意外
情况的迅速分析、应对和实践操练,不断锻炼主机维护队伍,使之走向成熟。
4.在实际案例中,应急预案的作用
在主机系统年复一年的运行中,我们希望这些设备正常稳定运行,应急预案永远不会被使用,然而在实际运行中,总免不了因突发事件执行应急预案。
而每次突发事件是检验应急预案制定是否科学、有效的最好证明。
4.1双路断电,UPS正常运行案例
2026年8月某天,因打雷导致供电一路跳闸自动换至另一路供电,曙光机房2台空调掉电。
主机维护人员立即按应急预案操作,电话通知物业人员恢复空调运行,恢复过程中所有空调相继出现高温报警,机柜液晶屏平均温度35度,开启全部曙光机柜前后门,打开神威-曙光玻璃门并调集应急电扇,于12:45恢复正常。
12:50再次出现双路供电中断,曙光空调因无
UPS支撑全部断电,启动断电应急预案,开启
5、6号木门,开启神威机房全部空调,布置电扇,将冷气导入曙光机房,热量从6号木门的外部通道排出,选择性杀除部分作业,至13:05供电恢复,曙光空调开始工作,13:20环境恢复正常。全机在此过程中,正常运行未停机,只损失了部分不重要的作业。
4.2单路断电,UPS失效案例
20__年8月某天,因低压配电柜开关至UPS房间X-JM柜电缆发生相对地短路,造成UPS机组逆变器自身保护动作,关闭UPS机组,导致曙光主机系统失电。
全机掉电后,主机维护人员迅速按应急预案
手工关闭所有电源开关。10:30恢复供电,温湿度恢复正常后,全机加电,恢复过程中修复
storage00
1、00
5、010三个盘阵的9个用户文件系统,修复15个节点加电故障,除cnode00
9、anode029电源
环境模块故障,于当日15:10全机系统恢复正常。
由于处置及时,主机受影响范围很小,在恢复供电后数小时即成功开启全系统。
5.随时保持应急预案的适用性
主机长年累月的运行,故障和问题的发生,往往是必然的,也是客观、无法回避的。因此,要求在维护工作中,预先考虑到可能的问题和故障,制定完善的应急预案。应急预案不可能包含所有的故障和问题,但应根据维护经验,尽可能地设想各种危机情况下的处置措施。做到预想到各种可能的问题。
而在形成应急预案后,更重要的是持续地在
运行中加以完善、测试和演练,尽可能模拟实际情况,做到即使只有1名维护人员在场,也能在真正发生危机时,以最短时间独立处置故障。
以目前中心的主机运维工作为例,三年内,仅断电预案就已根据实际运行情况的变化,制定并更新了5~6个版本,针对夏季突发断电也有专用预案。这样的措施,直接保障了20__年8月突发断电事件中的主机连续运行。而20__年8月的突发断电事件中,由于预案在之前刚根据实际情况进行过演练和修改,主机维护人员仅用半小时就完成所有应急操作动作,整机仅有个别设备故障,确保了主机设备未因突发断电而发生大范围损坏现象,恢复供电后直接完成开机。
实践证明,完善而适用的应急预案能保障向用户提供稳定的高性能计算服务。
6.结束语
完备而适用的应急预案能有效降低主机系统因意外事件发生带来的运行风险,对可能发生的意外来说,是一种事前防范措施。但对整个主机系统产品而言,是一种事后防范措施。如果主机系统生产厂商能把这些防范措施纳入整个系统设计过程中,使操作方法更加简便、更趋于人性化,这将帮助主机维护人员更为妥善处理意外事件,用户得到更为稳定的高性能计算服务。我们相信未来国产的高性能计算机能做到这一点,期待着这一天早日到来。
(为帮助了解,特在附录中节选部分双路断电关机预案内容)
附录:《曙光4000A超级计算机系统双路断电关机操作方法》(省略具体操作步骤)
曙光4000A超级计算机系统双路断电关机操作方法
注意:
1、本方法专用于主机房发生双路同时断电紧急操作使用。(包括单线断电切换失败)。
2、本方法作为《曙光-4000A超级计算机系统紧急关机操作方法》(SSCS(TS)-____-____-____)的附件。
1.断电确认及操作:
主机房内一旦发现断电,并接物业明确通知为双路断电,首先执行如下操作(即确保节点温度):
1.1打开机房门便于散热,..
1.2机房通道上布置应急风扇加强冷热空气对流,夏季:应急风扇布置..;冬季:应急风扇布置..,使曙光
机房的温度尽量降低。
1.3打开所有机柜前、后门。
1.4密切注意机房节点平均温度(专指各机柜液晶面板所示之环境温度值)。
2.紧急关机条件确认:
在完成上述操作后,密切观察主机房环境。一旦有如下任何一个条件满足:
2.1自断电发生起,已达到__分钟仍未恢复供电;
2.2采取上述紧急通风措施,节点温度持续上升,超过__℃;
可认定为紧急断电事件,即刻按下列紧急关机操作方法进行操作。
3.紧急关机操作步骤:
注意事项:
3.1..
3.2关机操作的全过程中,注意随时保持和物业的通讯联系。除根据情况随时联络外,应严格保证每__分钟与物
业联系一次,询问UPS可支撑时间及恢复供电可能。(分机、手机、对讲机等)
3.3应理解关机原则为:根据实际电力供应考虑操作步骤,宁慢勿快,在时间允许的情况下,最大程度保证X排节
点、存储节点、SAN和SCSI存储设备的运行,尽可能减少关闭范围,以确保恢复。
第一级操作:(首先执行)关闭主机系统外围设备..
第二级操作:(完成上述操作后,当再次发现UPS电池低于__分钟或节点平均温度超过__℃,任一条件满足,执行如下操作)
关闭非重要用户计算节点(ABC组)..
第三级操作:(完成上述操作后,当再次发现UPS电池低于__分钟或节点平均温度超过__℃,任一条件满足,执行如下操作)
关闭所有用户计算节点(D组)..
第四级操作:(完成上述操作后,当再次发现UPS电池低于__分钟或节点平均温度超过__℃,任一条件满足,执行如下操作)
关闭SAN存储设备和LSF数据库服务器..
第五级操作:(完成上述操作后,当再次发现UPS电池低于__分钟或节点平均温度超过__℃,任一条件满足,完成关机操作)
关闭SCSI磁盘阵列和所有存储节点..
特别关注:
1.如时间非常紧急,UPS电池低于__分钟:
直接执行关机脚本:..
此脚本可分别将计算节点、接入节点、存储节点进行关闭。
2.如时间极其紧急,UPS电池低于__分钟,可按《曙光-4000A超级计算机系统紧急关机操作方法》(SSCS(TS)-____-____-____),直接拉闸操作。
(上述二个方法仅用于突发情况,非极其必要情况下严禁使用,应使用前列方法操作)
3.如遇主机失电(如关机操作不及已掉电或突发自动掉电)应关闭所涉范围所有设备电闸开关。..
