☰
EMC DS300B光纤交换机存储链路巡检与运维排查实践
2026/10/20 14:53:55 网站建设 项目流程

简介:这是一份面向存储运维人员与系统管理员的EMC DS300B光纤交换机维护手册,围绕设备概况、连接方式、开机/关机、状态检查、故障诊断及HBA卡链路检查等核心运维场景展开。内容结合农信社存储网络的实际环境,给出了从启动顺序到关机注意事项的完整流程,并强调了双机冗余供电时避免同时断电等关键细节。资源为单一doc文档,大小361KB,便于打印或按章节查阅;已有2056人学习下载。手册中详细说明了通过IE浏览器加Java环境登录交换机管理界面查看端口别名、zone配置的方法,同时提供powermt display dev=all等命令来验证主机链路状态,可帮助运维人员快速定位光纤松动、供电停止等常见故障,是一份实操性很强的排错参考资料。

1. EMC DS300B交换机:先把维护环境跑通再谈巡检

某农信数据中心的存储链路隔三差五在深夜报警,数据库服务器上四个链路掉成两个,查了一圈才发现是光纤交换机上一个SFP模块松动,状态灯早就变橙黄色了,只是没人按手册去核对。EMC DS300B交换机这种入门级FC交换机,承担着VNX5300双控和多台服务器HBA之间的全部数据通路,zone配置、端口状态、多路径链路三样东西只要有一项没盯住,业务侧就是链路中断甚至数据丢失。这篇笔记是我根据原厂维护手册,把这台DS300B从设备接线、开机顺序、Web控制台巡检、CLI命令收集到故障排除完整跑一遍的落地记录。适合刚接手存储链路运维、准备做例行巡检、或者正卡在JAVA环境和交换机登录上的人照着走。

2. 设备接线与开机顺序:认清端口拓扑再动手

2.1 设备概况与端口交叉连接拓扑

手册里这台DS300B是24端口机型,实际可用0到15号共16个端口,16到23号端口在switchshow里显示为Disabled,原因是没买POD License,这个后面CLI章节能看到。连接关系是典型的双交换机组网:两台DS300B互相独立,分别接存储双控和服务器HBA,形成交叉冗余。

先把端口和alias的对应关系理清楚。以下表格是我从手册zone配置里整理出来的,照着这个去对设备,比现场看面板猜端口靠谱得多:

端口地址格式alias对端设备用途
01,0p_vnx_spb0VNX5300 SP-B 0口存储主路径
11,1p_vnx_spa1VNX5300 SP-A 1口存储主路径
41,4s_vnx_spb0VNX5300 SP-B 0口(第二链路)存储备用路径
51,5s_vnx_spa1VNX5300 SP-A 1口(第二链路)存储备用路径
81,8XXnxdb1_hba1DB1数据库服务器HBA数据库链路
91,9XXnxdb2_hba1DB2数据库服务器HBA数据库链路
101,10XXNX_DOC1_hba1DOC1应用服务器HBA应用链路
111,11XXNX_DOC2_hba1DOC2应用服务器HBA应用链路

注意地址格式里的前缀1,对应的是交换机的Domain ID。两台交换机如果不级联,各自都是Domain 1,所以你在zone配置里看到的1,8指的是“本机1号域的第8端口”,不会跨到另一台交换机上。手册写“交叉连接”的含义是:服务器端每台主机两个HBA分别插到两台交换机上,存储端每台交换机又分别连到SP-A和SP-B,这样任意一台交换机断电,主机还能通过另一台访问到两个存储控制器。

2.2 开机与关机顺序

开机和关机的顺序,手册里写得很明确,但实际执行时经常有人偷懒。开机的顺序是:先检查光纤线和电源线是否松动,再开存储扩展柜,再开存储控制器,然后开光纤交换机,最后开应用服务器。

# 开机顺序(按序执行) 1. 检查光纤线、电源线两端连接,SFP卡扣确认卡到位 2. 开启存储扩展柜 3. 开启存储控制器(等待前端端口UP) 4. 开启光纤交换机(等待switchState变Online) 5. 开启应用服务器

关机的顺序正好反过来:先关应用服务器,再关光纤交换机,再关存储控制器,最后关存储扩展柜。这里有一个手册里专门加粗的注意点:因为每台交换机都是单路供电,两台交换机互为冗余,如果要重启交换机,绝对不要在没有关闭应用服务器前断电,更不能让两台交换机同时断电,否则会导致数据丢失。

为什么要这么严格?因为应用服务器上跑着多路径软件,链路断了还有另一条顶上去,但如果两台交换机同时断电,服务器到存储的所有路径瞬间全断,HBA的IO在超时后直接失败,数据库落盘就断了。我处理过一次凌晨的故障,就是因为有人换机柜PDU时把两台交换机一起拔了电,数据库实例直接hang住,最后只能重启数据库做恢复。

2.3 维护环境准备清单

在开始日常巡检之前,先把维护环境准备好。手册里涉及到的工具和版本要求,我整理成了一张表:

工具版本要求用途
JAVA运行环境Sun JRE 1.6及以上打开Web管理界面
IE浏览器手册基于IE开发访问交换机管理页面
SecureCRT或telnet客户端无特殊要求登录CLI收集配置
EMC PowerPath多路径软件服务器端已安装查看HBA链路状态
交换机序列号记录在面板标签故障报修时提供

JAVA环境这里有个历史坑:当时手册要求的是Sun JRE 1.6以上版本,但Web管理界面是老式的JAVA Applet架构,后来新版本JDK对浏览器插件和安全策略收得很紧,经常白屏。我的建议是如果操作系统允许,装JRE 1.6或1.8早期版本最省事;如果实在装不了,日常巡检完全可以走CLI命令,除了改zone配置外基本不需要开Web界面。

3. 登录Web管理界面:JAVA运行环境与zone配置检查

3.1 JAVA运行环境版本与浏览器兼容

Web管理界面依赖本机JAVA运行环境,手册原文写的是Sun Microsystems Java 2 Runtime Environment Standard Edition Version 1.6以上版本。先检查本机是否已经装了JAVA,命令行里执行:

# 检查JAVA版本 java -version # 正常输出类似: # java version "1.8.0_201" # Java(TM) SE Runtime Environment (build 1.8.0_201-b09)

如果提示找不到java命令,去Oracle官网下载对应版本的JRE安装。装完之后重点检查两件事:第一,JAVA控制面板里的安全级别,如果本机装的是8u201之后的版本,默认安全级别高,会拦截http协议的JAVA小程序;第二,把交换机的管理IP加到JAVA的站点列表里。

常见做法是打开JAVA控制面板,切换到“安全”选项卡,点“编辑站点列表”,把http://10.77.77.77这种管理地址加进去,安全级别调到“中”。我在一台Windows Server 2012上这么配过,IE11能正常弹出登录界面。如果加了站点还是白屏,换SecureCRT走CLI,别在浏览器上耗时间。

3.2 登录DS300B Web管理界面

配置好JAVA之后,打开IE浏览器,地址栏输入http://阵列IP地址,比如手册里给的http://10.77.77.77。登录用户名默认是admin,口令默认是password,这个默认口令上线后务必改掉,这属于基础安全习惯,别等到交换机被扫出来再补救。

登录后进入主界面,第一眼先看左上角的zone Admin选项,这是日常巡检最常用的入口。点进去之后,可以看到端口别名、zone信息、zone配置信息三类内容,这些就是前面章节表格里那些alias和zone的Web版展示。

特别注意右下角,那里会显示当前激活生效的zone配置名称。正常状态下,显示出来的应该是cfg_XXnx_1这种以本项目命名的配置名。如果发现右下角显示为空,或者和zone定义里的cfg名称对不上,说明当前没有生效的zone配置,这属于比较严重的状况,后面第五章会讲怎么处理。

3.3 zone Admin界面与status状态检查

在zone Admin界面里,日常要看的是三块:端口别名列表里有多少个alias、每个alias对应哪个端口;zone列表里每个zone包含哪些成员;cfg配置里启用了哪些zone。这三块内容在Web界面上是点开就能看到的,不需要敲命令,适合白天例行巡检时快速过一遍。

接着点主界面上的status按钮,系统会列出各大重要部件的检查状态,包括电源、风扇、温度、端口等。以这台交换机的正常运行标准来说,状态灯应该是绿色常亮,status按钮显示正常状态。如果status按钮变成橙黄色,同时机器前面板状态灯报错,一般情况就是某一路供电停止,或者光纤接口松动。

这两种异常在运维现场都很常见:单路供电停止找你机房的PDU和UPS,光纤接口松动就顺着那根线把两头的SFP都重新拔插一下。注意拔插光纤前先看端口状态,如果是生产链路,先确认有冗余路径再说,不然拔一下的光衰就够你喝一壶的。

4. 命令行巡检与HBA链路检查:switchshow、zoneshow、powermt

4.1 登录交换机CLI的两种方式

Web界面适合看状态,但要收集配置和做故障诊断,CLI才是效率最高的方式。手册里写了用telnet命令或者SecureCRT工具登录交换机,输入用户名密码后进入DS_300B:admin>提示符。

# 方式一:telnet登录(早期固件默认开启) telnet 10.77.77.77 # 方式二:SecureCRT新建SSH会话(部分固件支持) # 主机名填阵列IP,端口22,协议选SSH2

登录后提示符是DS_300B:admin>,说明已经进入管理员模式。如果要在CLI里执行配置修改,还需要输入configure或cfgEnable这类命令,但日常巡检只需要只读命令就够了。这台交换机的底层系统是Brocade的Fabric OS,所以命令风格和Brocade交换机完全一致,熟悉Brocade的人上手没有障碍。

4.2 switchshow命令输出解读

switchshow是巡检时第一个要敲的命令,它把交换机的整体状态和所有端口的当前状态一次性列出来。看下面这份从手册里整理的输出:

DS_300B:admin> switchshow switchName: DS_300B switchType: 71.2 switchState: Online switchRole: Principal switchDomain: 1 switchId: fffc01 switchWwn: 10:00:00:27:f8:6c:xx:xx zoning: ON (cfg_XXnx_1) Index Port Address Media Speed State Proto ============================================== 0 0 010000 id N8 Online FC F-Port 1 1 010100 id N8 Online FC F-Port 4 4 010400 id N8 Online FC F-Port 5 5 010500 id N8 Online FC F-Port 8 8 010800 id N8 Online FC F-Port 9 9 010900 id N8 Online FC F-Port 10 10 010a00 id N8 Online FC F-Port 11 11 010b00 id N8 Online FC F-Port 16 16 011000 -- N8 No_Module FC (No POD License) Disabled
这段输出怎么读?第一行看`switchState`,必须是`Online`,如果显示`Offline`或`Faulty`,交换机本身就有问题。`switchRole`显示`Principal`表示这台是域里的主交换机,两台交换机不级联时各自都是Principal。`switchDomain`为1,对应前面表格里的地址前缀。`zoning`显示`ON (cfg_XXnx_1)`,说明zone功能已经启用并且当前生效的就是这个配置。 端口状态里,`Online`的端口才是正常工作的。8个业务端口0、1、4、5、8到11全部Online,这正是手册描述的接线状态。如果某个端口显示`No_Light`,说明这条链路没有光信号,光纤断了或者对端没开机。`No_Module`表示这个端口没有插SFP光模块,16到23号端口显示Disabled是因为POD License没有激活,硬件上插了模块也用不了。`Media`列显示`id`是直连光纤,`N8`表示链路速率8Gbps,如果你的存储和HBA都是8G的,这个值就是正常的。

4.3 zoneshow与cfgshow输出解读

zoneshow看的是zone配置,重点区分Defined configuration和Effective configuration两个概念。Defined是管理员定义的全部配置,Effective是当前真正在交换机上生效的配置。看手册里的输出:

DS_300B:admin> zoneshow Defined configuration: cfg: cfg_XXnx_1 mirrorview_spb; XXNX_DOC1_hba1_p_spa1; XXNX_DOC2_hba1_p_spa1; XXnxdb1_hba1_p_spa1; XXnxdb2_hba1_p_spa1 zone: XXnxdb1_hba1_p_spa1 p_vnx_spa1; XXnxdb1_hba1 zone: XXnxdb1_hba1_s_spa1 s_vnx_spa1; XXnxdb1_hba1 zone: mirrorview_spb p_vnx_spb0; s_vnx_spb0 alias: p_vnx_spa1 1,1 alias: p_vnx_spb0 1,0 alias: s_vnx_spa1 1,5 alias: s_vnx_spb0 1,4 alias: XXnxdb1_hba1 1,8 alias: XXnxdb2_hba1 1,9 alias: XXNX_DOC1_hba1 1,10 alias: XXNX_DOC2_hba1 1,11 Effective configuration: cfg: cfg_XXnx_1 zone: XXnxdb1_hba1_p_spa1 1,1 1,8 zone: XXnxdb1_hba1_s_spa1 1,5 1,8 zone: mirrorview_spb 1,0 1,4

这里能看到alias名称的设计规律:p_vnx_spa1是主路径连SP-A 1口,s_vnx_spb0是备用路径连SP-B 0口,XXnxdb1_hba1是DB1服务器的第一块HBA。zone的命名也很有讲究,XXnxdb1_hba1_p_spa1表示“DB1的HBA1通过主路径访问SP-A 1口”,这样看名字就能知道这条zone的链路走向。

cfgshow命令的效果和zoneshow类似,但它会把所有的alias和zone完整列出来。巡检时两个命令二选一即可,我习惯用zoneshow,因为Effective configuration看得更直观。核对配置时只要记住一个原则:Effective configuration里出现的zone成员,必须都能在Defined configuration里找到对应的alias或WWN,如果出现了一个不认识的端口地址,说明有人改过zone配置没做完整。

4.4 HBA多路径链路检查:powermt display dev=all

交换机自身的状态检查完了,还要回到服务器上看操作系统侧的多路径链路状态。这一步是判断“业务到底通不通”的关键。手册分UNIX和Windows两种系统分别给出了检查方法,命令都一样:

# UNIX服务器(AIX/Linux)上执行 powermt display dev=all # 关键输出片段: Pseudo name=hdiskpower0 CLARiiON ID=FCN00131700066 [xxnxdb_aix] Logical device ID=60060160FF003500808C8AE8BFF9E211 [LUN 0] state=alive; policy=CLOpt; priority=0; queued-IOs=0; Owner: default=SP B, current=SP A Array failover mode: 4 HW Path I/O Paths Interf. Mode State 0 fscsi0 hdisk2 SP A1 active alive 1 fscsi2 hdisk8 SP B1 active alive
# Windows服务器DOS窗口执行 C:\Users\Administrator>powermt display dev=all Pseudo name=harddisk1 CLARiiON ID=FCN00131700066 [xxNX-DOC] Logical device ID=600601603C013500FE94747B6BFAE211 [LUN 4] state=alive; policy=CLOpt; priority=0; queued-IOs=0; Owner: default=SP B, current=SP B Array failover mode: 4 HW Path I/O Paths Interf. Mode State 4 port4\path0\tgt0\lun0 c4t0d0 SP A1 active alive 5 port5\path0\tgt0\lun0 c5t0d0 SP B1 active alive

输出里的关键字段怎么判断?state=alive说明这条路径活着;Owner: default=SP B, current=SP A是ALUA模式下的正常状态,默认属主和当前属主可以不同;Array failover mode: 4对应VNX的ALUA模式,这是正常配置。最右边一列必须都是alive,只要出现dead或standby之外的状态,链路就有问题。

判断逻辑很简单:手册里明确写了,正常状态是四条链路全部alive。比如DB服务器上如果配置了双HBA加双交换机,每个LUN应该看到四条路径,每台交换机两条。如果看到路径数量少了一半,先查交换机端口Online状态,再查HBA是否被操作系统识别,最后查光纤线。Windows服务器除了命令还能看右下角的PowerPath图标,正常的图标没有异常标记;如果出现红色叉叉或者黄色叹号,说明链路断了,按“光纤卡、光纤交换机、阵列”的顺序逐级排查。

5. 常见故障排查与避坑:链路中断、状态灯报错与操作顺序

5.1 现象:status按钮变橙黄色,前面板状态灯报错

这是手册里点名的高发故障。现象是Web界面的status按钮从正常颜色变成橙黄色,同时交换机前面板的状态灯开始报错。最常见的原因有两类:某一路供电停止,或者光纤接口松动。

解决步骤是先看面板上的电源指示灯,确认是不是单路供电掉了,掉了就查PDU、UPS和电源模块,电源线重新插紧。如果电源正常,就去检查所有在用的光纤接口,SFP模块的卡扣按下去确认卡到位,光纤接头用擦纤工具清理一下再插。这类故障多半是物理层的,CLI里敲errshow能看到报错记录,但最终还是要靠手去把线插好。

5.2 现象:数据库服务器链路全部断开,业务hang住

真实翻车现场差不多都是这个节奏:半夜机柜调整,有人把两台交换机的电源线同时拔了,数据库服务器上的多路径软件瞬间失去所有路径,IO超时,业务直接停摆。这个故障的根源不在硬件,而在操作顺序。

手册在关机步骤里专门强调了那条注意事项:每台交换机单路供电,两台互为冗余,重启或临时关闭时一定不要在没有关闭应用服务器前断电,更不能同时给两台交换机断电。正确做法是:需要重启某台交换机时,先确认应用服务器上的多路径链路还有另外一条活路,然后只对一台交换机断电,等它起来、端口全部Online之后,再操作第二台。两台交换机之间不存在“必须同时重启”的场景,逐台重启才是存储网络的保命习惯。

5.3 现象:Web管理界面打不开,或者打开了白屏

这类问题十有八九出在JAVA环境上。老款交换机的Web管理界面依赖浏览器里的JAVA Applet,新版本的JDK把安全策略收紧之后,经常出现页面框架出来了但中间内容空白的情况,或者是点status按钮没反应。

常见的解决路径有三条:第一确认本机装了JAVA,版本在1.6以上,但不要用8u201之后的高版本;第二在JAVA控制面板里把管理IP加进站点列表,安全级别调到中;第三如果笔记本上实在调不通,直接用SecureCRT登录CLI,巡检所需的switchshow、zoneshow、cfgshow全是CLI命令,Web上能看到的CLI基本都能看到。说实话我在现场绝大部分时间都在用CLI,Web界面主要留给做zone配置变更的人用。

5.4 现象:交换机重启后Effective configuration为空

这种坑更容易出现在有人动过配置之后。现象是交换机重启或者故障切换后,业务链路起不来,登录CLI敲zoneshow,发现Defined configuration里cfg还在,但Effective configuration显示为空,说明zone配置没有被激活。

原因通常是配置变更后没有执行cfgEnable激活,或者激活的cfg名称和实际要用的不一致。解决方法是手动激活对应的配置,比如这里就是cfgEnable cfg_XXnx_1,敲完再zoneshow确认Effective configuration已经生效。如果交换机配置了persistent的zone默认配置,重启后会自动启用,没配的话就要人工介入。这里提醒一句:激活zone配置属于变更操作,生产环境上做之前先确认cfg内容是对的,别头脑一热把没改完的半成品配置激活了。

5.5 现象:交换机端口显示Online,但服务器上报链路中断

这类问题有点玄学,交换机侧端口状态正常,光模块也在位,但业务侧就是丢链路。我遇到过一次是SFP光模块的收发光功率衰减,交换机只报端口Online不报错,实际上光信号已经在临界值附近晃动了。

处理办法是CLI里看光模块的实时功率参数,Fabric OS下用portshow optics查看端口的光功率信息。如果接收功率小于设备阈值,或者发射功率波动明显,优先更换这根光纤跳线和SFP模块。这个检查和前面说的HBA链路检查配合起来用,能定位出问题是出在交换机侧还是服务器侧的物理连接上。

5.6 故障报修流程

以上手段都试过还没解决,就走厂商报修流程。手册里写的报修方式是拨打存储厂商的全球响应中心电话,固定电话和手机走不同的号码,报了序列号之后按语音提示操作。这里务必强调:报修之前必须准备好交换机序列号,序列号在设备面板的标签上,几台交换机之间别拿混了,报修时厂商工程师需要靠序列号定位设备型号、固件版本和维保状态。日常维护时把每台交换机的序列号连同IP、位置信息记录在维护手册里,报修的时候直接抄出来报就行。

6. 装完怎么验证跑通:五分钟巡检命令确认存储链路

整套环境配置完,到底能不能正常跑,我给一套每次巡检都强制执行的验证流程。三台设备上各走一遍,加起来五分钟出头。

第一步,登录光纤交换机CLI,敲switchshow,确认switchState为Online,端口0、1、4、5、8、9、10、11全部是Online状态。第二步,同一会话里敲zoneshow,确认Effective configuration显示为cfg_XXnx_1,并且5个zone的成员都是有效的端口地址。第三步,在数据库服务器上敲powermt display dev=all,确认每个设备的路径数量符合预期,且State全部为alive。

三步做完,拿下面这张表逐一核对:

检查点正确结果
switchStateOnline
业务端口状态0、1、4、5、8-11全部Online
Effective configurationcfg_XXnx_1
zone成员均为已定义alias对应端口
powermt链路每条路径State为alive
面板状态灯绿色常亮

如果哪一项对不上,按上一章的排查思路定位,不要带着疑问把机器投入生产。特别是新装的服务器接交换机之后,先看端口是否从No_Light变成Online,再看zoneshow里有没有把新HBA的WWN加进对应的zone,最后回服务器看powermt路径数,三步全部通过才算这条链路真正跑通。

这套验证流程我吃了不少亏才总结下来。有一回做业务割接,没提前确认WWN和端口的对应关系就动了光纤,结果数据库服务器的路径从四条变两条,业务直接受影响,从那以后我每次巡检都强制自己走一遍这条命令链路,确认所有在线端口和生效zone都在预期范围内,才允许动任何一根线。希望帮到你。

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询