简介:更换IBM x3650 M4服务器主板是一项细致度极高的硬件操作,这份DOCX指南系统梳理了完整的实施流程,适合运维工程师、系统管理员和机房维护人员在设备升级或故障整机更换时查阅。压缩包内共1个文件,包体大小约12.08MB,文档按操作顺序从更换前的告警灯检查、RAID阵列信息确认、带外管理地址登录,到物理拆除时的排线标记、CPU与内存拆卸技巧,再到新主板安装和阵列卡配置清除,分层列出了每个环节的规范性动作。目前已有5089人浏览学习,说明该方法经过了不少维护人员的实践验证,参考价值较高。文档特别强调更换主板后首次上电不要插回硬盘,必须先利用Ctrl+H快捷键进入WebBIOS清除新主板上的残留阵列配置,确认无虚拟驱动器后再恢复硬盘,以此规避配置冲突导致的数据丢失风险。针对防尘罩、散热硅胶、电源模块插拔顺序等易忽视细节也给出了明确提示;同时指出阵列卡信息同时保存在缓存和硬盘中,清除配置是标准操作,能帮助读者避开常见误区、提高更换成功率。
1. 更换IBM x3650 m4服务器主板,先想清楚这三个问题
更换IBM x3650 m4服务器主板,读起来跟换一台PC主板差不多,但在System x里这是最需要操作纪律的动作之一。x3650 M4是2U双路机架服务器,平台停产多年,市面上的良品主板大多是拆机板或库存板,所以换板的目标不只是让机器能点亮,而是让新主板的IMM2、BIOS和周边配置能平稳接管旧板的身份和磁盘状态。换板前有三个问题必须想清楚:第一,备件主板FRU版本与现有CPU是否匹配,尤其E5-2600 v2处理器需要较新的UEFI版本才能识别;第二,RAID配置是存在磁盘元数据里的,换板后大概率要手动导入;第三,IMM2的管理IP、UUID这些带外身份信息是否要在换板后重写。本文按拆装、参数接管和验证三个环节把流程落一遍,操作以x3650 M4常见配置(M5110阵列卡、双电源、2.5英寸盘位)为例。
2. 更换IBM x3650 m4主板前的数据备份与拆机要点
2.1 换板前必须备份日志与IMM2参数,用ipmitool 3条命令收尾
x3650 M4换板时最容易被忽略的环节是旧板的配置记录。主板上有一颗Flash存储了IMM2的配置、SEL事件日志和部分厂商标识信息,新板替换后这些不会跟着跑过来。我一般会建议在关机前把IMM2配置和SEL日志全部导出,否则真出了兼容性问题时,你连“换板前机器是否正常”这个基准都没有。
# 使用ipmitool通过IMM2的带外IP访问,先确认连接通道 ipmitool -I lanplus -H 192.168.1.2 -U USERID -P PASSW0RD sel elist > sel_before_maintenance.txt # 解码传感器数据,确认当前硬件健康基线 ipmitool -I lanplus -H 192.168.1.2 -U USERID -P PASSW0RD sdr list > sdr_before_maintenance.txt # 导出IMM2网络与用户配置,出现备份问题 ipmitool -I lanplus -H 192.168.1.2 -U USERID -P PASSW0RD lan print 1 > lan_before_maintenance.txt三条命令分别对应事件日志、传感器读数和网络配置,输出都落到文本文件里做基线。sel elist列出所有SEL记录,注意确认没有未处理的Critical事件;sdr list用于后来验证风扇转速和电压读数是否恢复常态;lan print 1输出的是IMM2接口的IP、MAC和网卡模式,换板后对比用最直观的方式确认新板网络配置是否被重置。
提示:这里用USERID/PASSW0RD默认账号只适用于带外网络隔离的环境,如果IMM2已经配置了独立管理账号,换成实际用户名和密码即可。
2.2 拆机箱盖与主板排线的标记规则
x3650 M4的机箱结构与普通塔式服务器差异很大,它的主板是倒放在机箱内的,电源仓在机器后部,主板上方有导风罩,两个CPU散热器正对着风扇墙。开箱盖是免工具的,松开顶部两颗指旋螺钉,把上盖向后滑约2厘米再向上抬起即可。
掀开导风罩后,你会看到主板上有几组必须拆的线缆:前面板USB/状态LED排线、SATA光驱线、两个电源背板信号线、IMM2网络接口的软排线。我的习惯是用标签纸逐根贴上去再拍照,因为主板上的插针间距只有1毫米左右,一旦装错方向或者漏插,开机后要么前面板所有灯全灭,要么光驱位识别不到设备。
| 拆卸对象 | 位置特征 | 注意事项 |
|---|---|---|
| 前面板排线 | 主板左下角白色插针 | 排线有防呆卡扣,先拨开卡扣再拉线,不要拽线体 |
| 电源背板信号线 | 主板右后侧两处 | 左右标识不同,装反后开机无告警但电源模块无法监控 |
| 导风罩 | 覆盖全部内存与CPU | 有四颗定位销,拆的时候垂直向上,避免刮到DIMM卡扣 |
| 风扇墙连接器 | 主板中后部六针座 | 风扇墙与主板之间有转接板,通常不必拆转接板本身 |
换板操作里最容易出事的是SATA线和硬盘背板线,因为它们在机箱内走线槽里,拆旧板时如果不把线缆从固定线夹里退出来,主板提着线就被拉起来,背板端的端子会当场损坏。原则是先拆所有线缆插头,再拆主板固定螺钉,最后抬主板。
2.3 拆旧板时两个容易裂板的细节
第一处是主板固定螺钉。x3650 M4主板有8颗十字螺钉加3颗六角铜柱,位置分布在不同区域,拆之前最好按对角线顺序松。全部松完后,先用手托住主板右缘,左右轻轻摇动确认没有线缆还连着,再整体抬起。不少人拆板时发现主板拿不起来,下意识用力掰,结果裂的是固定孔附近的电路板。
第二处是CPU散热器与主板之间的连接。M4的散热器是通过四颗弹簧螺钉固定在主板上的,它不随主板一起下来,但换板时CPU和散热器是要一起搬到新板上的。拆散热器时要按对角顺序分多次拧松,每次松半圈,避免散热器因为硅脂粘性把CPU从座子里带出来。CPU取出后不要立刻放在桌面上,用防静电袋或者原装CPU托架装好,針脚面朝上。
3. 更换IBM x3650 m4主板后的硬件安装与首次通电检查
3.1 安装新主板时CPU、内存与散热器的装回次序
安装新板前先对板卡做目视检查:看电容是否鼓包,CPU底座針脚有没有歪斜,PCIe插槽里有无异物。IBM备件板和拆机板最大的差异就在运输防护,一个磕碰就可能让CPU座里的針脚弯掉,上机后报CPU 2无法识别或者内存插槽报错。
装回次序是:先把CPU装上新主板的CPU座,再装内存,然后把散热器压在CPU上对角拧紧,最后才把主板放进机箱。CPU的安装要注意对准4个定位孔,扣具合上时不需要大力按压,如果合不上说明CPU没放平。散热器螺钉的拧紧扭矩没有固定标定值,但方法是认可的:先全部旋到刚接触,再按对角顺序拧紧,最后检查四颗弹簧螺丝的露出高度一致。
3.2 内存与阵列卡插槽位置的新旧一致性核对
x3650 M4的内存插槽一共24条,分三组颜色,CPU1和CPU2各管12条。换板后最容易犯的错是内存插槽顺序和旧板不一致——不是开机不了,而是内存跑在单通道或降频模式下。建议在拆旧板之前就拍照记录每根内存条所在的插槽编号,新板照原样插入,特别是四通道配满时,插错槽最多损失20%内存带宽。阵列卡的位置也一样,M5110卡本身不带缓存电池接口的话,它固定在主板右侧的专用槽位上,重新插好后记得检查卡上的两个固定螺钉是否拧到位,很多机器搬动后阵列卡金手指接触不良,开机直接卡在POST代码处。
3.3 首次通电前的三分钟静态检查
装完新主板不要急着开机,做一遍静态检查能挡住大部分低级失误。电源背板的两组信号线、前面板排线、SATA线这三处是重灾区。我习惯用手机拍一张主板的全局照片,然后对着照片逐项打勾。接着检查主板底部有没有被机箱凸起的定位柱顶到,这会短路主板背面的焊点。最后确认电源模块已经卡到位,两个电源的风扇位置不能有塑料袋之类的异物。
通电后第一个现象是风扇全速旋转,这在新板第一次上电时属于正常,因为主板没有读到温度传感器曲线,会以安全转速运行,直到BIOS初始化完毕。此时如果机器发出连续短鸣或者电源指示灯闪烁,说明线缆连接有短路或缺线。等机器稳定静音下来再按电源键开机,过程中留意开机画面出现F1 Setup提示时按F1进入BIOS,下一步需要在这里做配置接管。
4. BIOS与IMM2参数接管:更换IBM x3650 m4主板后的身份恢复
4.1 在F1 Setup里重写UUID与系统时间
x3650 M4的UUID存储在主板Flash里,每块新主板(尤其是拆机板)都有原机器遗留的UUID。如果不改写,会出现两个问题:一是Linux系统内执行dmidecode -t system看到的UUID不对,影响基于UUID做授权的软件;二是少数集群软件会把UUID作为node识别依据,换板后node被当新机器要求重新纳管。
UUID的改写位置在F1 Setup的System Settings -> Integrated Management Module II里,有一项System UUID。常见做法是先记下旧板关机前查到的UUID(命令用dmidecode -s system-uuid),在新板对应输入框里原样填回。同时把System Date和System Time同步一下,避免开机后日志时间跳到1970年。系统时间可以进系统后用NTP同步,但BIOS里的时间最好一并校准,否则PXE装机时可能因证书时间问题报错。
# 进系统后用这三条命令核对身份信息是否已恢复 dmidecode -s system-manufacturer dmidecode -s system-serial-number dmidecode -s system-uuid输出应显示IBM(后为Lenovo IBM等字样)、旧序列号或新序列号,以及我们填回去的UUID。如果UUID这行是全0或者一串FFF,说明写入没有生效,需要重启再进F1确认。
4.2 M5110阵列卡配置导入:不丢数据的关键一步
换板后阵列卡不认虚拟磁盘是最吓人的告警。M5110阵列卡本身没有存储RAID配置的NVRAM,虚拟磁盘的配置信息是写在物理磁盘元数据里的,控制器在POST阶段扫描磁盘时发现配置与自身DDF不匹配,就会把它标记为Foreign配置,然后停止启动卷。这在更换主板或者阵列卡后出现率很高,处理方法是开机自检到按Ctrl+C进入阵列卡配置界面时,进入Foreign Config菜单,选择Import后重启,虚拟磁盘就会自动上线。
如果开机时提示Press Ctrl+C进入LSI Megaraid配置时错过了窗口,也可以进入系统后用命令行工具处理。
# 使用MegaCli导入外部配置,-a0代表控制器0 /opt/MegaRAID/MegaCli/MegaCli -CfgForeign -Import -a0执行导入前先确认控制器的状态,以免出现误操作。如果你忘记用-a0指定控制器编号,多卡机器会报找不到控制器。导入完成后用-LDInfo -Lall -a0查看虚拟磁盘状态应为Optimal,这时磁盘上的数据就完全恢复可见。
注意:Foriegn配置只针对同型号阵列卡控制器,如果是换板同时换了不同型号的阵列卡,跨控制器导入不保证成功,这时的恢复重点是完整备份或提前导出配置。
4.3 SEL事件日志的读取与清除:判断板卡通信是否正常
系统能进BIOS不代表内部通信都正常,IMM2在换板后的状态需要读SEL确认。按F2进入System Event Log,可以看到换板后的全部事件记录。常见的有:温度传感器初始化告警、IMM2固件版本与BIOS不匹配告警、风扇转速异常记录。这些在新板首次开机时出现较正常,关键要确认没有内存ECC不可恢复或处理器总线错误这类告警。
SEL可以在BIOS界面里按清除按钮,也可以在系统里用ipmitool清空,推荐进系统后清一次,给后续运行留一个干净的日志基线。清之前要把前面导出的旧日志留底。
ipmitool -I lanplus -H 192.168.1.2 -U USERID -P PASSW0RD sel clear清完后带外重启一次IPMI通道,确认IMM2网络连接恢复,ping通管理IP后换板流程的核心配置工作才算完成。IBM的管理体系里,IMM2是监控的入口,它可以让你在系统崩溃后远程开机、看POST代码、抓日志,这一层不恢复正常,后面的压力验证就算发现问题也得开显示器才能处理。
5. 更换后的验证手段:从POST代码到压力测试的三层检查
5.1 第一层验证:用开机自检与Ping确认硬件就绪
换板完成开机进入系统后,先确认机器没有挂在POST早期阶段。x3650 M4前面板上有一块液晶显示屏,正常启动会依次闪现POST代码,如果卡在某处不动,直接对照主板维护手册查该代码含义。液晶屏旁边有个小按钮,按一下可切换显示当前温度或IP地址。
系统起来后在终端执行ipmitool sel elist确认没有新增Critical事件,再执行ipmitool sdr type temperature看看CPU和进风温度读数是否恢复正常区间。一个服务器刚换完板,风扇声如果一直维持在高速不降速,多半是温度传感器没有正确识别,不要强行进系统工作,先排查主板供电排线。
5.2 第二层验证:磁盘IO与网络吞吐的冒烟测试
RAID已经导入后,进系统执行磁盘读取测试确认数据链路完整。比如dd if=/dev/sda of=/dev/null bs=1M count=4096能跑到接近磁盘阵列的带宽上限,说明阵列和驱动没有性能损失。紧接着做一次带写入的测试前,一定要和业务方确认这台机器可以接受短时间写入流量,不要在数据库盘上做破坏性测试。网络方面则用ethtool eth0确认网卡协商到万兆或千兆对应速率,再实际传一个大文件交叉验证。
# 检查磁盘组状态是否为Optimal(MegaCli) /opt/MegaRAID/MegaCli/MegaCli -LDInfo -Lall -a0 | grep -E "Virtual Drive|State" # 检查网卡协商速率 ethtool eth0 | grep Speed5.3 压测收尾:跑一次内存与CPU稳定性测试
如果这台x3650 M4是要承载生产业务的,我至少会跑一轮stress-ng的内存压力测试,时间控制在10分钟左右,重点是观察IMM2上是否记录正确错误事件。压力测试期间打开带外管理网页盯SEL和传感器曲线,当内存出现可纠正错误时SEL会记录但系统不中断,这也是判断新板和原内存兼容性的一种手段。跑完压测确认无误,再把这台机器的资产标签打印好贴在外壳上。
5.4 换板后最容易忽略的细节:固件一致性检查
x3650 M4的主板BIOS对v2 CPU的识别依赖UEFI版本,如果新板比旧板固件老,开机后会出现CPU频率锁定在1.2GHz的情况,表现是系统能进但很慢,这时优先去联想官网下载该机型对应版本的BIOS升级包,用启动U盘更新。IMM2固件建议同步升级到和BIOS匹配的版本,HMC或PXE环境对固件版本有最低要求,新旧跨度过大可能出现告警。换板收尾这一步不做,后续每次进系统都会看到一堆莫名其妙的PCIe告警日志。
本文还有配套的精品资源,点击获取