服务器硬件健康检查需覆盖供电、散热、计算、存储、网络五大链路,通过IPMI/BMC采集真实硬件数据,结合自动化巡检(Ansible+定时任务)实现可判断、可追踪、可告警。

服务器硬件健康检查不是“看看灯亮不亮”就完事,关键在于把物理状态转化为可判断、可追踪、可告警的数据。核心指标要覆盖供电、散热、计算、存储、网络五大链路,而自动化巡检的价值,在于让这些检查每天凌晨自动跑一遍,出问题直接发邮件,而不是等硬盘红了才去机房。
供电与冗余:断电前的最后防线
电源是硬件稳定的第一道关。不能只看主电源绿灯亮,必须验证冗余能力:
- 检查双电源模块指示灯是否均为绿色,任一熄灭或变橙即需登记
- 用ipmitool power status确认两路电源均处于“on”状态;执行ipmitool sensor | grep -i "power"读取各路电压、电流实时值,偏差>5%即预警
- 模拟单路断电:手动拔掉其中一路电源线,观察备用电源是否在2秒内自动接管(可通过ipmitool sel list查事件日志验证)
- PDU端口电流需<额定值80%,超限需立即调整负载或扩容
CPU与内存:算力底座的真实状态
光看top里CPU使用率会误判。硬件层健康要看温度、风扇、纠错三要素:
- CPU温度必须通过IPMI/BMC读取,而非OS内核估算值;持续>85℃(Intel)或>90℃(AMD)即触发告警
- 用ipmitool sdr type temperature获取所有传感器温度,重点关注CPU Die、VRM、PCH三项
- 内存必须查ECC错误:运行ipmitool sel list | grep -i "correctable",过去24小时出现≥3次即标记为高风险;结合dmidecode -t memory核对插槽数量与识别容量是否一致
- CPU风扇转速需在厂商标称区间内(如iDRAC中显示RPM值),低于下限70%视为异常
磁盘与RAID:数据不出错,先保盘不掉线
磁盘故障往往从SMART预警开始,但很多巡检漏掉预失败标志:
- 对每块物理盘执行smartctl -a /dev/sdX | grep -E "(Reallocated|Pending|UDMA_CRC|Temperature_Celsius)",重点盯Reallocated_Sector_Ct>0、Current_Pending_Sector>0、UDMA_CRC_Error_Count突增
- RAID阵列状态必须用控制器原生命令验证:storcli /c0 show(LSI)、hpssacli ctrl all show config(HPE),状态非“Optimal”一律标红
- 检查背板连接:lspci | grep -i "raid\|sas\|nvme"确认控制器识别正常;再查dmesg | grep -i "link down\|reset"有无链路中断记录
- Inode使用率和磁盘空间要同步查,尤其/var/log、/tmp目录,df -i /var/log >95%比空间满更危险
自动化巡检落地:Ansible + IPMI + 定时报告
手工敲命令效率低还易漏,用Ansible批量驱动硬件检查,结果自动聚合生成HTML报告:
- Inventory中按厂商分组,定义变量:ipmi_user: "ADMIN"、ipmi_pass: "{{ vault_ipmi_pass }}"
- Playbook调用shell模块执行ipmitool命令,用set_fact提取温度、电源、风扇状态,用when做阈值判断(如cpu_temp > 85)
- 结果统一注入hostvars,用Jinja2模板渲染report.html:OK项绿色,WARN黄色,CRITICAL红色,并支持按状态筛选
- 每天凌晨3点cron触发:0 3 * * * ansible-playbook -i inventory/hardware.yml --limit webservers,关键异常(如磁盘预失败)单独走mail模块发短信级告警

















