ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

IBM P740小机安装配置实战:从HMC连接到AIX系统落地

IBM P740小机安装配置实战:从HMC连接到AIX系统落地

简介:面向 IBM Power 小机运维与实施人员的 AIX 环境搭建实战手册,源于真实项目中的省操作风险管理系统小型机安装配置实践。全流程文档整理为 1 个 doc 文件,压缩包大小 4.5MB,按章节覆盖 AIX 操作系统安装、bundle 部署、limit/IOCP/fullcore 内核参数设置,以及 maxpout/minpout/maxuproc/syncd 性能参数调整,后续还展开时区与 error log、网络与 AIO/VM 参数、HBA 卡、语言包补丁、Oracle 文件系统、操作系统镜像、SWAP/dump 等底层操作。针对高可用,专门介绍了 HACMP 软件及补丁安装、cluster 网络配置、基于 IP/串口心跳组网、资源组、SVC IP 与应用脚本添加的完整链路。已有 1256 人学习下载,适合需要参照真实案例完成 IBM P740 初始化、HACMP 高可用配置或排查相关参数问题的系统工程师。

1. 先认识 IBM P740 小机:它不是一台普通服务器

第一次接手 IBM P740 小机时,最怕的就是拿通用服务器那套思维往上套:U盘引导、板载管理卡、BIOS里改启动顺序,在 Power 小机上全都行不通。IBM P740 是 Power7 架构的中端企业级小机,机房里的典型位置是数据库、ERP 和核心交易系统,交付形态通常是一整台机器加 HMC 管理控制台,系统安装配置流程和 x86 服务器有本质区别:管理入口靠 HMC 或 ASMI,安装介质靠虚拟光驱或网络启动,系统装完还要补一堆 AIX 专用参数。这篇笔记写给正在做交付、扩容或者准备重装系统的运维与集成工程师,把从装前规划、HMC 连线、AIX 安装到参数落地的完整链路讲清楚,每步讲为什么,也讲最容易翻车的地方。

2. 上架前的功课:硬件组成、HMC/ASMI 连线与网络规划

P740 到货后,按安装配置手册的第一步不是插电,而是先看铭牌、看端口、看硬盘背板。很多人在这一步跳过了硬件确认,结果上架后才发现 HMC 连不上、服务处理器 IP 不在规划网段、光驱设备没接上,整台机器躺在机柜里,所有工作只能靠串口慢慢挤出来。

2.1 先认硬件:P740 的 CEC、内置盘位与管理口

IBM P740 的机体分成两个部分:CEC(中央电子控制单元)和 I/O 抽屉。CEC 里装的是处理器、内存和主板,I/O 抽屉负责扩展槽、硬盘背板和外部接口。P740 常见型号标识是 8202-E4C 或 8205-E6C,两者的主板和扩展能力不同,但安装系统的思路是一样的。

组件常见形态我在装机时关注什么
处理器Power7 处理器,双芯片模块或四芯片模块确认核数是否与分区配置匹配
内存DDR3 RDIMM,插槽在 CEC 上确认每条内存容量,避免跨 Bank 混插
内置硬盘12 块 2.5 寸 SAS/SFF 盘位盘序决定 rootvg 落到哪块盘,先拍照记录
管理口后部 HMC 专用口、ASMI 串口与网口这是安装系统的第一入口,常被当成业务网口
PCIe 扩展槽多个 x8/x16 槽位安装 HBA 卡、网卡前先数槽位和供电线

P740 的内置磁盘背板通常通过 SAS 线缆接到 RAID 卡或直通卡上。如果系统盘要做 RAID,建议在安装系统前就在阵列配置界面里把磁盘组做好,AIX 装完再想做 RAID 迁移,费时费力还容易丢数据。常见做法是做 RAID 10,兼顾性能和冗余;如果该机器只跑非核心业务,RAID 5 也可以,但我不建议在数据库小机上用 RAID 5。

2.2 HMC 与 ASMI:两个管理入口,别搞混

P740 有两个完全不同的管理入口,一个是 HMC,一个是 ASMI,很多新手在这里被绕晕。

HMC 是一台独立的管理服务器,可以是物理设备也可以是虚拟机,运行专门的 HMC 软件。它通过以太网线连到 P740 后部的专用 HMC 端口,负责管理整机的电源、分区、虚拟光驱和启动顺序。AIX 安装的绝大多数操作都发生在 HMC 里,所以我几乎全程通过 HMC 操作。

ASMI 是高级系统管理接口,直接管理的是服务处理器,不是操作系统。它通过串口或独立网口访问,可以设置服务处理器的 IP、密码、启动模式,还能看硬件报错。HMC 连不上、需要做底层恢复时,ASMI 就是最后的入口。

管理入口端口位置典型用途我的使用习惯
HMC机身后部专用 HMC 网口管理分区、安装介质、电源控制装机全程主力入口
ASMI 串口机身后部 S1 串口底层配置、密码重置、硬件诊断HMC 失联时的救命通道
ASMI 网口服务处理器网口浏览器直接访问 ASMI 界面只在串口不方便时用

接线顺序很重要。先把 HMC 的两个网口分别连到 P740 后部标着 HMC 的两个专用口上,再把串口线接到 ASMI 串口作为后备。给 HMC 设置好 IP 后,第一步不是登录图形界面,而是用 ping 探测 P740 的服务处理器地址,能通说明管理链路正常。

2.3 网络规划:管理网、业务网、存储网必须分开

P740 装系统之前就要把网络分清楚。常见反例是把 HMC 端口直接插进办公室业务交换机,和业务流量混在一起。平时看着没事,一到交换机割接、防火墙策略变更,HMC 失联,整台小机变成黑匣子,只能跑机房串口处理,非常被动。

我一般会把网络分成三个平面:

网络平面建议网段用途注意点
管理网独立网段,例如 192.168.100.0/24HMC、ASMI、服务处理器不配置业务网关,只允许堡垒机访问
业务网按生产环境划分数据库监听、应用连接不与管理网互通
存储网光纤交换机独立 VLANSAN 存储、卷复制禁止与管理网复用交换机

如果机房里没有独立管理 VLAN,至少要保证 HMC 的 IP 和服务处理器 IP 不在业务网段内。P740 的 HMC 口支持网络冗余,两个口分别接到两台管理交换机上,这样单台交换机故障时管理通道还在。

3. 用 HMC 走通最小安装流程:AIX 从启动介质到可登录

P740 的安装配置,主干流程可以压缩成一句话:HMC 建分区,挂安装介质,开机进 SMS 菜单,从虚拟光驱启动,安装 AIX,重启后做系统验证。这中间有几个环节和其他系统差异很大,按部就班做,比临时查手册靠谱得多。

3.1 装系统前先确认固件级别,别急着上电

P740 上电前,先通过 HMC 查看受管系统的固件级别。Power 小机的固件与操作系统版本之间有兼容性要求,老固件装新 AIX,轻则功能异常,重则安装到一半报错退出。HMC 命令行下可以这样看:

# 在 HMC 上列出受管系统及当前固件版本 lssyscfg -r sys -F name,state,curr_phys_fw,power_control # 如果你的 HMC 上有多个受管系统,指定名字查看 lssyscfg -m P740 -r sys -F name,state,curr_phys_fw

lssyscfg是 HMC 命令行的核心工具,-r sys表示查看受管系统,-F指定输出字段。curr_phys_fw是当前物理固件版本。看到固件级别后,再去对照要安装的 AIX 版本所要求的微码级别。如果固件偏低,先在 HMC 上升级微码再装系统,这个过程不建议跳过。

3.2 在 HMC 上创建逻辑分区并配置启动列表

P740 支持多个逻辑分区,一台机器可以同时跑多个 AIX 或 IBM i。安装系统前,要为这台机器创建一个分区,并给分区分配处理器、内存和网络资源。

常见做法是在 HMC 图形界面里创建逻辑分区,分配资源时注意两点:一是处理器和内存要留出一部分给 HMC 自身和固件使用,不要全部分给分区;二是启动列表里要把 DVD 设备放在第一位,否则开机时找不到安装介质又会回到默认磁盘启动。分区 Profile 创建好后,先保存再启动。

HMC 命令行也能完成常用操作:

# 列出受管系统的分区状态 lssyscfg -r lpar -m P740 -F lpar_name,state,curr_profile # 打开某个分区的虚拟控制台 mkvterm -m P740 -p lpar_name

mkvterm是打开虚拟终端的关键命令,-p指定分区名。打开后会出现一个黑窗口,后续安装画面都在这个窗口里看。很多新手以为 HMC 上有一堆图形按钮才叫管理,其实熟练后命令行操作更快,尤其在同一台 HMC 管理多台小机的时候。

3.3 挂载 AIX 安装介质,从 SMS 菜单启动

AIX 安装镜像通常以 ISO 形式放在 HMC 上。在分区属性里,把虚拟光驱指向 ISO 文件,这相当于给分区插了一张光盘。ISO 挂载完成后,在虚拟终端里重启分区,开机自检提示时按 1 进入 SMS 菜单。

SMS 菜单全称是 System Management Services,它的作用类似于 x86 机器上的固件启动菜单。进入 SMS 菜单后,依次选择“Select Boot Options”和“Select Install/Boot Device”,然后选择虚拟光驱作为启动设备。如果虚拟光驱没有出现在列表里,说明 ISO 没有正确挂载到分区上,回到分区属性重新挂载即可。

启动设备选定后,系统会从 AIX 安装 ISO 引导。这个阶段不要离开终端,因为安装程序很快会显示欢迎界面,等你选择安装方式和目标磁盘。

3.4 AIX 安装过程与装完后的第一组命令

AIX 安装界面是字符界面,但逻辑清晰。选择“Install AIX”进入全新安装,然后选择语言和安装设置。设置画面中,务必确认目标磁盘列表,只勾选要作为 rootvg 的磁盘,不要把空白的业务盘也丢进去。安装过程中会提示设置 root 用户密码,这一步不要跳过。

安装完成后系统自动重启,登录后用下面一组命令做最基础的验证:

oslevel -s # 查看 AIX 版本和服务包级别 prtconf # 查看机器型号、CPU、内存、固件等整体信息 lsdev -Cc processor # 列出处理器设备 lsdev -Cc memory # 列出内存设备 lspv # 查看物理卷及其归属卷组

oslevel -s输出类似7200-05-03-2444,代表 AIX 7.2 TL5 SP3。prtconf是最常用的系统概览命令,CPU 数量和内存容量一眼就能核对。lspv输出里,如果某块物理卷的卷组列显示None,说明它是空闲盘,后面创建数据卷组时就要用这种盘。

4. 装完必调的参数:交换区、卷组、网卡与多路径

AIX 装完不代表系统能交付。P740 的安装配置里,真正的功夫在系统参数落地:paging space 够不够、文件系统布局合不合理、网卡做没做链路聚合、存储多路径是否激活。这几项不调好,业务方接进来就会发现问题。

4.1 Paging Space:别让系统在 30 天后才翻车

AIX 的交换区叫 paging space,系统默认会创建一个名为 hd6 的交换区,放在 rootvg 所在的磁盘上。paging space 不足是 AIX 运行中最隐蔽的故障源,内存压力上来后,errpt 里报错会很晚,但应用响应已经变慢。

先看当前状态:

lsps -a # 查看所有 paging space 的使用情况 lsps -a -M hd6 # 查看 hd6 分布在哪些物理卷上

输出里的 PPSize 栏目显示每个物理分区的大小,Used 栏目显示已用比例。如果 hd6 所在的物理卷和业务数据卷在同一块盘上,建议把 hd6 扩展或者新建一个 paging space 到另一块磁盘。扩展 hd6 用chps,它的单位是物理分区个数,不是直接写多少 GB:

# 将 hd6 增加 32 个物理分区,具体容量取决于 PP Size chps -s 32 hd6

如果卷组的物理分区大小是 32MB,增加 32 个 PP 相当于增加 1GB;如果 PP 大小是 512MB,同样的命令增加的是 16GB。所以执行前一定先看 PP Size。我给小机做配置时,paging space 总量按物理内存的 1 到 2 倍预留,数据库实例超过 64GB 内存的机器,至少留 32GB 交换区。

4.2 磁盘布局:rootvg 与数据卷组分开是铁律

P740 上的 LVM 布局,我有一条操作铁律:rootvg 只装操作系统,业务数据必须单独建卷组。AIX 默认安装时会把所有选中的磁盘都放进 rootvg,如果不手工干预,后续数据卷和系统盘混在一起,备份、扩容、故障恢复全都受影响。

常见布局建议如下:

卷组包含文件系统建议容量说明
rootvg/、/var、/tmp、/opt、/home视磁盘而定/var 尽量放大,日志和 errpt 都在这
datavg/data、/backup、/app剩余空间数据库、应用、备份独立存放

安装系统时,在安装设置画面里调整文件系统大小,把 /var 从默认值放大到 8GB 以上。系统装完后,把空闲磁盘创建为 datavg:

lspv # 找到状态为 None 的物理盘,例如 hdisk1 mkvg -y datavg -s 32 hdisk1 # 创建 datavg,物理分区大小 32MB

mkvg的-y指定卷组名,-s指定 PP 大小。PP 越小,空间分配越灵活,但卷组描述符占用的内存会变大;数据库场景我常用 32MB 或 64MB,太大的 PP 会导致文件系统扩容只能整块整块地加。卷组建好后,创建文件系统用crfs:

crfs -v jfs2 -g datavg -m /data -a size=64G -A yes df -g /data

crfs是 AIX 创建文件系统的标准命令,-v jfs2指定文件系统类型,-g datavg指定卷组,-m /data设置挂载点,-a size=64G指定初始大小,-A yes表示开机自动挂载。

4.3 网卡配置:EtherChannel 与 IP 设置

P740 通常板载两块或四块以太网卡,如果业务网卡直接各配各的 IP,一旦物理链路故障就会断连。常见做法是把两块物理网卡绑成一个 EtherChannel,逻辑上变成一块网卡,IP 配置在这块逻辑网卡上。

先看系统识别到的网卡:

lsdev | grep ent

输出里ent0、ent1是物理网卡,et0、et1是对应的以太网协议设备。绑定通道我一般用smitty etherchannel进入交互界面,选择需要绑定的物理适配器,然后设置协商方式和主适配器。通道创建成功后,系统会生成一块新的逻辑网卡,例如ent3。

接下来配置 IP:

smitty tcpip

在 TCP/IP 配置菜单里选择“Minimum Configuration & Startup”,设置主机名、IP 地址、子网掩码和默认网关。配置完成后:

netstat -in # 查看所有接口的 IP 和收发状态 ping 网关地址 # 验证三层连通性

EtherChannel 的链路协商模式要和交换机侧保持一致,常见是 802.3ad 或主动备份。如果交换机那边不做聚合配置,光在 AIX 这端绑通道,实际流量还是会从单链路走,而且链路切换时可能丢包,这是最容易忽略的配置漂移问题。

4.4 多路径:AIX 原生 MPIO 还是厂商路径软件

P740 外接 SAN 存储时,多路径软件的选型直接影响可用性和性能。操作系统厂家自带的原生 MPIO 已经是 AIX 7 之后的默认方案,绝大多数中端存储都支持,识别路径用lspath查看:

lspath # 查看所有多路径的状态 lspath -l hdisk5 # 查看某块盘的路径详情

期望结果是所有路径状态为 Enable。如果有路径变成 Failed,先查光纤交换机 zoning 和存储端端口是否在线。存储厂商要求装专用路径软件时,常见做法是装 SDDPCM 或存储厂商提供的多路径插件,安装后要重启使驱动生效。如果存储支持 ALUA,AIX 原生 MPIO 已经足够,没必要额外装一堆插件,少一个软件层就少一个故障点。

5. 安装配置常见问题与避坑:五条真实踩坑记录

P740 装机的坑,很多不在安装手册里。下面五条是我自己踩过或帮同行处理过的典型问题,每条按现象、原因、解决来写,遇到类似情况可以直接对照。

5.1 HMC 虚拟终端黑屏,分区看起来没反应

现象:用 mkvterm 打开分区虚拟终端后,窗口黑屏,按回车没有反应,分区状态显示可操作但就是看不到启动画面。

原因:最常见原因是这台分区上已经有一个残留的虚拟终端会话没有关闭。HMC 的虚拟终端是单会话的,旧的连接占着通道,新的连接只能看到黑屏;另外一个原因是 HMC 用户权限不够,只有查看权限没有操作权限。

解决:在 HMC 上检查该分区是否存在活动的终端会话,把旧会话结束掉,再重新执行 mkvterm。如果问题还在,检查用户权限,当前账号至少要分配到超级管理员或具备分区操作权限。最后手段是直接在 HMC 上重启分区,但操作前要确认业务影响。

5.2 ASMI 密码丢失,串口也进不去

现象:前任工程师把 ASMI 密码改掉后没有交接,串口连上 P740 后提示认证失败,默认用户名 admin 密码 admin 也进不去。

原因:ASMI 密码被修改,且没有恢复凭据。这在小机移交、机房搬迁时特别常见,老工程师走了,密码跟着消失。

解决:这台机器如果还连着 HMC,优先检查 HMC 上是否能通过管理通道重置 ASMI 密码;如果 HMC 也失联,只能通过服务处理器串口复位流程处理。最稳妥的办法是联系硬件服务渠道,提供机器序列号做服务处理器配置重置,没有后悔药可吃。我现在的习惯是每次接手小机,第一件事就是把 ASMI 密码改成统一管理的复杂度密码,并记录到交接表里。

5.3 ISO 已经挂载,SMS 菜单里却找不到虚拟光驱

现象:在 HMC 上把 AIX 安装 ISO 挂载到分区,但虚拟终端里进入 SMS 菜单后,启动设备列表里没有光驱设备。

原因:ISO 挂载没有真正连接到逻辑分区。HMC 上有多个“虚拟介质”槽位,有时候 ISO 挂到了其他槽位上,而分区的 Profile 挂载的是另一个槽位;还有一种是分区处于运行状态时挂载的介质,没有被正在运行的实例识别到。

解决:在分区属性里确认识别到的虚拟光驱设备是否对应挂载了 ISO 的槽位;如果分区正在运行,需要先挂载介质再重启分区,让固件重新扫描虚拟设备。启动列表里把光驱设备手工加到第一位,不要依赖默认顺序。

5.4 安装 AIX 时把业务盘选进 rootvg

现象:装完系统后发现 lspv 里所有磁盘都归属 rootvg,数据盘和系统盘混在一起,业务方要建数据卷组时找不到空闲盘。

原因:AIX 安装时目标磁盘列表默认包含了所有系统能识别到的本地盘,新手往往没注意取消勾选业务盘,一路回车装到底。

解决:安装过程到达“Installation and Settings”画面时,进入目标磁盘选择,只保留装系统的那块盘,其余磁盘全部取消勾选。如果不小心已经装完,只能在系统里用 rmvg 或 migratepv 把业务盘从 rootvg 里拆出来,过程麻烦且有数据风险。我装机时会先看 lspv 的输出,明确哪块盘是系统盘,再开始安装。

5.5 固件版本和老系统不匹配,安装中途报错

现象:在 P740 上安装较新的 AIX 版本,安装到一半出现设备配置错误,或者重启后系统无法进入登录界面。

原因:机器的固件版本偏低,和新的 AIX 版本的硬件抽象层不兼容。P740 这类 Power7 机器如果长期没有升级过微码,对较新的 AIX 服务包支持就不完整。

解决:安装前通过 HMC 检查 curr_phys_fw,对照 AIX 版本的兼容性要求升级微码后再装系统。如果系统已经装完但运行异常,先在 HMC 上升级微码,再安装对应版本的服务包,最后重启验证。

6. 最后验证:半小时的检查习惯,换三年的省心运行

系统装完、参数调完,最后一步是验证。我习惯在交付前按一张固定清单走一遍,半个小时内能覆盖主要风险点,避免业务接入后才发现底层的坑。

检查项命令或方式期望结果
系统序列号与型号prtconf型号、序列号与采购配置一致
固件级别`prtconfgrep Firmware`
CPU 与内存prtconf核数和内存容量符合分区配置
操作系统版本oslevel -s达到预期 TL/SP 级别
文件系统空间df -g/、/var、/tmp 使用率低于 80%
Paging Spacelsps -a余量充足,且分布合理
网卡与聚合netstat -inEtherChannel 正常,无丢包
多路径状态lspath所有路径 Enable
HMC 备份HMC“备份”操作已导出 HMC 配置

验证全部通过后,把 HMC IP、ASMI 地址、微码版本、盘序和卷组映射写进交接文档。我自己就吃过一次亏,一台 P740 换了存储交换机后多路径抖动,查了半天才发现当初的 zoning 记录没人留,所有路径信息只能重新梳理。现在每次装完机器,先把硬件配置快照记录下来,后续排障能省一大半时间。

这个验证习惯我已经坚持了好几年,最大感受是:小机不是越折腾越坏,而是越不记录越容易出问题。每一台 P740 交付时多花半小时,后面运维的日子会轻松得多,希望帮到你。

本文还有配套的精品资源,点击获取

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进