简介:《FusionCompute实验手册1》是华为HCIP-Cloud Computing V4.0认证培训中FusionCompute部分的实验指导材料,面向备考该认证的学员,以及希望系统掌握华为服务器虚拟化平台日常运营与运维的技术人员。内容按7个实验、四大模块组织:从KVM嵌套环境下安装CNA到部署VRM,理解FusionCompute基础架构;再练习计算、存储、网络三类虚拟资源管理,体会计算虚拟化、存储虚拟化与网络虚拟化的资源调度优势;随后进入虚拟机发放与管理,涵盖虚拟机创建、Tools安装、模板封装、快照、规格调整、HA、热迁移、安全组和规则组等操作;最后通过用户管理、管理数据备份与时间管理熟悉日常运维。资源包共1个docx文件,约10.53MB,内容集中、便于按实验查阅。已有227人学习,适合用作搭建实验环境、复盘操作流程和查漏补缺的参考。
1. 从 KVM 嵌套起步:FusionCompute 6.5.0 装之前先想清楚三件事
在 KVM 里嵌套装一套 FusionCompute 6.5.0,最先劝退人的,往往不是安装向导有多长,而是 CNA 引导到分区那一步就黑屏重启。CPU 没做透传,前面镜像下载、网段规划、虚拟机创建全部变成白工。这套环境在虚拟化与桌面云方向的认证实验里出现频率极高,V4.0 的实验手册把 7 个实验压在四大部分里,从 CNA、VRM 安装一路排到虚拟机发放、存储网络接入和日常运维,几乎每个动手环节都要求一个能正常登录的管理面。装不好会怎样?CNA 起来了 VRM 部署卡在进度条,或者存储接口没绑对,扫描设备永远扫不出盘。这篇按我自己的落地顺序写,适合第一次搭 FusionCompute 实验环境、手上只有两台机器甚至只有一台物理机做嵌套的人。
2. 实验环境先落地:嵌套虚拟化、网段规划与安装介质
动手之前,需要先把“能不能装”和“装完能不能通”这件事想清楚。这套实验的设计前提是两台硬件服务器跑 CNA,VRM 独立部署,管理和存储分两个网段;如果是在一台物理机上做嵌套,这两台“服务器”就是你创建出来的两台虚拟机,物理机只是宿主机。我见过最常见的返工,是虚拟机建好、ISO 挂上、装到一半发现 CPU 不带 VMX,或者管理网和存储网全塞进一个网段,最后 VRM 能登录但主机加不上。下面三块内容建议在创建第一台虚拟机之前全部确认完。
2.1 嵌套环境里 CPU 透传不开,CNA 装到一半就会黑屏
FusionCompute 的 CNA 本身就是一层虚拟化系统,它对 VT-x 或 AMD-V 有硬性依赖。在物理机的 KVM 上再跑一层 CNA,属于二级嵌套,宿主机的 KVM 模块必须显式打开嵌套支持,否则客户机里看不到硬件虚拟化标志。先查宿主机参数,输出为 N 就是没开。
# 查 Intel 平台嵌套开关,输出 Y 表示已开启 cat /sys/module/kvm_intel/parameters/nested # 现场临时打开,重启后失效 sudo modprobe -r kvm_intel sudo modprobe kvm_intel nested=1 cat /sys/module/kvm_intel/parameters/nested # 永久生效,写进模块配置 echo "options kvm_intel nested=1" | sudo tee /etc/modprobe.d/kvm.conf第一条命令是判断依据,Y表示宿主机允许把虚拟化能力继续向下传递;N时后面两步才需要做。modprobe -r会卸载模块,执行前要确认宿主机上没有正在运行的 KVM 虚拟机,否则卸载会失败。写/etc/modprobe.d/kvm.conf是为了重启后依然生效,避免下次开机又回到 N。
模块开了还不够,虚拟机的 CPU 模式也得配合。默认的host-model有时会把 vmx 特性过滤掉,我一般直接改成host-passthrough,再显式要求 vmx。改 XML 比在图形化工具里点选项可靠得多。
<!-- 虚拟机 XML 中的 CPU 配置片段 --> <cpu mode='host-passthrough' check='none' migratable='off'> <!-- 强制把 vmx 特性透传给客户机,CNA 才能起得来 --> <feature policy='require' name='vmx'/> </cpu>mode='host-passthrough'表示客户机 CPU 直接对齐宿主机型号,牺牲的是跨宿主机的迁移能力,实验环境完全不需要考虑这一点。feature policy='require'是硬性要求,宿主机若不支持会直接报错而不是静默降级,这正好帮你提前发现问题。migratable='off'是为了让透传更彻底,避免 libvirt 为了迁移兼容性裁剪指令集。
磁盘和内存按 CNA 的角色给,别抠。我一般给每台 CNA 8 vCPU、16 GB 内存,系统盘 120 GB,再挂一块 200 GB 的数据盘留给后面做存储实验。VRM 那台给 4 vCPU、8 GB 就够。磁盘用 qcow2 方便打快照,做坏了直接回滚,这就是实验环境最便宜的后悔药。
# 预分配两块盘,qcow2 格式便于快照回滚 qemu-img create -f qcow2 /var/lib/libvirt/images/cna01.qcow2 120G qemu-img create -f qcow2 /var/lib/libvirt/images/cna01-data.qcow2 200G-f qcow2指定格式,不写会按 raw 创建,占满实际空间且没法做快照。文件路径按你宿主机的存储池来改,两块盘分别对应系统盘和数据盘,命名上带主机名,后面挂错盘的概率会低很多。
2.2 管理与存储分网段,IP 一次规划到底
实验拓扑里管理网是 192.168.201.0/24,存储网是 192.168.202.0/24,存储走 VLAN 202。这个划分不是形式主义:管理网跑 CNA 与 VRM 之间的心跳、Web 登录、虚拟机管理流量,存储网跑 iSCSI 数据,混在一起最典型的后果是虚拟机一开机管理面就转圈,或者存储扫描超时。地址规划建议在表格里一次定死,后面每个界面照着填,别临场发挥。
| 网元 | 管理 IP | 存储 IP | 所属 VLAN | 说明 |
|---|---|---|---|---|
| CNA01 | 192.168.201.101 | 192.168.202.101 | 管理 201 / 存储 202 | 第一台计算节点 |
| CNA02 | 192.168.201.102 | 192.168.202.102 | 管理 201 / 存储 202 | 第二台计算节点 |
| VRM | 192.168.201.100 | 192.168.202.100 | 管理 201 / 存储 202 | 管理面,独立部署 |
| 网关 | 192.168.201.1 | — | — | 管理网默认网关 |
| 存储设备 | — | 192.168.202.10 | 存储 202 | IP-SAN 目标端,端口 3260 |
规划时有两个细节容易被忽略。第一,VRM 的地址要在安装 CNA 之前就留出来,因为 VRM 部署向导里要填,填错只能在管理面里改,中间还得重启服务。第二,存储网的地址段不要和宿主机上已有的网桥冲突,嵌套环境里宿主机往往已经占了 192.168.122.0/24 这类默认网段,撞上之后现象是 CNA 能 ping 通自己但 ping 不通存储,排查起来非常玄学。
2.3 安装介质与客户端工具,缺一样都会卡在中途
实验手册里列出的软件清单不长,但每一样都有明确用途,提前下齐比装到一半再找要省事。
| 文件 / 工具 | 用途 | 备注 |
|---|---|---|
| FusionCompute 6.5.0_Installer.zip | CNA 安装镜像来源 | 引导安装 CNA 用 |
| FusionCompute 6.5.0_VRM.zip | VRM 软件包 | VRM 部署阶段使用 |
| CentOS-7-x86_64-DVD-1810.iso | 实验用 Linux 虚拟机镜像 | 后面发虚拟机、装 Tools 用 |
| Windows 10 专业版镜像 | 实验用 Windows 虚拟机镜像 | 模板制作场景 |
| Putty | SSH 登录 CNA 与 Linux 虚拟机 | 命令行排查主力 |
| WinSCP | 文件上传下载 | 传 ISO、导模板 |
| VNC Viewer | 连 KVM 虚拟机的控制台 | 图形界面操作时用 |
介质版本建议和手册保持一致,6.5.0 这套组合里的 CNA、VRM、Tools 是配套的,混用不同小版本的 VRM 包,部署向导可能直接拒绝或者装完管理面打不开。另外宿主机上要留足空间,两个 CNA 加一个 VRM,系统盘加油漆盘算下来至少 700 GB 起步,空间不够会在安装中途报写入失败,而这个报错通常只给一行,很容易误判成镜像损坏。
3. 安装 CNA:从 ISO 引导到两台节点 SSH 可达
CNA 的安装过程本身不难,难的是几个界面一旦选错,后面要么起不来要么加不进集群。这一章按单台节点的完整安装走一遍,再说明第二台怎么装才不撞车,最后用 SSH 确认底层真的通了再往下走。
3.1 引导之后的几个界面,值得停下来多看两眼
把 Installer 里的 CNA 镜像挂到虚拟机光驱,设置从光驱引导,进入安装向导后大致会经历语言与时区、磁盘选择、网络配置、密码设置这几步。每一步的具体选项在不同小版本里措辞略有差异,但需要你决策的点是固定的。
- 语言与键盘:选英文或简体中文都行,键盘默认 US,选错后面输密码会出现字符对不上的情况。
- 时区:选 Asia/Shanghai,时间不对会导致后面 VRM 与 CNA 心跳异常,这类问题排查成本极高。
- 安装磁盘:选那块 120 GB 的系统盘,别选到数据盘,选错只能重装。
- 管理网口:选规划中对应管理网的那块网卡,通常就是第一块。
- 管理 IP、掩码、网关:按 2.2 的表格填,CNA01 是 192.168.201.101,网关 192.168.201.1。
- 主机名:CNA01,两台节点必须不同。
- root 密码:记牢,后面加主机、SSH 排查全靠它。
有一点要提前说明:安装向导里只配管理网,存储网是在 CNA 装好、进入管理面之后通过“存储接口”配的,别在安装阶段找存储 IP 的输入框,找不到是正常的。我第一次装的时候就因为在向导里反复翻页找存储配置,白白重装了一遍。
安装完成后系统会自动重启,此时拔掉 ISO 或改回硬盘引导,否则会又进一遍安装程序。重启后如果看到登录提示符,说明 CNA 本体装完了,接下来验证网络。
3.2 第二台 CNA 怎么装才不撞车
第二台的流程和第一台完全一样,但有三处必须改,否则加集群时会失败或者出现更隐蔽的问题。
第一处是主机名,两台都叫 localhost 或 CNA01,VRM 添加主机时会提示名称冲突,有些版本干脆加不上。第二处是管理 IP,这个不用说。第三处是 iSCSI 启动器名称,CNA 默认生成的 IQN 里带有节点标识,如果两台机器是从同一块盘克隆出来的,IQN 可能一模一样,现象是存储侧只能看到一个发起端,另一台永远扫不到盘。这个问题在后面第 5 章还会展开。
如果为了省时间用克隆的方式做第二台,克隆完务必进系统改主机名和 IP,并重新生成机器标识。我一般的做法是不克隆,直接按向导再装一遍,多花二十分钟,省掉后面一堆“为什么只有一台能连存储”的排查。
3.3 用 SSH 和 ping 先把底层确认掉
两台 CNA 装完,先别急着开浏览器。从一台跳板机(可以是宿主机,也可以是实验用的 Windows 虚拟机)确认管理面可达,再 SSH 进去看几个关键信息。
# 从跳板机确认两台 CNA 管理面可达 ping -c 4 192.168.201.101 ping -c 4 192.168.201.102 # SSH 登录第一台,首次连接要确认指纹 ssh root@192.168.201.101 # 登录后核对主机名和网卡地址 cat /etc/hostname ip addr show | grep -E "inet |state UP" # 看系统盘与数据盘是否都识别到了 lsblk df -hping -c 4只发四个包,快速判断链路和 ARP 是否正常,通不了先查虚拟机的网卡是不是桥到了正确的网桥。ip addr show用来确认管理 IP 真的落在预期网卡上,嵌套环境里经常出现网卡顺序变化,向导里选了 eth0,结果 IP 落到 eth1。lsblk是看数据盘有没有被识别,如果只看到系统盘,说明虚拟机挂的第二块盘没生效,需要回去检查磁盘配置。
这几步都通了,再打开浏览器访问https://192.168.201.101:8443,能看到 CNA 的登录页就说明安装阶段结束。浏览器提示证书不受信任是正常的,实验环境直接继续访问即可。
4. 部署 VRM 并接入存储与网络:让资源池真正可用
CNA 只是计算节点,没有 VRM 就没有统一管理面,也没法建集群、加主机。这一章把 VRM 部署、集群纳管、存储接口和分布式交换机一次串完,顺序不要打乱,先有管理面才能配后面的东西。
4.1 VRM 部署向导里三个必须一次填对的项
VRM 的部署入口在 CNA 的 Web 界面里,用浏览器登录https://192.168.201.101:8443,找到 VRM 部署相关入口,按向导走。整个向导里真正需要停下来想的是三项。
第一项是 VRM 的管理 IP、掩码和网关,填 192.168.201.100 / 255.255.255.0 / 192.168.201.1。这个地址一旦填错,VRM 装完你连不上管理面,只能在 CNA 上重装 VRM。
第二项是 VRM 部署在哪台 CNA 上,选 CNA01。VRM 是以虚拟机的形式跑在 CNA 上的,后面 CNA01 重启会带着 VRM 一起重启,实验阶段无所谓,生产上不会这么干。
第三项是 VRM 的系统盘大小和 root 密码。系统盘给 120 GB 足够,密码单独记一份,它和 CNA 的 root 密码不是一回事,我见过不止一个人拿 CNA 密码去登 VRM,登到怀疑人生。
向导跑完会提示部署成功,此时用浏览器访问https://192.168.201.100:8443,能看到 FusionCompute 的登录页。首次登录用默认管理员账号,登录后立刻改密码,这一步别省,后面所有实验都用这个账号。
4.2 建集群、加主机,确认状态是“正常”
登录管理面之后的第一件事不是发虚拟机,而是把两台 CNA 纳管进来。流程是:创建集群,给集群起个名字(比如 Cluster01),然后在集群下添加主机,填入 CNA01 的 192.168.201.101 和 root 密码,再加 CNA02。
添加完成后不要只看“添加成功”的提示,要回到主机列表看状态列。状态显示“正常”才算真正接入,显示“离线”或者一直转圈,八成是管理网不通或者密码错。这一步如果卡住,先回到 3.3 用 SSH 确认 CNA 本身没问题,再检查 VRM 到 CNA 的 8443 端口是否可达。
集群建好之后可以顺手看一眼集群策略,HA 和电源管理这些默认开着就行。实验里后面要做主机故障模拟和热迁移,HA 打开是前提,现在不勾,做到那一节还得回来补。
4.3 iSCSI 启动器号、端口绑定与 IP-SAN 添加
存储这块是整套环境里最容易翻车的部分,因为它同时依赖三样东西:存储网的连通性、iSCSI 启动器的唯一性、存储接口的绑定关系。顺序上我一般这么走。
先配存储接口。在管理面找到对应 CNA 的存储接口配置,添加一个存储接口,IP 填 192.168.202.101,对应 CNA01;CNA02 填 192.168.202.102。这一步相当于告诉 CNA“存储流量从哪个口走”。
再改 iSCSI 启动器名称。两台 CNA 必须不同,命名上带节点标识最直观。
| 节点 | iSCSI 启动器名称(示例) | 存储接口 IP |
|---|---|---|
| CNA01 | iqn.2024-01.local.cna:cna01 | 192.168.202.101 |
| CNA02 | iqn.2024-01.local.cna:cna02 | 192.168.202.102 |
名称格式只要符合 IQN 规范、全局唯一即可,重点是两台不能重复。改完之后在存储设备侧刷新发起端列表,应该能看到两个不同的名称。
然后配端口绑定。如果 CNA 上的存储网口做了绑定,要在管理面里把存储接口和绑定后的逻辑口对应上,绑错的现象是接口显示正常但流量走不出去。绑定关系确认后,从 CNA 上直接验证存储网连通性。
# 登录 CNA01,验证存储平面到存储设备的连通 ssh root@192.168.201.101 ping -c 4 192.168.202.10 # 确认 iSCSI 服务在监听 3260 ss -lntp | grep 3260 # 查看当前的 iSCSI 会话,添加存储后应该能看到目标端 iscsiadm -m sessionping这一步不通,后面的扫描一定失败,先查存储接口 IP 和 VLAN。ss -lntp | grep 3260是确认本端 iSCSI 服务正常监听,端口没起来说明服务异常。iscsiadm -m session用来验证会话是否建立,添加存储资源并扫描成功后这里会多出一条目标端记录,这是最直接的证据。
最后回到管理面添加存储资源,类型选 IP-SAN,填存储设备的 192.168.202.10 和端口 3260,然后扫描存储设备。扫描出来的 LUN 添加到数据存储,命名成 Datastore01 之类,后面发虚拟机才有地方放磁盘。
4.4 分布式交换机、上行链路与 VLAN 池
网络资源的配置顺序是:创建分布式交换机,把主机加进去,添加上行链路,划 VLAN 池,最后建端口组。这个顺序颠倒会出各种奇怪的问题,比如先建端口组再添上行链路,端口组状态一直不对。
创建分布式交换机时给个名字,比如 DVS01,然后把 CNA01 和 CNA02 都添加进来。上行链路选物理网口,管理网和存储网对应的网口分别绑上去。VLAN 池按规划加 201 和 202,如果实验里还要给虚拟机划业务 VLAN,也在这里一起加。
端口组按用途建,管理口组、存储口组、业务口组各一个,VLAN ID 对应填好。建完之后在虚拟机的网络配置里就能选到这些端口组,发虚拟机的时候选业务口组,虚拟机之间才能按 VLAN 隔离。
5. 装这套环境最容易翻车的五个地方
这一章是我自己踩过、也见过别人踩的五条记录,按“现象、原因、解决”写。每条都对应前面某个步骤,做完前面再回头看会更有感觉。
5.1 CNA 装完浏览器打不开 8443
现象:SSH 能登进去,ping也通,但浏览器访问https://192.168.201.101:8443一直转圈或者直接连接被拒。
原因:多数是浏览器对自签名证书的处理策略变了,或者本机防火墙拦了出站,少数情况是 CNA 的 Web 服务没起来。
解决:先换一个浏览器或者用隐私窗口试,排除缓存和证书策略;再从跳板机用curl -k https://192.168.201.101:8443看是否有响应,有响应就是浏览器问题,没响应就 SSH 进去查服务状态并重启相关服务。嵌套环境里还要确认虚拟机的网卡桥接在能通 192.168.201.0/24 的网桥上。
5.2 VRM 部署卡在进度条不动
现象:VRM 部署向导走到一半,进度条长时间停在某个百分比,最后提示失败。
原因:常见的是 CNA 与宿主机的时钟偏差过大,或者部署过程中管理网出现短暂中断。
解决:先把两台 CNA 和宿主机的时间对齐,再重新部署。重装之前把上一次失败的 VRM 残留清掉,否则可能提示地址被占用。部署期间不要动虚拟机的网络配置,也不要在宿主机上做重负载操作。
5.3 扫描存储设备什么都扫不出来
现象:IP-SAN 添加完成,点扫描,列表是空的,日志里也没有明显报错。
原因:三种可能,iSCSI 启动器名称两台重复、存储网不通、存储设备侧没放行新发起端。
解决:按 4.3 的顺序倒查。先ping存储设备确认网络,再核对两台 CNA 的 IQN 是否不同,最后去存储设备侧刷新发起端白名单。三步里任何一步没过,扫描都不会有结果。
5.4 主机加进集群后状态一直是离线
现象:添加主机时提示成功,但列表里状态显示离线,点进去也看不到详细信息。
原因:VRM 到 CNA 的 8443 端口不通,或者添加时填的 root 密码有误。
解决:从 VRM 所在节点(本质是 CNA01 上的虚拟机)去curlCNA 的管理地址,确认端口可达;密码错就删掉主机重新添加,别在离线状态上反复点“刷新”,刷不出结果。
5.5 虚拟机创建成功但起不来
现象:按模板发了一台虚拟机,任务显示成功,但电源打不开,或者开了立刻关机。
原因:集群资源不足、镜像文件路径不可达、虚拟机网卡选的端口组不存在。
解决:先看集群剩余内存和存储容量,再看虚拟机的磁盘所在数据存储是否正常,最后核对网卡绑定的端口组。嵌套环境里还有一种情况是 CPU 特性没透传,虚拟机一开就报指令集错误,回到 2.1 检查 CPU 配置即可。
6. 装完怎么验证:发一台虚拟机、装 Tools、跑一次热迁移
环境装完不能只看管理面能登录就算完,真正能证明这套 FusionCompute 跑通的是三件事:能发虚拟机、能装 Tools、能热迁移。我一般按这个顺序验证,每一步都有明确的观察点。
第一步,从 CentOS 模板发一台虚拟机。选业务端口组,磁盘放 Datastore01,规格 2 vCPU / 4 GB。任务完成后不要只看“成功”,进虚拟机控制台确认能引导到登录界面,这一步验证的是计算、存储、网络三条链路同时正常。
第二步,装 Tools。挂载 Tools 镜像到虚拟机的光驱,进系统挂载光驱并执行安装脚本。装完重启,管理面里虚拟机的 Tools 状态应该从“未安装”变成“已运行”。这个状态是判断 Tools 装没装好的唯一标准,别只看脚本有没有跑完。
| 验证项 | 操作 | 通过标准 |
|---|---|---|
| 虚拟机发放 | 从模板部署一台 CentOS 虚拟机 | 能引导到登录界面 |
| Tools 安装 | 挂载 Tools 镜像并安装后重启 | 管理面状态显示“已运行” |
| 快照 | 对虚拟机打一个快照并恢复 | 恢复后系统正常启动 |
| 热迁移 | 把运行中的虚拟机从 CNA01 迁到 CNA02 | 迁移完成,业务不中断 |
| HA | 模拟一台 CNA 宕机 | 虚拟机在另一台自动拉起 |
第三步,打快照再恢复。快照能打能恢复,说明存储侧的读写和元数据都正常,这一步在实验里经常被跳过,但它是后面做模板封装和回滚的基础。
第四步,热迁移。虚拟机保持开机,从 CNA01 迁到 CNA02,观察迁移任务和虚拟机内部是否有明显中断。迁移失败最常见的原因是两台主机的 CPU 特性不一致,嵌套环境里尤其明显,如果迁不过去,回到 2.1 把两台虚拟机的 CPU 配置改成完全一致再试。
这套验证跑完,实验手册里第一部分的安装目标就算真正达成了,后面计算资源、存储资源、虚拟机管理那些实验才有稳定的底座。
从那以后我每次搭这套环境,都会在装 CNA 之前先把嵌套开关和 IP 规划表过一遍,哪怕时间再紧也不跳过,因为这两步省下来的十分钟,通常要用两个小时去排查。希望帮到你。
本文还有配套的精品资源,点击获取