简介这是一份华为 FusionStorage V100R003C30 软件安装指南发布日期2016-01-30面向需要部署 FusionStorage 分布式存储的运维工程师、存储管理员与解决方案交付人员用于解决安装前准备、组件部署和存储接入虚拟化环境等实操问题。指南系统覆盖安装简介、安装前置检查、FSM 组件安装与配置、FSA 组件部署、可选 IB 网络配置及存储资源接入 FusionSphere 场景内容来自华为官方文档结构完整、步骤明确。资源为单个 PDF 文件压缩包仅 2.98MB轻量易用适合作为现场实施或方案学习的手册参考。目前已有 381 人学习作为官方交付物可直接对照目录查阅 FSM/FSA 组件的安装命令、配置要点和注意事项减少自行摸索时间尤其适合在 FusionSphere 服务器虚拟化场景中搭建分布式存储时作为标准参考。1. 把华为 FusionStorage 装明白一份 V100R003C30 安装指南值得怎么读华为 FusionStorage 的安装指南V100R003C30 对应的那版 PDF很多人拿到手的第一反应是翻目录然后直接懵掉同一套分布式存储软件官方给了五种安装场景从 FusionSphere 服务器虚拟化到 ServerSAN 物理部署光看目录就得花十分钟。我最初做存储交付时也在这上面吃过亏——照着服务器虚拟化场景的章节装完后换到 VMware vSphere 场景才发现还要多部署一个 CVM 组件白白返工了三天。这份指南解决的是分布式存储从节点到资源池的完整落地问题FSM 管理面、FSA 数据面、元数据分区、IB 网络、存储资源接入虚拟化环境每一步都对应具体章节。适合两类人一类是要把 FusionStorage 装进现有虚拟化平台的新手运维可以按场景从头跟到尾另一类是已经装过、想快速确认场景差异和排查思路的资深工程师重点看组件章节和附录里的踩坑记录这一版文档虽然发布得早但流程骨架放到今天依然能对齐大部分分布式存储交付场景。2. 先理清组件和场景再动手FSM、FSA、CVM 的分工与五种装法怎么选很多人安装失败不是操作步骤错了而是没搞清楚自己正在装的这个组件在整个系统里是干什么的。FusionStorage 是典型的分布式块存储整个安装流程都围绕“控制面先起、数据面后扩展”展开先把管理组件部署好再把存储节点一台一台加进去。所以动手之前必须先看懂组件关系和场景差异。2.1 FSM 与 FSA 的分工管理面与数据面为什么必须分开FSMFusionStorage Manager是管理面负责整个集群的配置、监控、告警和卷管理。安装时最先部署因为它要给后续的 FSA 下发存储池、卷和节点的配置。FSAFusionStorage Agent是数据面代理装在每一台存储节点上负责对接本地磁盘、参与数据复制和业务 IO 路径。两者角色不能互换也不能混装在同一台机器上否则管理面和数据面耦合后面做节点替换或者版本升级时非常痛苦。组件角色部署位置主要职责典型故障表现FSM控制面/管理面独立管理节点或专用虚拟机配置下发、监控告警、卷管理FSM 宕机时新增卷失败存量 IO 一般不受影响FSA数据面/代理每台存储节点磁盘管理、数据复制、IO 路径FSA 异常时该节点上的盘不可用集群开始修复数据CVM存储控制器VMware 虚拟化场景下的虚拟机在 vSphere 环境内提供存储接入能力CVM 异常时关联的卷路径抖动安装顺序上我一般会遵守一条硬规则先起 FSM再逐台加 FSA。原因很简单FSA 加入时需要向 FSM 注册节点信息和本地盘信息如果 FSM 还没就绪后面所有节点的状态都会是“未管理”到时候还得清掉重来比返工更麻烦。2.2 五种场景怎么选从必选组件到专属步骤这份安装指南把安装场景拆成了五条线每条线的流程主干一致差异集中在必选组件和最后接入环节。对照文档里的表 1-1五个场景可以这样理解场景说明必选组件FusionStorage 角色特有步骤FusionSphere 服务器虚拟化FusionCompute 做计算虚拟化整合物理服务器FusionCompute可选组件作为存储后端存储资源接入虚拟化环境FusionSphere 云数据中心基于 OpenStack 架构的云数据中心FusionCompute、OpenStack、OM可选组件提供给 OpenStack 存储后端配置为云平台存储后端FusionSphere NFV 场景面向网络功能虚拟化同样基于 OpenStack云平台相关组件可选组件供 NFV 业务消费接入服务器不单独装存储节点ServerSAN 场景配套 VMware vSphereFusionStorage 作为独立 ServerSAN 对外服务VMware vSphere 平台主角是核心存储部署 CVM 组件、接入服务器ServerSAN 场景物理部署不经过虚拟化物理服务器直接消费块存储无虚拟化依赖主角是核心存储先安装服务器操作系统再部署组件从这张表可以很清楚地看到选错场景的根本原因是没想清楚“谁来消费存储资源”。如果存储盘最终要给虚拟机用就落到前三个场景如果给物理主机用就落到物理部署场景。配套 VMware vSphere 的场景则要单独看因为它和 FusionSphere 体系无关多了一个 CVM 组件安装路径也是最特殊的。2.3 我的选型路径先看业务形态再看网络拓扑我拿到一个项目通常先问三个问题而不是先翻安装步骤。第一存储资源会被谁消费是虚拟化平台还是物理主机第二现有网络是万兆以太网还是 IB存储平面有没有独立规划第三存储节点要不要我从头装操作系统还是已经有现成系统可以直接装组件。这三个问题问完基本就能落到五条路线中的一条。常见的错选发生在两个地方一个是环境里已经跑着 VMware vSphere却照着 FusionSphere 服务器虚拟化场景去装漏掉了 CVM 组件另一个是在 NFV 环境里照搬云数据中心场景多配了 OpenStack OM结果安装工具在环境检查阶段就报错。选型这件事没有玄学只要记住一个原则虚拟化平台是谁就跟着谁的场景走没有虚拟化就走物理部署。网络拓扑决定了后面要不要碰 IB 配置这个判断越早做后面越省事。3. 完整走一遍安装流程FusionSphere 服务器虚拟化场景的实操路径这个场景最适合作为第一次安装的学习路径必选组件最少FusionStorage 只是可选组件不会和其他存储组件强耦合。先把这条路走通再看其他场景的差异就只是“找不同”了。3.1 安装准备与系统要求主机规划、软件包校验与网络划分安装前的核心动作有三个每一个都值得花时间做细。第一是主机规划确定哪台机器承载 FSM 管理面哪些机器作为存储节点管理 IP、业务 IP 和存储 IP 必须分开规划不能让业务流量去抢存储网络带宽。第二是软件包校验从镜像站或内部源拿到的 zip 包很多安装事故都源于包不完整这一版文档在附录里专门写了“校验软件包”不是走形式。第三是网络划分对接华为三层交换机时要提前和网络同事对齐哪些端口配成 access哪些端口走中继模式把管理网和存储网隔离开。# 以 zip 软件包为例安装前先做完整性校验 sha256sum FusionStorage_V100R003C30_*.zip check.txt sha256sum -c check.txt第一条命令把指定版本包的哈希值记录到 check.txt第二条命令回读校验。文件名的 V100R003C30 是版本号如果镜像站提供了官方哈希值直接和输出比对即可输出里出现 FAILED 或 MISMATCH就重新下载不要侥幸跳过这一步。系统版本方面这一版文档的场景说明里明确以 SUSE Linux 为基准安装前还要核对内核参数和主机名解析/etc/hosts 里主机名解析错位会导致 FSM 和 FSA 之间注册失败这是我在现场遇到频率最高的问题之一。安装前的检查清单我会做成一张表贴在交付文档里检查项具体要求检查方法主机名不能重复建议带角色前缀hostname时区集群内所有节点一致timedatectl / dateNTP必须配置否则日志时间错乱ntpq -p系统版本以文档系统要求为准cat /etc/os-release网络管理/存储/业务网段隔离ip addr show元数据分区预留独立小容量盘fdisk -l / lsblk3.2 部署 FSM 组件安装、配置与鉴权环境变量部署 FSM 是整个安装流程的第一步一般过程是在管理节点上启动安装工具选择“FusionSphere 服务器虚拟化场景”然后指定 FSM 的部署位置、管理 IP、时区和 NTP。配置时区这一点很容易被忽略文档附录里有一份完整的时区列表别图省事全选默认集群跨时区时告警时间对不上会让人排查到怀疑人生。配置完时区后要处理鉴权相关配置。这一版文档在附录里写了“配置环境变量进行鉴权”用途是让后续的命令行工具和告警上报能通过安全认证。安装完成后常见做法是把安装工具和 JDK 加入当前会话的 PATH再用工具自带的 profile 文件加载鉴权环境变量# 安装完成后把安装工具和 JDK 加入当前会话 PATH export PATH/opt/FusionStorage/bin:$PATH export JAVA_HOME/opt/FusionStorage/tool/jdk export LANGen_US.UTF-8第一条是让 fsm 和 fsa 相关命令在 PATH 里能被找到第二条是配置 Java 运行环境因为 FSM 的配置工具基于 Java 开发第三条是把语言环境固定为英文避免中英文环境下日志和命令输出格式不一致导致脚本解析出错。参数说明/opt/FusionStorage 是我这边标准交付的安装目录如果你自定义过路径先 source 安装包自带的 profile 文件再执行这些 export否则后面跑 CLI 会提示找不到命令。3.3 部署 FSA 组件存储节点、元数据分区与 IB 网络FSM 就绪后开始扩展数据面。这一步文档里给了三个可选动作安装存储节点、挂载元数据分区、配置 IB 网络。存储节点操作系统按文档要求装 SUSE Linux装完系统后先别急着加节点先把元数据分区准备好。FusionStorage 在每台存储节点上需要一小块本地分区来存放节点的元数据常见做法是从系统盘之外单独划一块小容量盘做分区并固定挂载目录。提示元数据分区的挂载一定要在 FSA 安装之前完成。节点接入后再补挂载FSM 可能识别不到这块分区最后表现为该节点一直处于“异常”状态只能从集群中移除重加。IB 网络配置是可选步骤但不是所有环境都会用到。没有 IB 交换机时用万兆以太网也能把集群跑起来只是高负载场景下时延会比 IB 高一截。配置 IB 时需要确认交换机端的子网管理器在运行再在节点上把对应的网卡配置为 IB 端口模式具体配置步骤文档里有独立章节照着做即可。3.4 配置 FusionStorage 并接入虚拟化环境FSA 节点全部加入后进入“配置 FusionStorage”环节。操作路径一般是这样通过界面登录 FSM在节点管理里确认所有存储节点状态为正常然后创建存储池。存储池的副本策略和条带化参数以版本向导里的默认值为基准不要看到什么选什么先看文档说明确认你买的特性License支持哪些能力再动配置。存储池创建完成后创建卷并映射给虚拟化环境。在 FusionSphere 服务器虚拟化场景里最后一步是“将存储资源接入虚拟化环境”登录 FusionCompute添加存储连接 FusionStorage之后在主机上扫描块设备就能看到新盘。这一步如果发现扫描不到卷优先检查管理网络和存储网络的路由是否打通而不是反复重启主机。4. 换场景时哪些步骤会变云数据中心、NFV、VMware vSphere 与物理部署的差异点把第一个场景走通后剩下四个场景就不需要从头读了核心任务是“找差异”。这份安装指南最有价值的地方就在于它把每个共性的步骤在五个场景里重复描述但真正不同的只有几个节点必选组件、存储节点安装方式、接入目标。4.1 云数据中心场景先有 OpenStack再把存储接进去云数据中心场景的必选组件从 FusionCompute 扩成了 FusionCompute、FusionSphere OpenStack 和 OpenStack OM。流程主体和服务器虚拟化场景基本一致差异集中在最后一步不是直接把卷挂给某台虚拟机而是把 FusionStorage 配置成 OpenStack 的存储后端让云平台通过存储服务接口消费块存储。这个场景我一般会提醒两点。第一网络规划阶段就要确认存储网络和 OpenStack 管理网络的路由是通的否则存储后端的健康检查会一直失败第二OM 组件的存在意味着这个环境还有独立的运维管理平面FSM 的管理 IP 要和 OM 的管理 IP 提前规划好避免两个管理面互相抢 IP 段。4.2 NFV 场景不装存储节点重点在接入服务器与元数据分区NFV 场景的流程里没有“安装存储节点”这个可选动作但有“挂载元数据分区”和“接入服务器”。原因很直接NFV 场景中计算节点和存储节点是合一的服务器本身就是存储资源池的一部分不需要单独部署存储节点。操作上的关键点有两个。一是元数据分区要在接入服务器之前完成挂载这个次序在 NFV 场景里尤其重要因为节点即存储接入后主机上的本地盘要直接被 FSM 识别二是 NFV 业务对网络规划更敏感管理网、存储网、业务网三张网如果共用网口高负载时延会直接反映到存储 IO 上。我一般会在接入服务器前先做一次节点间的网络时延测试时延超过预期就先调网络不急着往下走。4.3 ServerSAN VMware vSphereCVM 组件带来的差异这是所有场景里最特殊的一条线因为它是独立于 FusionSphere 体系存在的存储资源要接入的是 VMware vSphere。在这个场景里FusionStorage 是真正的主角官方在流程里引入了 CVM 组件它跑在 VMware 虚拟机里承担向 vSphere 环境提供存储接入能力的角色。这个场景还提供了一个额外的安装路径非模板方式安装。当 VMware 环境里模板功能不可用或者出于安全策略禁止使用模板时可以走这条路径。它的步骤比模板方式繁琐FSM 组件和 FSA 组件的部署顺序、鉴权配置、存储资源接入虚拟化环境的操作都要手动完成。我第一次遇到不能使用模板的环境时翻车了原因是按照前面场景的习惯直接找模板导入入口结果根本没这个选项后来才翻到附录里的非模板安装章节。4.4 物理部署场景先装操作系统再部署组件物理部署场景是所有场景里最纯粹的 ServerSAN 形态没有虚拟化层物理服务器直接消费块存储。它比虚拟化场景多了一个前置动作——安装服务器操作系统文档专门在正文和附录里分别写了“安装服务器操作系统”和“安装 SUSE Linux 操作系统”两个章节。这个场景没有虚拟化垫底安装过程的手工操作比重明显增大系统引导、阵列卡驱动、固件版本、启动模式都要自己处理。好处是 IO 路径短时延可控坏处是一切都要从裸机开始。如果存储节点数量大我一般会先在一台机器上把系统安装和驱动配置的 SOP 跑通再批量复制而不是逐台手工装。5. 安装避坑与常见问题五个翻车现场的现象、原因和处理思路安装指南本身很厚但真正让人长记性的是现场踩过的坑。下面这几条是我在这类分布式存储交付中反复遇到的每一条都按“现象、原因、解决”写清楚方便你在现场直接对照。5.1 现象安装工具环境检查报错提示“环境不满足”安装中止原因绝大多数情况是主机名解析、时区、系统版本三项中的一项失配。FusionStorage 对节点系统版本和主机名解析比较敏感尤其是 SUSE Linux 环境下 /etc/hosts 里有残留的旧主机名解析或者时区没有统一。解决先对照文档“系统要求”逐项核对重点检查 /etc/hosts、时区和系统版本主机名解析出错时把 FSM 和所有 FSA 节点的 /etc/hosts 统一成规划表格里的 IP 和主机名映射然后重启网络服务再重试安装工具。附录里专门有一节讲“如何处理使用工具安装 FusionStorage 失败”遇到这个报错时直接翻那一节按文档给出的顺序清理现场不要反复重试安装工具。5.2 现象挂载元数据分区时找不到设备或者挂载后重启节点设备号变了原因多盘服务器上盘符漂移是常态安装工具按照 sdX 的盘符去识别设备重启后盘符顺序变了分区就找不到了。解决不要依赖 sdX用磁盘的 WWN 或 UUID 来标识设备。分区完成后重新格式化再把挂载信息写进 /etc/fstab挂载项里使用 UUID 而不是 /dev/sdX 路径。我在现场的习惯是先把所有磁盘的 WWN 和盘符对应关系打印出来贴到交付文档里再动手分区这样就算重启漂移也能快速对上。5.3 现象IB 网络配置完成后存储节点状态长时间是 Down原因IB 网络配置后节点不被识别大概率是子网管理器没在运行。IB 网络需要子网管理器来维护子网信息交换机端或某个节点上必须有一台在跑节点才能完成链路初始化。解决确认 IB 交换机或指定节点上的 opensm 服务在运行如果服务没起手动启动并设为开机自启然后重启 IB 端口的网络服务再去 FSM 里看节点状态。配置 IB 时顺便检查一下端口速率是否一致两端速率不匹配也会导致链路反复初始化。注意不要在节点加入集群后再去折腾 IB 配置。先确认 IB 链路稳定再执行接入服务器的操作否则节点状态会在 Up 和 Down 之间反复横跳。5.4 现象校验软件包时输出 MISMATCH或者安装时提示 FSM 和 FSA 版本不一致原因下载软件包时网络中断产生截断包或者安装介质里混用了不同时间点的版本。FusionStorage 的管理面和数据面组件对版本一致性有要求FSM 和 FSA 版本差太多节点注册时就会报错。解决下载完成后用校验工具重新计算哈希和官方给出的校验值完全一致后再分发如果报版本不一致把 FSM 和 FSA 统一到同一基准版本不要只升级其中一个。这个版本在 2016 年发布算比较老的版本了但“先校验再安装”这条原则放到今天依然适用。5.5 现象物理部署场景里服务器从安装介质引导不起来原因物理部署场景要先装操作系统这一步最容易翻车的是启动模式不匹配和阵列卡驱动缺失。服务器默认可能是 UEFI 模式但安装介质里的引导方式不支持或者系统安装时识别不到阵列卡/HBA 上的磁盘。解决先确认固件启动模式和安装介质要求对齐再处理驱动常见做法是使用华为 SmartKit 工具提前把固件和阵列卡驱动刷到位特别是遇到 Avago/Broadcom 系列阵列卡时驱动不识别盘符是高频问题。驱动就绪后再从介质引导装系统批量部署时先在一台机器上验证完整流程再推广到其他节点。6. 把验收与日志定位固化成习惯安装前后的自检清单与排查顺序这一版安装指南的附录部分其实是被很多人忽略的宝库里面有校验软件包、登录 FusionStorage 界面、时区列表、配置环境变量进行鉴权、安装服务器操作系统等章节。我后来把附录的内容重新组织成了自己的安装前后自检清单每次做存储交付都强制走一遍。安装前固定动作就三个打开文档中的“校验软件包”章节把软件包的哈希算一遍打开“系统要求”逐项核对主机名、时区、系统版本和网络分段再打开“时区列表”把集群所有节点的时区统一。这三个动作做完安装工具的失败率基本能降一多半。安装后要看的依次是FSM 上的节点状态是否全部正常存储池是否创建成功卷能不能正常映射最后在消费存储的一侧做一次小的 IO 读写验证确认数据面真的通了而不是只在管理面看到节点 Up。日志定位也有固定顺序不能一上来就四处翻文件。我先看安装工具所在目录下的安装日志再按时间窗口过滤关键字# 安装失败时先按关键字过滤安装日志看最近的错误上下文 grep -iE error|fail|exception /tmp/*fusionstorage*install*.log 2/dev/null | tail -80这条命令把安装日志里的错误关键字过滤出来tail 限制只看最近的 80 条避免被早期的大量 INFO 日志淹没。如果这里没有线索再去看 FSM 和 FSA 节点上的系统日志最后才去看硬件侧的告警。顺序反了很容易被硬件告警误导在无关问题上耗掉一下午。从那以后我每次做分布式存储交付都强制走一遍“组件梳理 → 场景选型 → 网络规划 → 软件包校验 → 安装 → 自检 → 日志定位”的完整闭环再急的单子也不跳过校验步骤。这份 V100R003C30 的安装指南虽然版本偏旧版本号本身也已经是过去式但它的流程骨架、场景划分和排错思路一直能用入行晚的同事拿它当索引老手拿它当清单希望帮到你。本文还有配套的精品资源点击获取