简介:面向存储管理员、运维工程师及项目交付人员的NetApp FAS8300安装手册,系统覆盖设备初始化、集群创建、aggr/卷/LUN配置,以及NFS、CIFS、SAN环境搭建的核心流程。资源为1个PDF文档,压缩包仅551KB,以安装实施报告的形式组织,包含设备配置信息表、节点1创建集群与节点2加入集群、HA与SP远程控制、SVM创建、网络接口及路由配置、卷与LUN划分、NFS/CIFS访问设置、SAN主机组映射等完整章节,目录结构清晰,便于按步骤对照操作或截取作为验收交付文档。手册对集群管理IP、SP地址、聚合端口等关键项给出明确示例,可在现场部署时快速定位配置断点,减少初始化与多协议配置中的常见疏漏。目前已有36人学习下载,适合需要独立完成FAS8300开局实施、配置复盘或编写存储验收报告的技术人员参考。
1. NetApp FAS8300存储安装:难点不在拧螺丝,在开局参数一次定死
FAS8300到手,机柜里给它留好两个U的高度,旁边SAS盘柜推到位,剩下的事情就都是“软”的了——串口初始化、建聚合、起NAS或SAN。可真把一台NetApp FAS8300存储完整装起来,你会发现最难的不是拧螺丝和插网线,而是把集群名、管理IP、RAID策略、热备盘数量这些开局参数一次想清楚,后面再改的成本往往比重新初始化还高。这篇按硬件上架、ONTAP初始化、聚合与NAS、SAN配置、验收排障的顺序写,适合第一次独立开NetApp的存储运维和交付工程师照着做,也适合老手对一遍自己的开局习惯。
2. 硬件上架与线缆规划:端口布局和盘柜接线决定排障效率
硬件安装是最快的一步,但最不适合随手做。搞过NetApp开局的人都有体会:后续排障里大部分折腾人的事,根子都出在上架时线缆规划没做。FAS8300是2U双控制器机头,后面跟着SAS盘柜,线缆无非三类:管理、数据、存储(盘柜到机头)。把这三类线分清楚、标签贴好,这台机器就成功了一半。
2.1 上架前的机房体检:承重、深度、电源和散热怎么查
存储设备不像交换机那样耳朵一挂就完事。FAS8300机头是2U,盘柜装满硬盘后整体重心靠后,两个人配合从机柜后方把导轨推进去是最稳的装法。装之前先确认三件事:机柜立柱是方孔还是圆孔,导轨适配哪种;机柜深度够不够,太浅的柜子装完导轨后机头会顶住后门;机柜的固定脚有没有落地,别让整柜重量压在轮子上。
电源这块最容易翻车。FAS8300是双电源模块,两个模块必须分别接在不同PDU上,否则一路PDU跳闸,整台存储直接断电,HA都来不及切。设备随附的电源线插头可能是大电流规格,上架前先看PDU上的接口够不够、匹配不匹配,别等通电时才发现插头插不上。散热方面,整机是前进风后出风,机柜前后门不能都锁死,周边别紧贴一排发热设备,否则夏天空调回风温度压不住,盘柜寿命和可靠性都会打折。
2.2 盘柜与机头的SAS接线:先画映射表再插线
FAS8300后面的盘柜,常见的都是DS系列的SAS盘柜,每个盘柜两个SAS端口(A和B)。正确接法是控制器A连到所有盘柜的A口,控制器B连到所有盘柜的B口。这样任何一条SAS链断掉,盘柜还能从另一条链继续工作,不至于因为维护时碰掉一根线导致整柜盘离线。双链冗余是硬件层面对高可用最基本的保障,不是可选项。
动手插线之前,先在一张纸上画好映射表:机柜位置、盘柜编号、端口A/B、连接到哪个控制器的哪个端口。我给线缆贴标签的格式一般是R02-盘柜1-PA-TO-CTL-A,后面每次拔线、换盘柜,全靠这个标签定位。SAS线头有卡扣,插到位会“咔”一声,插不进去别使蛮力,检查防呆方向。最玄学的故障是“线看着插着但盘柜时断时连”,多半就是卡扣没入位,震动后松动导致的。
2.3 管理、数据、HA三类网线怎么接:别把性能问题留给后面的自己
FAS8300的以太网口分三类用途。管理口e0M专门接管理交换机,不要混进业务VLAN。管理面一旦和业务面隔离,后面集群升级、抓日志、配置备份都不受业务链路抖动影响,这个习惯能省下大量排障时间。数据口(板载10GbE或扩展卡上的端口)接业务交换机,如果跑NFS/SMB这类NAS协议,建议配巨型帧MTU 9000,但存储端口和对端交换机端口必须一起开,单边开MTU会造成“网络明明通但大包传不动”的慢病。
HA互联是两个控制器之间用专用线直连,不经过交换机。这是双控热备的命脉,插线时注意对照控制器上的HA端口标识,别把HA线和普通数据口搞混。上架前最好填一张端口规划表,把用途、端口名、VLAN、IP、MTU写成一张表,照着插,插完照着验。常见错误是图省事把管理IP和数据IP划到同一个网段,开局一两个月没事,业务流量一大,管理面响应就开始飘,那时候再改网络规划,比现在多花好几倍力气。
3. 串口初始化ONTAP:从Boot Menu到集群创建的完整流程
硬件接好,上电,接下来才是真正意义上的“安装”。FAS8300出厂时一般已经预装ONTAP系统,所谓安装到这一步其实是开局配置。我用笔记本串口连控制器,系统引导后会把“集群名、节点名、管理IP”这些一次性问完。回答错可以回头重设,但后面在CLI里改要花的时间多不少,所以这一步值得静下心来慢慢填。
3.1 第一次上电:串口连接、引导日志和Boot Menu
准备一根USB转串口线,装好驱动,终端软件串口参数设为115200、8N1、无流控。上电顺序有讲究:先给盘柜上电,等一两分钟让磁盘起转、盘柜状态灯稳定,再给FAS8300机头上电。这样控制器引导时能稳定扫到所有盘柜,避免识别列表里少一个shelf。
上电后引导日志会滚过内存自检、板载设备枚举、盘柜扫描、HA握手。如果机器是刚从别人手里接过来的旧设备,不要急着做初始化。先进Boot Menu确认配置是否有人用过、有没有残留数据。Boot Menu出现时按Ctrl-C可以进去,里面提供了正常引导、进入维护模式、从备用镜像引导等选项。新机器正常走引导流程,直接进入交互式配置;二手设备先进维护模式看一眼现状,永远比直接“恢复出厂”安全。
3.2 交互式初始化:集群名、节点名和管理IP一次填对
引导结束后,串口上的配置向导会依次询问:是否创建新集群、集群名、节点名、节点管理IP和掩码、默认网关、是否自动创建SVM、集群管理IP等。全程没有图形界面,两个控制器分别回答。给命名规范一个建议:集群名短一点、不带空格,节点名用-01、-02区分,比如fas8300-01和fas8300-02,SVM名称按服务用途叫svm_nas、svm_san,以后看配置一眼就能认出来。
管理IP至少要规划三个:一个集群管理IP,两个节点管理IP。这些IP放在独立管理网段,不要和业务地址混在一起。初始化完成后,串口提示符会变成集群级的::>,说明HA组已经建立,两个控制器握手成功。如果中途填错,在CLI里直接敲cluster setup可以重新进入配置向导;彻底乱了就回Boot Menu做恢复出厂再重走一遍,但这会清空已有配置,手上有数据时千万别这么干。
3.3 初始化后的自检:cluster show和sysconfig -a要看哪几行
初始化完成后,不要急着建卷。先用三条命令做一次硬件与集群自检。
cluster show node show system node run -node fas8300-01 sysconfig -a逻辑说明:cluster show看集群整体Health是否为OK,两个节点是否都在线;node show确认每个节点的HA角色和运行状态有没有异常。system node run -node fas8300-01 sysconfig -a是经典的硬件巡检命令,在ONTAP的CLI里仍然好用,能看到机器型号、序列号、内存大小、板载端口列表、识别到的盘柜数量和磁盘数量。
参数说明:-node后面接具体节点名,两个节点要分别跑一遍。sysconfig输出的那一长串端口列表就是这台机器的物理端口布局,把e0c、e0d这类端口名记下来,后面创建数据LIF时要引用它们。如果这里发现的盘柜数量和实际接的不一致,先别继续,回头查SAS线和盘柜上电状态,比装到一半再排查省事得多。
提示:开局阶段AutoSupport默认是打开的,频繁改动会向NetApp后台发送事件通知。介意的话可以等正式交付前再确认AutoSupport的收件策略,避免开局调试阶段产生大量无效工单。
4. 建聚合和NAS共享:RAID-DP、热备盘与junction path一次到位
初始化完,存储还是空的。下一步是把物理硬盘组成聚合(Aggregate),再在聚合上切卷。这步是整台设备价值兑现的开始,也是开局参数定死的关键:聚合的RAID策略后期改不动,卷的路径和协议反倒可以随时调整。
4.1 聚合创建的磁盘规划:RAID-DP为什么是默认,盘数怎么留
聚合的本质是把一组物理盘组织成一个RAID组,上层卷都从这个“池子”里分空间。ONTAP默认推荐RAID-DP,也就是双奇偶校验,最多能同时容忍两颗盘故障,在重建窗口内再坏一块盘也不丢数据。要求更高的场景可以选RAID-TEC,三校验,但可用容量会进一步降低。RAID0不建议在生产上用,除非你明确知道自己在干什么——存的是可重建的缓存类数据。
磁盘数量怎么留:聚合用掉绝大部分盘,至少留下两块在spare池里做热备盘。热备的作用是某块盘fail后,系统自动用spare盘开始重建,不用等人工半夜跑到机房换盘。全量存储大小规划一般按业务年增量乘以留存周期来估算,不建议开局就把所有盘都塞进聚合——聚合建满、spare为0,是这个行业最常见的翻车开局。
storage aggregate create -aggregate aggr1_ds460c -node fas8300-01 -disk-count 22 -raidtype raid_dp storage aggregate show逻辑说明:这条命令从可用盘池里取22块盘,在fas8300-01节点上创建一个名为aggr1_ds460c的聚合,其余可用盘自动留在spare池。聚合名字用“节点+盘柜类型”命名,后期多个聚合时不会看懵。双控环境每个控制器各建一个聚合,别把所有盘都挂到一台控制器名下,否则HA切换时另一台控制器没有本地聚合可用,性能会受影响。
参数说明:-disk-count指定加入聚合的盘数,对应一个24盘位盘柜就是22块用盘加2块热备;-raidtype raid_dp是默认策略,也可以显式写出来防止别人误解;-disktype不需要手动指定,系统会根据盘的类型自动识别。创建完用storage aggregate show确认状态是online,并留意spare盘数量。
提示:RAID策略只能在创建时确定。后期从raid0改raid_dp需要把数据迁到新聚合,基本等于重组一次。血泪经验是开局图省事选了最少校验,半年后业务数据上来想加固,只能在维护窗口做迁移。
4.2 创建SVM和NFS共享:从junction path到export policy
在ONTAP里卷不直接暴露给客户端,必须先建SVM(存储虚拟机),卷挂到SVM的命名空间下,客户端再通过网络访问SVM的数据LIF。NFS共享的完整命令如下。
vserver create -vserver svm_nas -subtype default -rootvolume root_nas -aggregate aggr1_ds460c -rootvolume-security-style unix network interface create -vserver svm_nas -lif nfs_lif1 -role data -data-protocol nfs -home-node fas8300-01 -home-port e0c -address 192.168.10.10 -netmask 255.255.255.0 network interface create -vserver svm_nas -lif nfs_lif2 -role data -data-protocol nfs -home-node fas8300-02 -home-port e0c -address 192.168.10.11 -netmask 255.255.255.0 volume create -vserver svm_nas -volume vol_share -aggregate aggr1_ds460c -size 10t -junction-path /share -space-guarantee none vserver nfs create -vserver svm_nas -access true -v3-enabled false -v40-enabled true -v41-enabled true vserver export-policy rule create -vserver svm_nas -policy default -protocol nfs -clientmatch 192.168.10.0/24 -rorule any -rwrule any逻辑说明:先建SVM,-rootvolume-security-style unix表示这个SVM上的卷默认按UNIX权限理解。紧接着给SVM建两个数据LIF,分别落在两个控制器上,这样客户端无论走哪台控制器都能访问,控制器故障时LIF自动迁移,配合NFS v4的session trunking体验更好。-home-node指定LIF初始归属的控制器,-home-port填上一步sysconfig查到的物理端口名(e0c只是示例)。volume create创建共享卷,-junction-path /share决定客户端挂载时看到的路径。vserver nfs create开启NFS服务,关闭v3、启用v4.0和v4.1是常见做法,兼容老客户端时保留v3。最后一条export policy规则只允许192.168.10.0/24网段访问,-rorule any -rwrule any表示该网段内所有主机可读可写。
参数说明:Linux客户端挂载测试用mount -t nfs -o vers=4.1 192.168.10.10:/share /mnt。如果挂不上,先查network interface show确认LIF状态是up,再查export policy规则是否覆盖了客户端IP,最后看NFS服务有没有开着——按这个顺序排查,基本不会卡超过十分钟。
4.3 SMB和对象存储:激活CIFS前先确认AD环境
SMB共享在NetApp上依赖AD域环境。没有现成AD域的话,CIFS这条先别开,硬开只会把自己绕进域认证的坑里。有AD域时,两条命令就能把一个卷变成Windows共享。
vserver cifs create -vserver svm_nas -cifs-server NAS-SVM -domain CORP -ou "CN=Computers,DC=corp,DC=local" vserver cifs share create -vserver svm_nas -share-name share -path /share逻辑说明:第一条命令让SVM以NAS-SVM这个计算机名加入CORP域,-ou指定计算机对象在AD里的组织单元;第二条命令把/share卷路径共享出去,Windows客户端在资源管理器里输入\\共享IP\share就能看到。注意先执行第一条,等SVM成功加入AD再建共享,否则共享建了客户端也没法认证。常见报错是域控制器不可达或OU路径填错,用域管理员账号执行能少踩一半坑。
这代ONTAP还支持在SVM上开启对象存储服务(S3协议),把FAS8300当冷数据归档目标。对于已经在跑对象存储服务或者数据分级存储的业务,这个能力比再买一台独立对象存储一体机省钱不少。开局阶段知道有这条路就行,需要时在SVM上创建对象存储服务器,把桶映射到卷即可。
5. SAN服务配置:iSCSI和FC的LUN映射与多路径验证
NAS配完,如果业务还有数据库、虚拟化这类块存储需求,就要把FAS8300的SAN能力用起来。FAS8300同时支持iSCSI和FC,两者存储侧的配置逻辑完全一样:LUN、igroup、映射三步走,区别只在主机连法和交换机zone上。
5.1 iSCSI配置三步走:target、LUN、igroup映射
建议单独建一个跑SAN的SVM,和NAS的SVM分开。NAS的NFS权限、SAN的LUN映射各有各的访问控制,混在一个SVM里容易互相干扰。
vserver create -vserver svm_san -subtype default -rootvolume root_san -aggregate aggr1_ds460c -rootvolume-security-style unix vserver iscsi create -vserver svm_san network interface create -vserver svm_san -lif iscsi_lif1 -role data -data-protocol iscsi -home-node fas8300-01 -home-port e0c -address 10.0.0.2 -netmask 255.255.255.0 network interface create -vserver svm_san -lif iscsi_lif2 -role data -data-protocol iscsi -home-node fas8300-02 -home-port e0c -address 10.0.0.3 -netmask 255.255.255.0 volume create -vserver svm_san -volume vol_san -aggregate aggr1_ds460c -size 5t -junction-path /vol_san -space-guarantee none lun create -vserver svm_san -path /vol/vol_san/lun_db01 -size 2t -ostype linux -space-reserve disabled igroup create -vserver svm_san -igroup db_hosts -protocol iscsi -ostype linux lun map -vserver svm_san -path /vol/vol_san/lun_db01 -igroup db_hosts -id 0逻辑说明:先建SVM并开启iSCSI服务,然后建两个iSCSI数据LIF,同样每个控制器各一个,保证多路径。卷建5T给LUN留余地,-space-guarantee none做瘦供给。LUN创建把2T块设备放进卷里,-ostype linux告诉存储按Linux主机处理,Windows主机则用windows_2008等对应类型。igroup是访问控制的关键,没加入分组的主机就算网络通了也扫不到LUN。最后一条命令把LUN映射给db_hosts组,LUN ID指定为0。
参数说明:-space-reserve disabled创建的是thin LUN,按实际写入增长;数据库类的生产负载建议用默认的厚LUN(即去掉这个参数),避免块分配抖动影响写延迟。igroup创建时-protocol iscsi写清楚,后面FC主机要单独建-protocol fc的组,两种协议不能混在一个组里。映射完成后在主机侧用iSCSI发起程序发现target、登录会话,存储侧lun show -vserver svm_san看到状态为online,就算通了。
5.2 FC连接与交换机zone:目标WWN和双控制器多路径
FC连接要过光纤交换机,存储侧的配置和iSCSI几乎一致:SVM上执行vserver fcp create开启FC服务,但igroup要换成FC协议,加入的是主机HBA的WWN而不是iSCSI的IQN。
FC交换机上zone配置遵循一条黄金法则:一个主机HBA的WWN加上两个控制器的FC目标WWN放进同一个zone。为什么必须是两个目标WWN?因为FAS8300双控架构下,SVM的FC LIF在两个控制器上各有一个目标端口,zone里只放一个,多路径就只能看到一条腿,控制器故障切换时主机就会断IO。存储侧的目标WWN从system node run -node fas8300-01 sysconfig -a输出的FCP端口信息里读,主机HBA的WWN在交换机上执行show fcns database按端口识别。zone创建后用cfgactivate激活,别只save忘了activate,这是FC里最常见的半套操作。
igroup加WWN的命令:
igroup create -vserver svm_san -igroup fc_hosts -protocol fc -ostype linux igroup add -vserver svm_san -igroup fc_hosts -initiator 10:00:00:xx:xx:xx:xx:01 igroup add -vserver svm_san -igroup fc_hosts -initiator 10:00:00:xx:xx:xx:xx:02 lun map -vserver svm_san -path /vol/vol_san/lun_db01 -igroup fc_hosts -id 1参数说明:FC主机的HBA一般有两个端口,每个端口一个WWN,两个都要加进igroup,少一个就少一条路径。-id 1是因为iSCSI组已经用了LUN ID 0,同一个LUN可以同时映射给多个igroup,ID在各组内分别编号。
5.3 主机侧多路径验证:sanlun和multipath -ll怎么看
主机侧需要安装NetApp Host Utilities,它提供sanlun工具,Linux还要配好device-mapper-multipath。验证命令就两条。
sanlun lun show multipath -ll逻辑说明:sanlun lun show输出每个LUN对应的控制器路径,重点看Expected Paths和Actual Paths两列是否相等,不等就说明链路或配置有缺失。multipath -ll查看每个磁盘有几条active路径,以FC双控双口HBA为例,一个LUN正常应看到4条路径,active/active都在线。
故障切换测试是SAN安装验收最有价值的一步:在维护窗口内,把某台控制器连到光纤交换机的线拔掉,或直接在交换机端口执行shut,观察multipath -ll路径数从4降到2、业务IO不中断,再把线插回来看路径自动恢复。这套操作做完,SAN部分的可靠性才算真正验证过,而不只是“配置看起来没问题”。生产环境测故障切换前务必确认业务低峰和回退方案,别在核心数据库跑着的时候拔线。
6. 安装避坑与验收:五个最容易翻车的点和最后一遍检查
到这里,FAS8300的硬件、集群、NAS、SAN都已经通了。安装项目最容易翻车的不是某条命令敲错,而是下面这几类开局习惯问题。
- RAID策略图省事选了raid0或raid4。现象:半年后想加固,聚合原地改不了,数据得整体倒腾。原因:创建时没把可靠性当成硬需求。解决:开局直接用raid_dp,盘特别多就上raid_tec,热备盘一块都不省。
- 盘柜SAS只接了一条链。现象:维护时碰掉一根SAS线,整柜盘全部离线。原因:以为盘柜只有单口可用。解决:控制器A/B分别接盘柜的A/B端口,双链冗余写进硬件验收清单里逐项打勾。
- 主机多路径只看到一半路径。现象:
multipath -ll里active路径只有一半,拔一条线IO就断。原因:FC zone里只包含了其中一个控制器的目标WWN。解决:zone里补上另一个WWN,重新扫描后路径数翻倍。 - 热备盘为0。现象:某块盘fail后,聚合一直处于降级状态,直到人工换盘。原因:建聚合时disk-count把可用盘全数用光。解决:聚合创建时明确留spare,
storage aggregate show里确认Spare计数大于0。 - 管理IP和数据IP放同一个网段。现象:业务流量一大,管理面会话开始卡顿。原因:开局规划时没把管理面和业务面分开。解决:管理口单独VLAN,管理IP和业务IP隔离,这是规划表上第一行就该定的东西。
我自己开第一台NetApp时就踩过热备盘的坑:聚合建满、spare为0,后来一块盘亮黄灯,大半夜跑机房人工换盘,一路提心吊胆。从那以后,双链冗余、spare预留、FC zone双WWN这三件事成了我开局验收的铁律。最后一遍检查其实就四条命令:cluster show看HA、storage aggregate show看spare、network interface show看LIF状态、lun show看映射。四行输出都干净,这台FAS8300就算正式落地了。希望帮到你。
本文还有配套的精品资源,点击获取