简介面向鲲鹏云与大数据入门学习者这份实验报告以华为云环境为基础完整记录了从购买华为云ECS、开通OBS并获取AK/SK到下载OpenJDK与相关jar包、搭建并配置Hadoop集群的实践过程。内容覆盖三个节点的互信配置、SSH免密登录、/etc/hosts节点识别、目录创建以及core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves等核心文件的编写与调整同时记录了因Java家目录错误导致的重新分发、/etc/profile修正、NameNode初始化和HDFS启动排错过程适合对照真实云环境逐步复现Hadoop部署的读者。资源为1个docx文档压缩包2.52MB已有891人学习文档按华为云准备、购买OBS、集群搭建、节点配置等阶段组织便于按步骤翻阅与复现。通过这份实验材料可系统掌握OBS作为数据源的AK/SK认证与Endpoint配置、Hadoop多节点同步分发方法以及HDFS/YARN/MapReduce相关参数的设置思路。1. ARM 云主机上搭 Hadoop这份实验 docx 替你把前半程的坑都踩完了这周拆了一份某云平台的大数据实验报告 docx通篇就是一件事在鲲鹏 ARM 架构的三台云主机上从零把 Hadoop 2.8.3 集群跑起来。文档里没有花哨理论全是购买云资源、配置节点互信、改 core-site.xml、初始化 NameNode 这种“做完一遍才能写出来”的过程记录。我翻到一半最明显的感知是作者被同一件事折腾了三次JAVA_HOME 路径写错、分发 Hadoop 包后配置不一致、格式化 NameNode 失败。对正在写鲲鹏云大数据实验报告、或者第一次在 ARM 云主机上复现三节点 Hadoop 的同学这份 docx 的真正价值不是命令列表而是把选型、配置、失败路径一次性串好省掉你至少一周的试错时间。2. 云环境与对象存储三台 ARM ECS 加一个并行文件系统怎么选2.1 购买 ECS三台同规格 ARM 实例是起步配置实验报告的第一步是购买弹性云服务器文档里只写了“购买 ECS 确认配置”但没解释为什么是三台、为什么都要同一规格。我的判断是Hadoop 的元数据节点和计算节点解耦一个 NameNode 加两个 DataNode 是最小可用集群既能跑通实验又能看到数据块复制和故障转移的现象。选型层面有几个关键点镜像必须是 arm64 版本。鲲鹏这类 ARM 服务器和 x86 的软件包不通用公共镜像那边要挑带 aarch64 字段的版本。文档里反复出现的aarch64后缀就是 ARM 64 位架构标识装错 x86 的 OpenJDK 会在启动时报无法执行二进制文件。三台机器建议在同一个 VPC 和安全组里。文档中购买时没有强调网络但后文配置/etc/hosts时用的是节点内网通信。如果三台机器不在同一子网Hadoop 的 RPC 通信和 SSH 互信会走公网又慢又不安全。规格方面实验场景不需要很大的存储和内存建议参考这个配置角色建议规格系统盘镜像node-0001master4 vCPU / 8GB40GBarm64 公共镜像node-0002worker4 vCPU / 8GB40GBarm64 公共镜像node-0003worker4 vCPU / 8GB40GBarm64 公共镜像购买完成后安全组需要放通以下端口否则集群脚本之间会互相连不上端口用途22SSH 登录和节点互信8020NameNode RPC50070NameNode Web UI8088YARN ResourceManager Web UI8030 / 8031 / 8032ResourceManager 调度和 RPC8040 / 8041NodeManager 通信19888JobHistory Server2.2 OBS 并行文件系统为什么不是普通对象桶实验报告里明确写了创建“并行文件系统”这一点很多初次接触的人会忽略。对象存储服务底层的普通桶是按对象语义设计的追加写、重命名、目录列举这类操作性能很差甚至部分语义不支持。Hadoop 的 OutputStream 写入模式需要反复rename临时文件普通桶会频繁触发服务端拷贝跑出来的结果就是任务慢、偶发失败。并行文件系统在对象存储上层做了一层 POSIX 兼容语义支持并发读写、目录层级操作和移动文件适合做 HDFS 的底层存储或冷数据归档。文档里的做法是在控制台里创建并行文件系统而不是创建标准存储桶。操作路径大概是进入对象存储服务控制台在“并行文件系统”标签页点创建然后填配置项填写建议名称全小写字母和数字比如obs-hadoop-test区域和 ECS 在同区域省跨区域流量费存储类别标准存储实验场景别选冷存储多AZ实验可以关掉生产环境按数据重要性开启创建之后进入桶的概览页你会看到两个访问地址IPv4 地址和双栈地址。文档里记录的格式类似这样访问方式地址形态使用场景IPv4obs.region.example.comHadoop 客户端常规访问双栈obs.dualstack.region.example.com需要 IPv4/IPv6 双栈兼容的环境注意后面配置core-site.xml时fs.obs.endpoint只填域名不要带https://也不要带桶名前缀。2.3 获取 AK/SKcredentials.csv 是集群访问 OBS 的钥匙文档在创建完并行文件系统之后强调“打开即可得到 AK/SK”并且生成了一个credentials.csv文件。这个文件就是云平台账号的访问密钥对Hadoop 访问 OBS 时要拿它做身份认证。credentials.csv通常是三列字段值User Name创建密钥的 IAM 用户Access Key Id类似AKIAXXXXXXXXXXXXXXXX的访问密钥 IDSecret Access Key一串用于签名请求的私钥我一般会直接在控制台的“访问密钥”页面创建系统下载了一份 csv 后把文件存到不会被 Git 同步的地方。密钥一旦泄露对方就等于拿到了你对 OBS 内数据的读写权限。权限最小化也很重要。实验场景只需要这个密钥对并行文件系统做读写不建议直接给到全局管理权限。后在 IAM 里给该用户绑定“对象存储服务 OBS 只读和对象读写”的策略再在桶的权限策略里限定指定桶即可。3. 互信与 Java 环境三节点通信和 ARM JDK 路径的坑3.1 配置 hosts 与 SSH 无密码登录Hadoop 启动脚本会自动从 master 节点 SSH 到所有 worker 节点拉起 DataNode 和 NodeManager 进程。如果每次登录都要输密码脚本会卡在交互提示上。所以文档里的第一步就是配置节点互信。先在每台节点的/etc/hosts里加入三台机器的解析使用内网 IPcat /etc/hosts EOF 10.0.0.11 node-0001 10.0.0.12 node-0002 10.0.0.13 node-0003 EOF上面命令的作用是把节点名解析到内网 IP这样 SSH 和 Hadoop 配置里都直接用node-0001这类主机名避免 IP 写得到处都是。文档里也明确写了“各节点执行”意思是三台机器都要做不能只在 master 上改。接下来生成 RSA 密钥并分发到各节点# 在三个节点都执行生成 RSA 密钥-N 表示空密码 ssh-keygen -t rsa -b 2048 -N -f /root/.ssh/id_rsa # 在 node-0001 上执行把本机公钥追加到另外两个节点的信任列表 ssh-copy-id -i /root/.ssh/id_rsa.pub rootnode-0002 ssh-copy-id -i /root/.ssh/id_rsa.pub rootnode-0003ssh-keygen生成一对密钥ssh-copy-id把公钥写到目标节点的~/.ssh/authorized_keys文件。首次执行会问密码之后再用ssh node-0002 date就不需要输入了。我测试时发现如果用户不是 root需要确认目标目录权限authorized_keys的权限不能太放一般建议chmod 600否则 SSH 会拒绝加载公钥。3.2 安装 OpenJDK注意 aarch64 后缀的路径Hadoop 2.8.3 还跑在 Java 8 上所以文档里下载的是 OpenJDK 8。在 ARM 云主机上软件仓库里的 OpenJDK 包名会带aarch64标识。# 在三台节点分别执行安装 JDK 8 的完整开发包 yum install -y java-1.8.0-openjdk-devel # 安装后确定实际安装目录 ls /usr/lib/jvm/执行ls后会看到类似这样的目录名java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.aarch64这个目录字符串看着别扭但它是 ARM 架构下的真实路径。文档里反复出现的“javahome 错误”就是出在这里很多人直接抄网上的/usr/lib/jvm/java-1.8.0-openjdk但这个目录在部分发行版里不存在必须写成完整版本号路径。然后配置环境变量三台节点都写入/etc/profile末尾export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.aarch64 export HADOOP_HOME/home/modules/hadoop-2.8.3 export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin这里HADOOP_HOME是下一章才解压的路径。配置好之后执行source /etc/profile让它立即生效然后java -version看输出。如果显示的还是系统自带的老版本说明PATH里旧路径排在了前面。文档里提到“无密码跳转”实际就是用ssh node-0002验证互信。如果登录后java -version报找不到命令那就是/etc/profile没有在 SSH 非交互模式下被加载。4. Hadoop 配置落盘core-site、yarn-site、slaves 逐个填4.1 解压安装包与目录规划实验文档在 node-0001 上先创建了两个目录/home/modules/data/buf和/home/nm/localdir。前者我一般用作 NameNode 元数据落盘目录后者用作 DataNode 数据块目录。# 在 node-0001 上执行创建 HDFS 元数据和数据落盘目录 mkdir -p /home/modules/data/buf mkdir -p /home/nm/localdir # 解压 Hadoop 安装包到统一目录 cd /root cp hadoop-2.8.3.tar.gz /home/modules/ cd /home/modules tar -zxvf hadoop-2.8.3.tar.gz解压完成后会得到/home/modules/hadoop-2.8.3。这里有个容易被忽略的点下载的 OBS 相关适配 jar 包要去掉旧包后复制进$HADOOP_HOME/share/hadoop/common/lib/里确保 OBS 文件系统类能被加载。4.2 core-site.xmlAK/SK 与 Endpoint 是关键核心配置文件是$HADOOP_HOME/etc/hadoop/core-site.xml。文档里专门提到要改 AK、SK、Endpoint。configuration !-- 默认文件系统这里保留 HDFS方便先跑通内部流程 -- property namefs.defaultFS/name valuehdfs://node-0001:8020/value /property !-- OBS 访问密钥 -- property namefs.obs.access.key/name valueyour-access-key/value /property property namefs.obs.secret.key/name valueyour-secret-key/value /property !-- OBS Endpoint去掉 https:// 前缀使用控制台复制的值 -- property namefs.obs.endpoint/name valueobs.region.example.com/value /property !-- OBS 文件系统实现类按实际 jar 包调整 -- property namefs.obs.impl/name valueorg.apache.hadoop.fs.obs.OBSFileSystem/value /property /configuration参数说明fs.defaultFS设成 HDFS 的 RPC 地址集群内部流程先走 HDFS如果文档要求的实验是纯 OBS 模式可以改成obs://your-bucket/。fs.obs.access.key和fs.obs.secret.key填的是credentials.csv里那两列别把User Name也填进去。fs.obs.endpoint在这里最容易翻车控制台复制下来的地址可能带https://填进去之后客户端会拼接出错误的 URL。4.3 hdfs-site.xml、yarn-site.xml、mapred-site.xml 和 slaves接着改 HDFS 的落盘目录configuration property namedfs.namenode.name.dir/name valuefile:///home/modules/data/buf/value /property property namedfs.datanode.data.dir/name valuefile:///home/nm/localdir/value /property property namedfs.replication/name value2/value /property /configurationdfs.namenode.name.dir存 NameNode 的编辑日志和镜像dfs.datanode.data.dir是 DataNode 实际数据块落盘目录。实验只有两个 DataNode副本数设 2 就能完整看到块复制。YARN 配置configuration property nameyarn.resourcemanager.hostname/name valuenode-0001/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configurationyarn.resourcemanager.hostname指向 master 节点mapreduce_shuffle是 MapReduce 任务在 NodeManager 上的辅助服务缺少它会导致任务提交后一直卡在 ACCEPTED 状态。MapReduce 框架选择configuration property namemapreduce.framework.name/name valueyarn/value /property /configuration最后编辑slaves文件列出所有 workernode-0002 node-0003这里注意Hadoop 2.x 用slaves3.x 改成了workers。文档用的 2.8.3所以文件还是slaves。如果你下载的是 3.x 安装包文件名要同步改。4.4 环境变量与配置分发在 node-0001 上改好所有配置后还要把改动同步到 node-0002 和 node-0003否则只有 master 知道有哪些配置worker 节点拿到的是默认值集群行为不会一致。# 同步 Hadoop 安装目录 rsync -av /home/modules/hadoop-2.8.3 rootnode-0002:/home/modules/ rsync -av /home/modules/hadoop-2.8.3 rootnode-0003:/home/modules/ # 同步 hosts 和 profile scp /etc/hosts /etc/profile rootnode-0002:/etc/ scp /etc/hosts /etc/profile rootnode-0003:/etc/同步完成后到两个 worker 节点执行source /etc/profile和hadoop version确认版本一致。这一步值得做因为文档里最典型的问题就是“改了配置忘分发”后面启动集群时出现各种玄学报错查半天才发现是节点配置不一致。5. 启动前的避坑手册JAVA_HOME、分发与 AK/SK 三个高危点全文最值得反复看的部分是作者对“javahome 错误”的三次修复。我顺着文档里的失败记录整理出五条高频踩坑记录每条都按现象、原因、解决来写。5.1 坑一JAVA_HOME 路径指向不存在的目录现象执行hdfs namenode -format或start-dfs.sh时脚本报错Error: JAVA_HOME is not set correctly或者直接提示找不到/usr/lib/jvm/java-1.8.0-openjdk。原因ARM 云主机的 OpenJDK 安装目录带完整版本号和aarch64后缀。文档里明确给出的是java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.aarch64很多人照抄通用教程写成不带版本号的路径而这个路径在系统里根本不存在。解决先执行ls /usr/lib/jvm/看到真实目录名再修改/etc/profile里的JAVA_HOME。如果想省事也可以做一个软链ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.aarch64 /usr/lib/jvm/java-1.8.0之后JAVA_HOME指向/usr/lib/jvm/java-1.8.0也可以。软链方案的好处是以后升级 JDK 只需要改软链不用再动配置文件。5.2 坑二改完 profile 没有 source环境变量不生效现象在 SSH 登录到其他节点执行java -version时显示的还是旧版本或报找不到 Java但手动执行bash之后再查又是好的。原因/etc/profile只在登录 shell 启动时加载。如果你是用ssh node-0002直接执行命令非交互式会话不会重新读取 profile自然拿不到刚配置的JAVA_HOME。解决每个节点改完/etc/profile后都要执行一次source /etc/profile。如果是通过ssh远程执行建议用ssh rootnode-0002 source /etc/profile java -version来验证。5.3 坑三配置只改 master忘了重新分发到 worker现象集群能启动但运行 MapReduce 任务时报java.io.IOException: File ... could only be replicated to 0 nodes或者 YARN Web UI 上只有 master 有 NodeManager。原因只在 node-0001 上改了core-site.xml和hdfs-site.xmlworker 节点还是旧配置。DataNode 启动后上报的存储目录和 NameNode 不一致导致块复制失败。解决分发配置后在三个节点分别执行hdfs getconf -confKey dfs.datanode.data.dir看输出的目录路径是否一致。不一致就重新rsync并重启 HDFS 服务。5.4 坑四AK/SK 填错或 Endpoint 带了协议前缀现象执行hdfs dfs -ls obs://your-bucket/时报AccessDenied或The request signature we calculated does not match。原因有两类原因一类是credentials.csv里的 Secret Access Key 复制时带了换行或空格另一类是fs.obs.endpoint填了https://obs.region.example.com导致客户端签名时的域名和服务端不一致。解决重新用cat -A credentials.csv查看文件确认没有不可见字符。Endpoint 只填纯域名不填协议前缀。改完配置后source /etc/profile并重启 HDFS 相关进程再试。5.5 坑五NameNode 格式化失败残留目录没有清干净现象第一次hdfs namenode -format因为 JAVA_HOME 错误失败了修正路径后再执行提示NameNode has been already formatted或直接创建目录时报文件已存在。原因格式化失败时会在/home/modules/data/buf残留current/VERSION等文件。第二次格式化前没有清空这个目录HDFS 检查到已格式化状态拒绝重复初始化。解决先把残留目录清空再重新创建最后格式化# 在 node-0001 上执行清空旧元数据目录 rm -rf /home/modules/data/buf/* mkdir -p /home/modules/data/buf # 重新初始化 NameNode hdfs namenode -format这里就是所谓的“后悔药”步骤任何 NameNode 格式化失败第一件事永远是检查旧目录有没有清干净而不是反复尝试 format 命令。6. 启动验证与技巧格式化 NameNode、启动 HDFS、测 OBS 写入6.1 从格式化到进程启动前四章配置做完启动顺序是固定的先在 node-0001 格式化 NameNode再启动 HDFS最后启动 YARN。# 在 node-0001 上执行只在首次搭建时格式化 hdfs namenode -format # 启动 HDFS 和 YARN start-dfs.sh start-yarn.sh # 检查各节点进程 jps格式化成功后NameNode 进程、DataNode 进程、ResourceManager、NodeManager 都会出现在jps结果里。master 上应该有NameNode、SecondaryNameNode、ResourceManagerworker 上应该有DataNode和NodeManager。如果某个 worker 缺进程先去查对应节点的$HADOOP_HOME/logs下的日志最常见的就是 SSH 互信没配好。6.2 验证 OBS 读写一条命令看出配置是否生效集群内部的 HDFS 通了还不够实验报告的核心是用 OBS 作为数据存储。验证方式很简单# 查看 OBS 并行文件系统根目录 hdfs dfs -ls obs://your-bucket/ # 把本地文件写入 OBS hdfs dfs -put /etc/hosts obs://your-bucket/test-input/ # 从 OBS 读回本地 hdfs dfs -get obs://your-bucket/test-input/hosts /tmp/hosts-back能完成put和get说明 AK/SK、Endpoint、OBS 适配 jar 全部正常。注意这里的your-bucket必须是并行文件系统名称不能是普通桶名。从那以后我每次搭集群都会把“核对 JAVA_HOME、source profile、三节点 diff 配置文件”这三步强制走一遍再碰格式化命令几乎没有再翻过车。希望这些记录能帮你把这份 docx 里的实验顺利跑通。本文还有配套的精品资源点击获取