这篇文章想写清楚一件事在 Ubuntu 22.04 上用三台虚拟机把一套 Hadoop 完全分布式集群从零搭起来。我前后用 VMware 搭过很多次 Hadoop 环境从伪分布式到三节点完全分布式都折腾过中间踩过的坑不少所以这篇直接把完整流程和排错经验一起写出来争取你看完能少走弯路。这套方案的目标很明确在本地电脑上用三台 Ubuntu 22.04 虚拟机分别扮演一个 master 和两个 slave 节点组成一套能正常跑 HDFS 存储和 YARN 计算的集群。整个过程涵盖虚拟机安装、网络规划、SSH 免密、JDK 安装、Hadoop 配置、集群初始化、功能验证最后再补几个我实际遇到过的高频问题。适合的人群主要有三类正在做大数据课程实验的学生、准备搭开发环境自学的初学者以及需要在本地复现分布式环境的工程师。生产级高可用集群不在本文讨论范围内这里追求的是“用最少资源跑通全流程同时把原理讲明白”。1. 搭建前必须想清楚的事版本、网络与角色规划很多人一上来就跟着网上的帖子直接敲命令结果做到一半发现网段不对、主机名对不上、端口不对前前后后折腾一整天。我的建议是动手之前先把三台机器的角色规划好至少要确定三件事虚拟化软件用什么、每台机器装什么系统、IP 段怎么划分。1.1 为什么选择“三台虚拟机”而不是伪分布式Hadoop 的伪分布式模式Pseudo-Distributed只需要一台机器所有守护进程都跑在本机适合刚接触 Hadoop 时了解基本命令。但伪分布式有个问题它没法真正模拟跨节点的数据分布和任务调度很多分布式场景下的坑只有多节点才能真正暴露出来。三台虚拟机是一个性价比非常高的学习方案。一台做 master跑 NameNode 和 ResourceManager两台做 slave跑 DataNode 和 NodeManager。这样既覆盖了 HDFS 的“一主多从”架构也覆盖了 YARN 的“ResourceManager NodeManager”调度模型。我见过有人用五台、七台虚拟机搭集群其实学习阶段三台完全够了等以后要学 HBase、Hive、Kafka 再加节点也不迟。虚拟机的好处是随便折腾坏了就回滚快照不用担心把宿主机搞崩。如果机器配置允许比如内存 16G 以上、硬盘剩 100G 左右跑三台虚拟机很轻松。1.2 集群角色分配与IP规划参考表下面是我这次搭建使用的规划每一台机器都是 2 核 CPU、2G 内存硬盘 60G。如果你的宿主机配置偏低内存可以降到 1.5G但不要再低了否则 JVM 启动就会很吃力。主机名角色IP 地址主要运行的进程masterNameNode / ResourceManager192.168.137.101NameNode、ResourceManager、SecondaryNameNodeslave1DataNode / NodeManager192.168.137.102DataNode、NodeManagerslave2DataNode / NodeManager192.168.137.103DataNode、NodeManager这里有一个很重要的细节主机名不建议用 “hadoop1、hadoop2、hadoop3” 这种没有辨识度的命名最好直接用 master / slave1 / slave2在后面配置 core-site.xml 和 yarn-site.xml 时一眼就能看出哪台是主节点。IP 网段的话我用的是 VMware 的 NAT 模式默认网段 192.168.137.0/24。如果你用 VirtualBox网段可能不一样或者你在办公室网络里可能已经有其他 DHCP 服务所以一定要先确认虚拟网络编辑器里的子网 IP。我的做法是在 VMware 菜单栏点击“编辑 - 虚拟网络编辑器”找到 VMnet8 那一条看 NAT 设置里的子网 IP 是多少然后再规划静态 IP。你也可以把整个集群换成桥接模式让虚拟机直接用路由器分配的地址但那样 IP 地址容易变需要额外留意。1.3 虚拟机安装时需要注意的几个选项这个环节如果只搭一台虚拟机还好搭三台时如果每一步都重复点一遍图形界面会非常费时间。我用的办法是先完整安装好第一台 Ubuntu 22.04 Server配置好基础环境然后直接克隆出另外两台再分别修改主机名和 IP。这样比重新安装三遍快很多。安装 Ubuntu 22.04 时有几个选项需要特别注意ISO 选 ubuntu-22.04.x-live-server-amd64.iso这个在官网和国内镜像站都能下载。学习 Hadoop 建议装 Server 版而不是 Desktop 版因为 Server 版没有图形界面内存占用低而且 Hadoop 本身就不需要图形界面。如果你实在不习惯纯命令行装 Desktop 版也可以但要把自动登录和锁屏关掉避免虚拟机闲置时锁屏卡住。磁盘分区那里新手直接选“Use entire disk”就行但要注意把虚拟机的虚拟磁盘设置得大一些。我记得第一次搭 Hadoop 时只给了 20G结果格式化 NameNode 时磁盘满了日志里报错特别难排查。建议 50G 起步60G 比较稳。创建用户时我直接建了一个叫 hadoop 的普通用户密码也设成 hadoop 相关的口令。后面所有 Hadoop 操作都用这个用户执行不要用 root 跑 Hadoop 集群。原因后面讲环境变量和权限时会提到这是很多新手容易踩的坑。安装完成后建议先打个快照命名“刚装好的Ubuntu系统”。这个快照是后续所有操作的“后悔药”。2. 基础环境统一配置三台机器同步操作这一部分讲的是三台虚拟机都要做的通用配置包括主机名、IP、hosts 映射、SSH 免密、JDK。如果只有一台机器配置好了另外两台没配后面集群启动时会出现各种连不上、找不到主机的问题。2.1 修改主机名、固定IPnetplan 配置Ubuntu 22.04 修改主机名的方式很简单直接改 /etc/hostname 文件。比如在 master 上sudo hostnamectl set-hostname master执行完可以用 hostname 命令确认。同样的操作在 slave1、slave2 上分别执行把主机名改成对应的名字。接下来是固定 IP。Ubuntu 22.04 用的网络配置工具是 netplan配置文件在 /etc/netplan/ 目录下文件名可能是 00-installer-config.yaml 或类似的名字先看一下sudo ls /etc/netplan/我这边拿到的文件名是 00-installer-config.yaml用 vim 或 nano 编辑sudo vim /etc/netplan/00-installer-config.yaml把内容改成下面这样。注意 ens33 是你的网卡名称可以用 ip addr 命令查看不同机器可能叫 ens32、ens160 之类以实际为准。network: version: 2 ethernets: ens33: dhcp4: no addresses: - 192.168.137.101/24 routes: - to: default via: 192.168.137.2 nameservers: addresses: [192.168.137.2, 223.5.5.5]这里解释一下为什么网关和 DNS 是这两个值。VMware NAT 模式下虚拟机的默认网关一般是 x.x.x.2也就是 VMnet8 的网关地址。DNS 我除了填 NAT 网关还加了一个 223.5.5.5 作为备用网络抖动时不容易因为 DNS 解析失败导致 apt 下载或 ping 域名出错。改完后执行sudo netplan applynetplan apply 是热加载一般不需要重启。但如果发现网络不生效可以执行 sudo reboot。slave1 和 slave2 的 addresses 分别改成 192.168.137.102 和 192.168.137.103其他部分保持一致。2.2 /etc/hosts 配置与网络连通性验证主机名和 IP 固定之后还需要在每个节点的 /etc/hosts 文件里把集群所有机器的映射关系写好。这样无论是 SSH 还是 Hadoop 内部通信都可以直接使用主机名不依赖 DNS 服务。在三台机器上用 root 权限编辑 /etc/hosts使用 sudo。sudo vim /etc/hosts在最后追加三行192.168.137.101 master 192.168.137.102 slave1 192.168.137.103 slave2配置好之后建议在每个节点上做一轮连通性测试避免后面启动集群时才发现网络不通。测试命令如下ping -c 4 master ping -c 4 slave1 ping -c 4 slave2正常情况下每台机器都能 ping 通另外两台。如果不能 ping 通优先检查 IP 是否配置正确、VMware 虚拟网络编辑器里的 DHCP 和 NAT 设置是否与自己规划的网段一致。2.3 SSH免密登录配置与权限问题Hadoop 启动脚本是通过 SSH 远程登录到每台机器去启动守护进程的。如果每次登录都需要输密码start-dfs.sh 会卡在那里根本跑不起来所以 SSH 免密是必须配置的一步。我推荐的做法是在每台机器上都生成密钥然后把每台机器的公钥都分发到集群所有机器的 authorized_keys 里。这样做虽然比“只在 master 生成密钥并分发”多几步但能避免以后在 slave 上手动操作 HDFS 或执行其他跨节点命令时又需要输密码。在两台机器的普通用户 hadoop 下分别执行ssh-keygen -t rsa -b 4096生成过程中直接一路回车不设置 passphrase。然后把公钥拷贝到集群内每台机器包括本机ssh-copy-id hadoopmaster ssh-copy-id hadoopslave1 ssh-copy-id hadoopslave2在三台机器至少是 master但建议三台都执行一遍都跑完这些命令后测试一下免密是否成功ssh master ssh slave1 ssh slave2第一次连接会提示确认 host key输入 yes 即可。之后再次连接应该直接进入对方的 shell不需要密码。这里有一个非常常见的坑免密配置不生效通常是 ~/.ssh 目录和文件权限不对。SSH 对这几个文件的权限要求很严格目录权限不能超过 700authorized_keys 文件权限不能超过 600。我之前遇到过在 Windows 上用 SSH 工具编辑文件导致权限混乱的情况。如果测试失败手动修正权限chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys2.4 安装JDK并配置JAVA_HOMEHadoop 是基于 Java 写的所以每台机器都必须装 JDK。这里先说版本选择Hadoop 3.3.x 官方支持 Java 8 和 Java 11。网上很多教程还在用 JDK 8但 Ubuntu 22.04 的 apt 源里默认包含的是 OpenJDK 11 和 17为了省事且稳定我推荐 OpenJDK 11。直接在三台机器上执行sudo apt update sudo apt install -y openjdk-11-jdk安装完成后先确认 Java 路径。这个路径在配置 JAVA_HOME 时要用的which java readlink -f $(which java)在我的机器上Java 的实际安装路径是 /usr/lib/jvm/java-11-openjdk-amd64。接下来编辑当前用户的环境变量文件vim ~/.bashrc在文件末尾追加以下内容export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64 export PATH$PATH:$JAVA_HOME/bin执行 source ~/.bashrc 让配置生效然后验证java -version看到 openjdk version “11.0.x” 就说明 JDK 装好了。注意这个操作要在三台机器上都做一遍很多人在 master 上配好了 JAVA_HOMEslave 上没配启动集群时 DataNode 直接报 “Error: JAVA_HOME is not set”。3. Hadoop安装与核心配置详解基础环境就绪后终于到了核心环节安装 Hadoop 并修改配置文件。这部分我建议不要急着复制粘贴先把每个配置文件的含义搞清楚。配置出错的时候不理解含义就很难排查。3.1 选择版本、下载与解压Hadoop 的版本选择直接决定了后面很多操作细节。现在生产环境里 Hadoop 3.x 早就是主流了3.2、3.3 都用得比较多。我这篇用的是 3.3.6这个版本稳定、资料多踩坑时比较容易搜到答案。下载地址我建议用清华镜像站速度比官网好很多https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/在每台机器上下载并解压或者只在 master 上下载后通过 scp 复制到另外两台。我这边为了方便用 wget 在每台机器上下载然后统一解压到 /usr/local/hadoop 目录wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz sudo tar -xzf hadoop-3.3.6.tar.gz -C /usr/local sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop解压完成后一定要修改目录属主让 hadoop 用户拥有读写权限。否则后面启动集群时Hadoop 无法在安装目录下创建临时文件和日志sudo chown -R hadoop:hadoop /usr/local/hadoop为什么要强调这件事因为我见过很多教程复制粘贴命令结果 Hadoop 目录属于 root 用户普通用户执行 start-dfs.sh 时疯狂报权限错误又找不到是哪里出的问题。这一步虽然不起眼但能省掉很多麻烦。3.2 理解Hadoop集群中的角色哪个进程跑在哪台机器配置之前先花两分钟把 Hadoop 集群里各个角色搞清楚后面看配置文件和启动日志会轻松很多。HDFS 部分有两个核心角色。NameNode 负责管理文件系统的元数据比如文件目录、文件被切成了哪些块、每个块存放在哪些节点上它相当于整个 HDFS 的“大脑”。DataNode 负责真正存储数据块并向 NameNode 定期汇报自己存储了哪些块。集群里通常只有一个 NameNode学习环境DataNode 可以有多个。YARN 部分也有两个核心角色。ResourceManager 是集群资源分配的“调度中心”它决定哪个应用能拿到多少 CPU 和内存。NodeManager 是每台机器上的“资源管家”它负责启动容器、监控资源使用情况并定期向 ResourceManager 汇报。对应到我们的三台机器规划就是master 上跑 NameNode ResourceManager SecondaryNameNode辅助合并编辑日志slave1 和 slave2 上跑 DataNode NodeManager。这个规划最终会在配置文件里体现出来。3.3 五个核心配置文件的完整说明Hadoop 的配置文件都在 $HADOOP_HOME/etc/hadoop/ 目录下。我们需要修改的主要是五个文件。下面一个一个过。先看 hadoop-env.sh。这个文件里最核心的是 JAVA_HOME。Hadoop 启动脚本会读取这个变量来决定用哪个 JDK。用 vim 打开后找到 # export JAVA_HOME 这一行改成export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64如果不确定路径先用 ls 确认一下目录是否存在。注意网上有些教程会在 /etc/profile 里配 JAVA_HOME然后 hadoop-env.sh 里不配置这样也偶尔能用但最可靠的做法是两个地方都配好让 Hadoop 脚本在启动时一定找得到 JDK。接下来是 core-site.xml。这个文件定义的是 Hadoop 全局配置我们主要改两项。fs.defaultFS 决定 HDFS 的访问入口hadoop.tmp.dir 决定 Hadoop 临时文件存放位置也就是 NameNode 和 DataNode 数据目录的根路径。configuration property namefs.defaultFS/name valuehdfs://master:9000/value /property property namehadoop.tmp.dir/name value/home/hadoop/hadoopdata/value /property /configuration这里有两个重点。第一hdfs://master:9000 中的 master 必须跟 /etc/hosts 里的主机名一致否则客户端和节点之间无法通过主机名解析。第二hadoop.tmp.dir 默认值是 /tmp/hadoop-${user.name}但 /tmp 目录在系统重启后可能被清理一旦 NameNode 的元数据丢了整个 HDFS 里的文件就找不回来了。所以我把它改到 /home/hadoop/hadoopdata并且提前创建这个目录mkdir -p /home/hadoop/hadoopdata然后配置 hdfs-site.xml。这个文件控制 HDFS 的行为。我们要配置 NameNode 和 DataNode 的数据存储路径以及文件副本数。configuration property namedfs.namenode.name.dir/name valuefile:///home/hadoop/hadoopdata/name/value /property property namedfs.datanode.data.dir/name valuefile:///home/hadoop/hadoopdata/data/value /property property namedfs.replication/name value2/value /property /configurationdfs.namenode.name.dir 存储的是 NameNode 的元数据相当于 HDFS 的文件“户口本”。dfs.datanode.data.dir 存储的是真正的数据块。fs.replication 表示一个文件默认的副本数量三台节点时填 2 或 3 都可以。我这里填 2 是因为每台虚拟机磁盘空间有限存两份既能起到备份效果又不至于太吃空间。然后是 mapred-site.xml。在 Hadoop 3.x 版本里这个文件不再提供模板文件需要手动创建。它控制 MapReduce 计算框架的运行模式configuration property namemapreduce.framework.name/name valueyarn/value /property /configurationmapreduce.framework.name 的值设置为 yarn意思是用 YARN 来调度和管理 MapReduce 作业。如果设置成 localMapReduce 就会在本地运行不利用集群资源那分布式就没有意义了。最后是 yarn-site.xml。这个文件配置 YARN 的资源调度行为。核心配置有两项ResourceManager 跑在哪台机器以及 NodeManager 启动时加载的辅助服务。configuration property nameyarn.resourcemanager.hostname/name valuemaster/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configurationyarn.resourcemanager.hostname 是告诉 NodeManager 去哪里找 ResourceManager这里填 master 就行。yarn.nodemanager.aux-services 必须设置成 mapreduce_shuffle因为 MapReduce 作业在 reduce 阶段需要通过 shuffle 机制从各个 mapper 拉取中间结果这个服务是专门干这件事的。很多新手漏配这一项结果作业提交后一直卡住日志里报 Shuffle 相关的错误。3.4 配置workers节点列表在 Hadoop 3.x 版本中定义集群从节点的文件叫 workers不再是 2.x 版本的 slaves。编辑vim /usr/local/hadoop/etc/hadoop/workers把这个文件里默认的 localhost 删掉改成两个数据节点的主机名每行一个slave1 slave2这个文件的作用是告诉 master 在执行 start-dfs.sh 和 start-yarn.sh 时要去哪些机器上启动 DataNode 和 NodeManager。如果你漏改这个文件集群启动后就会神奇地发现只有一个 DataNode而且是在 master 上。3.5 环境变量与常见权限设置为了让 hadoop、hdfs 等命令在任何目录下都能直接使用需要配置 HADOOP_HOME 环境变量。继续编辑 ~/.bashrc在之前 JDK 配置底下追加export HADOOP_HOME/usr/local/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行 source ~/.bashrc 后验证一下hadoop version能打印出 Hadoop 版本信息就说明基本环境已经齐了。另外还要注意Hadoop 在运行过程中会产生大量日志默认放在 $HADOOP_HOME/logs 目录下面。如果偷偷发现集群启动失败却没有日志可查可以检查一下这个目录的权限mkdir -p /usr/local/hadoop/logs sudo chown -R hadoop:hadoop /usr/local/hadoop/logs这一步我加了完全是因为当时遇到过“日志目录不能写导致 daemon 直接退出的情况”。看起来不太起眼但排查时很讨厌。4. 集群初始化、启动与功能验证配置写完接下来是检验成果的时候。先把所有节点都开机并确认网络正常然后在 master 上执行格式化、启动、验证三步走。4.1 格式化NameNode格式化的含义与注意事项格式化 NameNode 是初始化 HDFS 的第一步它会在 NameNode 的数据目录下生成初始的元数据并生成一个唯一的 clusterID。在 master 上执行hdfs namenode -format执行过程中会输出大量日志最后显示 “successfully formatted” 就说明成功了。这里必须强调一个我在实操中踩过的坑格式化操作只能执行一次。如果你在集群已经启动过之后再次格式化NameNode 会生成一个新的 clusterID但 DataNode 的本地数据目录里还是旧 clusterID启动后 DataNode 会拒绝连接Web 界面显示 Live Nodes 为 0。如果确实需要重新格式化必须把所有节点上的数据目录都清理干净然后再格式化最后再启动。清理命令是rm -rf /home/hadoop/hadoopdata/data/* # 三台机器都要清理尤其是 master 的 name 目录和 slave 的 data 目录这一点单独记下来可以减少很多不必要的排错时间。4.2 启动HDFS和YARN判断进程是否正常格式化完成后先启动 HDFS再启动 YARN。在 master 上执行start-dfs.sh start-yarn.sh为什么不直接执行 start-all.shstart-all.sh 虽然一条命令能启动所有服务但如果过程中某个服务启动失败日志混杂在一起排查起来比较痛苦。分步启动的好处是能准确定位问题在 HDFS 还是 YARN。启动过程中master 会自动 SSH 到 slave1 和 slave2 上启动对应进程日志里能看到 Added a new node表示远端节点启动成功。启动完成后用 jps 命令检查各节点进程。jps 是 JDK 自带的小工具专门显示 Java 进程信息Hadoop 所有守护进程都是 Java 进程所以可以直接用 jps 来看。正常情况下三台机器输出应该是这样的master 节点NameNode ResourceManager SecondaryNameNode Jpsslave1 和 slave2 节点DataNode NodeManager Jps如果某个进程缺失比如 slave 上没有 DataNode那就要去对应的日志目录查看报错信息了。这里再补充一个有用的命令。在 master 上执行hdfs dfsadmin -report这个命令会列出当前活跃的 DataNode 数量、每台 DataNode 的存储容量和使用情况。如果输出里能看到 slave1 和 slave2 两个节点且状态正常就说明 HDFS 层面已经 OK 了。4.3 通过Web UI和命令行双重验证进程层面验证完再通过 Web UI 确认一遍更放心。Hadoop 3.x 的 NameNode Web 界面端口是 9870不是网上很多老教程里的 50070。ResourceManager 的 Web 界面端口是 8088。在宿主机浏览器里访问http://192.168.137.101:9870打开的是 HDFS 管理界面能看到文件系统目录、DataNode 状态、集群容量等。再访问http://192.168.137.101:8088打开的是 YARN 资源管理界面能看到 NodeManager 列表和正在运行的作业。很多新手在这一步打不开网页第一个反应是操作系统防火墙但 Ubuntu 默认没有开 ufw所以更常见的原因其实是虚拟机的网络模式问题。确认在宿主机上能 ping 通 192.168.137.101再检查浏览器访问的 IP 是否和虚拟机 IP 一致。如果还是不行可以在虚拟机内部用 curl 测试curl http://localhost:9870能返回一堆 HTML 代码说明 Web 服务本身是正常的问题出在宿主机到虚拟机的网络链路上。4.4 跑一个WordCount验证分布式计算全链路进程都起来了Web 界面也能打开最后跑一个 MapReduce 作业验证整个集群真的能干活。最经典的例子就是 WordCount统计一段文本中每个单词出现的次数。Hadoop 发行包自带了示例程序不需要自己写代码。先在 HDFS 里创建输入目录hdfs dfs -mkdir -p /wordcount/input把 Hadoop 的某个配置文件上传作为输入数据hdfs dfs -put /usr/local/hadoop/etc/hadoop/core-site.xml /wordcount/input/确认上传成功hdfs dfs -ls /wordcount/input接下来在 master 上提交 WordCount 作业hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /wordcount/input /wordcount/output注意输出目录 /wordcount/output 必须是不存在的如果已经存在作业会直接报错。提交后终端会滚动输出 Map 和 Reduce 的进度最后能看到类似 “File System Counters”、“Map-Reduce Framework” 的统计信息。执行完成后查看结果hdfs dfs -cat /wordcount/output/part-r-00000如果能看到 word 和对应计数的输出就说明这一整套集群从存储到计算都已经正常工作了。这时候可以说三台虚拟机的 Hadoop 集群搭建算是真正完成。5. 常见问题与排查技巧实录集群搭得再顺利也难免遇到几个波折。这里把我在多次搭建过程中遇到的典型问题、排查思路和解决方案整理一下。这些问题在 Stack Overflow 和各大技术社区里出现频率都很高提前了解能省下不少时间。5.1 DataNode起不来的经典原因clusterID不一致现象master 上执行 start-dfs.sh 后slave 上的 DataNode 进程没有出现查看 $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave1.log里面报告 “Incompatible clusterIDs”。原因我前面提过格式化 NameNode 后再启动集群如果各节点数据目录里的 clusterID 和 NameNode 不一致DataNode 会被拒绝注册。这个情况在重复搭建多节点集群时太常见了常常是 master 上的 name 目录已经被清理并重新格式化但 slave1 和 slave2 的 data 目录还留着旧数据。解决在所有节点上删除 HDFS 数据目录下的内容然后在 master 上重新格式化 NameNode。# 所有机器执行 rm -rf /home/hadoop/hadoopdata/name/* rm -rf /home/hadoop/hadoopdata/data/* # 只在 master 执行 hdfs namenode -format删除前确认目录正确别把 HDFS 数据目录和系统其他目录搞混。之后重新 start-dfs.sh 就能正常启动。5.2 Web界面打不开或Live Nodes显示为0现象一宿主机浏览器访问 http://192.168.137.101:9870 无法打开。排查思路先确认 Web UI 进程已启动。执行 jps 看 master 上是否有 NameNode 进程。然后检查网络连通性宿主机 ping 虚拟机 IP如果 ping 不通检查 VMware 网络设置和虚拟机内部 IP。如果 ping 得通但浏览器打不开尝试用虚拟机内部 curl localhost:9870能返回代码就说明是外部访问被拦检查 Windows 防火墙是否拦截了虚拟机网段的入站连接。注意 Linux 网络栈的默认行为以及是否启用过 ufw。现象二Web UI 能打开但显示 Live Nodes 为 0或者只有一个 Live Node。排查思路先看 slave 上 DataNode 是否启动如果没启动看日志找原因。很多时候问题出在 core-site.xml 里 fs.defaultFS 写错了主机名导致节点之间无法正确注册。先检查 hosts 文件是否在所有节点都维护正确。其次确认 workers 文件里没有残留 localhost。最后确认数据目录没有重复使用不同 clusterID 的旧数据。5.3 免密登录失败与known_hosts问题现象执行 start-dfs.sh 时终端提示输入密码而不是自动免密连接。原因SSH 免密配置没生效可能是公钥没有正确分发也可能是文件权限不对。排查先在 master 上手动执行 ssh slave1观察是否有密码提示。如果失败检查 ~/.ssh 目录权限是否为 700authorized_keys 权限是否为 600。如果权限没问题再把每台机器的公钥重新 ssh-copy-id 一遍。另外一个奇怪但实际会遇到的问题是前期测试免密正常但一段时间后又开始要密码。可能是系统某个进程重建了 home 目录里的 .ssh或者有管理员权限的用户把 authorized_keys 覆盖了。我的建议是遇到这类问题直接重新 ssh-copy-id 一次比深挖原因更快。5.4 内存不足、磁盘不足导致作业失败现象集群启动没问题但提交 WordCount 后作业一直卡在 ACCEPTED 或 RUNNING 状态最后失败。原因典型的是 YARN 容器内存分配超出物理内存。默认情况下NodeManager 会认为物理内存有很多然后给每个容器分配较大的内存可虚拟机只有 2G 内存于是作业还没跑就 OOM 了。解决在 yarn-site.xml 里增加下面这些配置限制每个容器的内存上限property nameyarn.nodemanager.resource.memory-mb/name value1536/value /property property nameyarn.scheduler.maximum-allocation-mb/name value1536/value /property property nameyarn.scheduler.minimum-allocation-mb/name value256/value /property property nameyarn.nodemanager.vmem-check-enabled/name valuefalse/value /propertyyarn.nodemanager.vmem-check-enabled 设置为 false可以避免虚拟内存检查导致容器被误杀。如果你改完配置发现集群起不来记得把配置同步到所有节点的 Hadoop 安装目录然后重启 YARNstop-yarn.sh start-yarn.sh磁盘不足也是常见问题。默认虚拟机给 20G 磁盘格式化完 NameNode、复制软件包再存几个输入文件可能就满了。df -h 查看磁盘使用率如果接近 100%清理 apt 缓存或调整虚拟机磁盘大小。5.5 善用虚拟机快照降低重装成本这一条不是报错排查但却是能让你少走很多弯路的重要技巧。虚拟机最强大的功能就是快照和克隆。我的习惯是每完成一个重要阶段就创建一个快照命名清晰比如刚装好Ubuntu未配置网络和JDK已配置Hadoop配置完成集群初始化成功后可正常运行这样如果后续操作把环境搞坏了不用重新装系统或者重新敲一遍配置直接回滚到上一个快照点几分钟就能恢复。举例来说如果配置完 Hadoop 后发现某个配置文件改得很混乱可以直接回滚到“Hadoop配置完成”之前的快照重新修改。如果你做实验时把 HDFS 里存了很多无用文件或者不小心删了重要目录快照也能救你。把快照当作“集群上车险”成本低但关键时刻非常有用。另外再提醒一下克隆虚拟机时如果选择“链接克隆”会依赖母盘母盘被删除后克隆机就起不来。建议创建“完整克隆”虽然慢一点、占空间但独立性和稳定性都好很多。克隆完之后记得修改主机名和 IP否则两台机器同名同 IPSSH 和 Hadoop 都会乱套。写完这些我回想了一下自己第一次搭三节点集群时的经历前前后后花了整整一个周末踩遍了上面所有坑。如果你按这篇顺序一步一步来周末之内搭完应该是没问题的。后面如果想让这套集群更有“生产感”可以试着把 Zookeeper、HBase、Hive 也装上去让 Hadoop 生态逐步丰满起来。