企业官网建设流程全解析

Hadoop伪分布式【单机】安装，这个标题我见过太多次了。隔三差五就有人拿着报错截图来问，DataNode没起来、9000端口连不上、格式化两次直接崩盘。其实单机装伪分布式真不难，难的是版本对不上、配置文件漏改、启动顺序颠倒这三类问题。这篇文章就把整条路从头到尾拆开讲，你照着走一遍，大部分坑都能提前避开。它适合正在学Hadoop的开发者、准备课程设计或毕业设计的学生，以及想在本地搭一套HDFS+YARN环境做实验的人。装完之后你不仅能跑通WordCount，以后出了问题也知道该翻哪个日志、查哪个配置项。

1. 先把“伪分布式”这三个字拆明白

很多新手看到“伪分布式”就懵了，既然叫分布式，为什么又说是“伪”的？在装之前不把这件事理清楚，后面配置时就会一直纠结“我到底该配几个节点”。

1.1 三种模式别搞混

Hadoop的部署模式大致分三种，理解它们之间的区别，你才知道自己在做什么：

本地模式其实什么都没启动，你用一个命令直接跑MapReduce，输入输出走本地文件系统，它只是“单机跑程序”。伪分布式不一样，它会真正启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，每个进程都是独立的JVM，只不过全部挤在同一台物理机上。全分布式才是把不同角色分配到不同服务器，由网络把它们串起来。

伪分布式“伪”在物理节点只有一个，但逻辑角色是齐的。这也是它的价值所在：你的电脑虽然只有一块硬盘、一个CPU，但文件系统用的是HDFS，计算调度用的是YARN，跑任务的逻辑和真实集群几乎一样。

1.2 为什么单机还要模拟“分布式”

有人会问：我就在本机写代码，直接用本地模式不就行了，为什么要吃力地搭一套伪分布式？

最直接的原因是学习成本。你以后无论去公司还是自建集群，接触的都是NameNode、DataNode、ResourceManager、NodeManager这一套。如果没在伪分布式环境里摸过这些进程，直接上真实集群会手足无措。伪分布式把机器数量降到最低，却保留了完整的角色划分，是性价比最高的学习路径。

另外，很多组件对HDFS有强依赖。你想跑Spark、Hive、HBase，它们默认要从HDFS读数据。本地模式没有真正的HDFS NameNode和DataNode，很多分布式语义无法体现。伪分布式就是你学习这些框架之前，必须先搭好的底座。

还有一点很现实：伪分布式对硬件要求不高，一台4G内存的笔记本就够跑。装好了随时可以删了重来，不用纠结机房、网络、磁盘阵列这些事，专注在框架本身。

2. 环境准备：版本配对和目录规划先行

我帮别人排查安装问题时，发现七八成的失败不是操作不对，而是环境没准备好就开始配了。所谓“磨刀不误砍柴工”，先把下面三件事做扎实。

2.1 JDK版本与Hadoop版本该怎么配对

Hadoop是用Java写的，所以JDK是第一依赖。版本配对是最容易翻车的地方。拿我实际用过的组合来说，JDK 8加Hadoop 2.7系列、2.8系列都是很稳的经典搭配；Hadoop 3.1、3.2、3.3这些版本，用JDK 8也基本没问题。等到Hadoop 3.4以后，有的版本开始对JDK版本有更高要求，如果你跟着老教程安装，很容易出现编译版本不匹配的报错。

我建议新手直接选一套经过验证的组合，不要盲目追求最新版。例如“JDK 8 + Hadoop 3.3.4”，资料多、踩坑记录全，遇到问题搜索一下就能找到解决方案。安装JDK之后，第一件事就是看版本：

java -version

输出里要能看到版本号，比如“1.8.0_xx”。如果没有输出，先检查JAVA_HOME环境变量和PATH里有没有把$JAVA_HOME/bin加进去。

另外要注意，Hadoop的启动脚本是靠JAVA_HOME找Java的，所以这个变量必须配好。你可以在/etc/profile或者~/.bashrc里写：

export JAVA_HOME=/usr/local/jdk1.8.0_xxx export PATH=$JAVA_HOME/bin:$PATH

写完之后执行source /etc/profile或source ~/.bashrc让它生效。这里埋一个伏笔：后面改hadoop-env.sh时还要再填一次JAVA_HOME，因为Hadoop脚本不一定吃系统环境变量，这是另一个常见坑。

2.2 配置SSH免密登录，这一步省不了

伪分布式虽然只有一台机器，但Hadoop的启动脚本start-dfs.sh在启动时会通过SSH连接localhost来拉起各个守护进程。如果不配免密，脚本会卡在密码输入那里，或者直接报错。

配置方法很简单，但每台机器的操作细节略有不同。最通用的做法是：

ssh-keygen -t rsa -P ''

执行后会在~/.ssh/下生成公钥和私钥。接着把公钥追加到本机的授权列表里：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys

最后测试一下：

ssh localhost

如果能直接进入Shell而不要求输入密码，说明免密生效了。如果还要密码，看一眼当前用户主目录权限是否过宽，比如~目录是777就容易被SSH拒绝；把权限收紧到755一般就能解决。

我遇到过一种情况：用户以root身份配置的免密，但Hadoop进程是用另一个用户启动的，结果启动时照样要密码。记住，谁启动Hadoop，谁就要配谁的免密，这和环境变量一样，不能混着用。

2.3 下载、解压与数据目录规划

下载Hadoop时，尽量从官网或镜像站找对应版本的tar.gz包，别在乱七八糟的博客里扒下载链接，容易下到被改过的包。解压到一个路径清爽的目录，比如/opt/hadoop/或/home/你的用户名/bigdata/hadoop-3.3.4。路径里尽量不要有空格，Windows里装在Program Files下会引发各种诡异问题，Linux倒还好，但我也建议统一放/opt或自己的家目录。

解压之后，建议建一个软链接指向当前版本：

ln -s /opt/hadoop/hadoop-3.3.4 /opt/hadoop/current

这样你以后升级版本，只需要换一下链接，环境变量不用改来改去。

然后设置Hadoop相关的环境变量：

export HADOOP_HOME=/opt/hadoop/current export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

sbin目录里都是start、stop开头的脚本，很多教程忘了说要把sbin加进PATH，结果执行start-dfs.sh的时候提示找不到命令。

还有一个新手最容易忽视的点：数据目录要单独规划。Hadoop默认把数据放在/tmp下，操作系统重启一清理，你的NameNode元数据就没了，下次启动直接报错。我习惯建一个统一的数据目录，例如：

mkdir -p /data/hadoop/tmp mkdir -p /data/hadoop/namenode mkdir -p /data/hadoop/datanode

这三个目录分别对应Hadoop临时目录、NameNode元数据目录、DataNode数据块目录。后面配置时会用上。如果磁盘分区方便，我建议把数据目录放在独立分区或独立磁盘，避免和系统盘抢空间。虽然是伪分布式，但这个习惯要尽早养成。

3. 几个核心配置文件，改对它们就成功了一半

Hadoop安装目录下的etc/hadoop/里有一堆xml和sh文件。新手最容易像无头苍蝇一样挨个打开乱改，其实伪分布式只需要盯住五个文件。每个文件里都有明确职责，我按启动顺序讲。

3.1 hadoop-env.sh：先填对JAVA_HOME

这个文件是Hadoop环境变量的总入口。打开后找到JAVA_HOME那行，把它改成你的JDK绝对路径，例如：

export JAVA_HOME=/usr/local/jdk1.8.0_xxx

注意，不要只在系统环境变量里配了JAVA_HOME就觉得万事大吉。Hadoop的很多脚本在执行时会重新加载hadoop-env.sh，如果这里没填对，启动NameNode时会提示找不到Java。我见过有人明明java -version有输出，但Hadoop就是起不来，最后发现是这里少配了。

如果你用root用户运行Hadoop，在Hadoop 3.x版本里还需要在这个文件里加一段：

export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

不做这步，有些版本启动时会报“Permission denied”或者直接告诉你不能以root执行。这是Hadoop为了安全做的一个限制，但学习环境为了方便，可以这样显式指定。

3.2 core-site.xml：决定默认文件系统地址

core-site.xml是全局核心配置。伪分布式中，最少要改两个属性。第一个是fs.defaultFS，它决定了Hadoop默认连哪个NameNode：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> </configuration>

这里的9000是NameNode的RPC通信端口。如果这台机器上9000端口被其他程序占了，你可以换一个，比如8020或9001，但换完之后后面所有涉及到这个地址的地方都要保持一致。

第二个是hadoop.tmp.dir。前面我已经强调了不要用默认的/tmp，这里把它指向之前建好的/data/hadoop/tmp。有些版本的Hadoop在格式化时还会检查这个目录是否存在，如果Hadoop自动创建失败，你需要先mkdir -p建好目录。

3.3 hdfs-site.xml：副本数和数据目录是关键

hdfs-site.xml管的是HDFS本身。对于伪分布式，必须做两件事：

第一件，把副本数改成1。默认副本数是3，这在伪分布式里会出问题，因为你这台机器上只有一个DataNode，文件块会被尝试复制到第二个和第三个节点，导致块上报一直不健康。配置如下：

<property> <name>dfs.replication</name> <value>1</value> </property>

第二件，显式指定NameNode和DataNode的数据存储目录。虽然配置了hadoop.tmp.dir后，Hadoop会默认在其下创建目录，但为了以后好排查，我习惯直接写清楚：

<property> <name>dfs.namenode.name.dir</name> <value>file:///data/hadoop/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///data/hadoop/datanode</value> </property>

生产环境中，dfs.namenode.name.dir和dfs.datanode.data.dir都可以配置多个路径做冗余，比如不同磁盘用逗号分隔。伪分布式里没必要，一个路径够了。但要注意，这两个目录在格式化前最好为空，否则会干扰初始化流程。

3.4 mapred-site.xml与yarn-site.xml：计算框架怎么跑

MapReduce计算是在YARN之上调度运行的，所以要先告诉MapReduce“我用YARN作为资源调度框架”。在Hadoop 2.x版本中，这个文件默认叫mapred-site.xml.template，你需要先复制一份：

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Hadoop 3.x版本已经带了mapred-site.xml，直接编辑即可。关键配置就一项：

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

然后看yarn-site.xml。伪分布式中最关键是yarn.nodemanager.aux-services，这个参数是给NodeManager用的，它告诉NodeManager要对外提供什么辅助服务。MapReduce的Shuffle阶段需要它：

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_HOME,HOME</value> </property>

有的版本还需要设置yarn.resourcemanager.hostname，把它指向localhost即可。我通常还会顺便把虚拟内存检查关掉，这个放在后面“常见问题”里讲，因为它跟内存配置强相关。

3.5 workers或slaves文件：别漏了这个简单配置

在Hadoop 2.x里，这个文件叫slaves；Hadoop 3.x里叫workers。它告诉Hadoop集群里有哪些节点。伪分布式里只有一台机器，所以内容就一行：

localhost

千万别把localhost这一行删掉，否则执行start-dfs.sh时，脚本可能找不到任何DataNode，或者启动后节点列表为空。

到这里，核心配置文件就改完了。我还有一个习惯：改完配置文件后，立刻整个目录备份一次。

cp -r $HADOOP_HOME/etc/hadoop /data/backup/hadoop-config-before-format

以后你乱改出了问题，直接拿备份覆盖回来，比手动还原快很多。

4. 初始化与启动：格式化NameNode，再分步验证

配置完成后，就到了最容易出情绪波动的阶段。其实只要按顺序来，就不会有问题。

4.1 格式化NameNode，只做一次就好

格式化NameNode相当于为HDFS建立一套初始的元数据。执行命令：

hdfs namenode -format

看到输出里出现“successfully formatted”这一类的提示，说明成功了。

这里必须记住一条铁律：NameNode只能格式化一次。如果你因为好奇，反复执行格式化命令，或者删了数据目录后重新格式化，就会造成NameNode的clusterID和DataNode的clusterID不一致。后续启动时DataNode会一直拒绝注册，表现就是jps能看到NameNode，但看不到DataNode，或者Web界面里Live Nodes是0。

万一真的多次格式化了怎么办？最简单的办法，是停掉所有进程后，把dfs.namenode.name.dir和dfs.datanode.data.dir两个目录下的current子目录都清空，然后再格式化一次。这是一个“重置环境”的操作，学习环境中完全可行。有经验的同事还有一个更精准的办法：去DataNode目录下的VERSION文件里，把clusterID改成NameNode目录下VERSION文件里的同一个值，这样不用清理数据就能对齐，但对新手来说，直接清空重来更省心。

格式化时如果报“storage directory not exist”或类似找不到目录的错误，多半是你没有提前建好/data/hadoop/namenode和/data/hadoop/datanode目录，或者目录权限不属于当前用户。用mkdir -p建目录，再用chown -R把归属改给运行Hadoop的用户。

4.2 启动HDFS与YARN，按顺序来

启动HDFS：

start-dfs.sh

启动YARN：

start-yarn.sh

不建议一上来就用start-all.sh。虽然它也能启动，但把所有日志混在一起，出了问题不好定位。分步启动，你能更清楚地看到是哪一部分失败了。

启动过程中，脚本会依次连接localhost并拉起进程，如果前面配好了SSH免密，这一步应该很顺畅。如果某个进程启动失败，屏幕上通常只会显示一句话，真正的细节在日志里。日志目录默认在$HADOOP_HOME/logs/，里面有类似hadoop-当前用户-namenode-主机名.log这样的文件。看日志时不要只看最后几行，要用grep ERROR或grep Exception去匹配关键字，效率高得多。

4.3 jps验证进程是否齐全

检查是否启动成功，最直接的工具是jps，它是JDK自带的、用来查看当前用户启动的Java进程的命令。输入：

jps

伪分布式正常启动后，你应该能看到以下五个进程：

NameNode DataNode SecondaryNameNode ResourceManager NodeManager

如果哪个进程缺失，就按“日志里找错误”的思路去排查。比如缺失DataNode，就看DataNode的启动日志；缺失ResourceManager，就看ResourceManager的日志。

除了jps，还要学会看Web界面。Hadoop 3.x里，NameNode的Web界面默认端口是9870，Hadoop 2.x是50070。打开浏览器访问：

• HDFS管理界面：http://localhost:9870
• YARN资源管理界面：http://localhost:8088

在HDFS界面里，能看到NameNode的集群ID、Live Nodes数量。正常状态下Live Nodes是1，如果显示为0，说明DataNode没有成功注册。在YARN界面里，能看到Active Nodes数量，正常也是1。

4.4 跑一个WordCount，验证全链路通了

环境起来了，但HDFS能不能读写、YARN能不能调度任务，需要跑一个官方自带的MapReduce示例来检验。WordCount是最经典的选择。

先在HDFS里创建输入目录：

hdfs dfs -mkdir -p /input

上传配置文件作为测试数据：

hdfs dfs -put $HADOOP_HOME/etc/hadoop/core-site.xml /input/

查看是否上传成功：

hdfs dfs -ls /input

然后执行WordCount：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

注意/output这个输出目录不能事先存在，如果上次跑过一次，必须先删掉或换个新路径：

hdfs dfs -rm -r /output

任务执行过程中，你可以在YARN的Web界面里看到一个Running的Application，点进去能看到Map和Reduce的进度。执行结束后，查看结果：

hdfs dfs -cat /output/part-r-00000 | head

能看到统计出的单词出现次数，说明HDFS、YARN、MapReduce整条链路都通了。到这一步，你的伪分布式环境才算真正“能用”。

5. 常见问题排查实录：那些年我们都踩过的坑

这部分是重点。我当初装这个环境的时候，踩过的坑比谁都多。这里把高频问题按现象分类整理出来，以后你遇到类似问题，直接对照解决。

5.1 DataNode启动后自动消失或注册失败

这是出现频率最高的一个问题。现象是start-dfs.sh执行后，jps里能看到NameNode，但就是没有DataNode，或者Web界面的Live Nodes一直是0。

绝大多数原因是clusterID不一致。这个坑在前面讲过，源于多次格式化。解决办法要么清空数据目录重新格式化，要么手动把DataNode的VERSION文件里的clusterID改成和NameNode一致。

另一个原因是dfs.datanode.data.dir配置的目录没有写权限。Hadoop启动DataNode时需要在目录里创建current/目录，如果当前用户没权限，就会启动失败。解决办法：

chown -R 你的用户名 /data/hadoop/datanode

还有一种比较隐蔽的原因：DataNode进程起来了，但日志里一直报磁盘空间不足。伪分布式环境下，如果你给HDFS分配了过多存储空间，而系统盘本来就快满了，DataNode会频繁告警。这时要么清理磁盘，要么把数据目录放到空间更充裕的分区。

5.2 端口被占用、防火墙导致Web界面打不开

如果NameNode起了，但9000端口连不上，执行：

netstat -tlnp | grep 9000

看看端口是不是被其他进程占用。如果有冲突，可以把core-site.xml里的fs.defaultFS改成一个新端口，然后重启HDFS。这里顺便提醒一句，改完端口后，HDFS上已经上传的数据不受影响，但如果你设置了依赖固定端口的客户端配置，要同步修改。

Web界面打不开，可能是防火墙问题。在本机测试时，可以临时关闭防火墙：

systemctl stop firewalld

或者直接放行对应端口。如果你用的是云服务器，还需要在安全组里放行，这个和系统防火墙是两回事，别只改一边。

5.3 内存不足与虚拟内存超限

伪分布式环境最典型的硬件瓶颈就是内存。跑WordCount时，经常会看到类似这样的报错：

Container is running beyond virtual memory limits

原因是YARN在调度时，默认会检查容器使用的虚拟内存是否超过物理内存配额。在单机、内存有限的情况下，这个检查很容易误伤。学习环境下，可以在yarn-site.xml里临时禁用：

<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property>

注意，这只是学习环境的偷懒做法，生产环境千万别这么干。更好的做法是调大内存参数，比如在yarn-site.xml里配置：

<property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property>

如果你的机器只有4G内存，我建议把Map和Reduce的堆内存也调小一点，例如在mapred-site.xml里设置：

<property> <name>mapreduce.map.memory.mb</name> <value>512</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>512</value> </property>

不然很多时候不是配置错了，而是内存真不够。

5.4 常见错误速查表

5.5 排查问题的通用思路

我排障时有个习惯：先看进程，再看端口，最后看日志。进程看的是“它到底起没起”，端口看的是“它到底监听在哪”，日志看的才是“它为什么没起来”。这个顺序能帮你快速缩小范围，而不是一上来就翻日志最后把眼睛看花。

另外，改动任何配置后，一定要执行一次完整的停止再启动：

stop-dfs.sh stop-yarn.sh start-dfs.sh start-yarn.sh

只改配置文件不重启，很多时候你以为生效了，其实进程里还是老配置，排查了半天才发现根本没加载新的。

6. 伪分布式环境还能怎么用

环境搭好不是终点，它是你学习大数据技术的起点。但这个环境能做什么、不能做什么，心里要有个数。

6.1 能做什么，不能做什么

伪分布式能支撑的任务包括：学习HDFS的目录操作、权限、文件块机制；验证MapReduce程序逻辑；跑通Hive、Spark等框架的本地试验；做课程设计里的小规模数据处理。

但它模拟不了真实分布式环境中的网络分区、节点故障、数据倾斜、集群扩缩容等问题。如果你在一个4G内存的伪分布式环境里，硬要处理几个GB的数据，大概率会卡到怀疑人生。伪分布式的定位是“给你一台机器，让你体会分布式系统的核心机制”，不是替代生产集群。

6.2 小实验的延伸方向

把这个环境跑熟之后，你可以往三个方向延伸。第一，尝试用Hive做SQL化查询，安装Hive时它会复用已搭好的HDFS和YARN，你会对“元数据存储”和“数据存储”的分离有更直观的感受。第二，尝试跑Spark的Pi或WordCount示例，对比Spark和MapReduce在任务调度上的差异。第三，等条件具备，可以再把这几台进程拆到两台虚拟机上，形成一个最小规模的“真”分布式集群，你会发现大数据量下分布式优势才能真正体现出来。

另外，我建议你把这个环境的启动和停止写成一个脚本。比如start-hadoop.sh里依次调用：

start-dfs.sh start-yarn.sh

stop-hadoop.sh反过来。这样每次开机后用一条命令就能拉起整个环境，而不是挨个敲命令。脚本里还可以加上jps的自动检查，提示你是否启动完整。

6.3 几条实打实的个人建议

第一次装的时候，不要急着追求所有组件最新。我见过太多人拿着最新版Hadoop、最新版JDK，跟着两年前的老教程配置，结果报错信息网上搜都搜不到。先选一套成熟的稳定组合，跑通之后再考虑升级。

数据目录一定要独立。我因为偷懒把Hadoop数据放在默认的/tmp里，结果一次重启后NameNode元数据全丢，那种“辛辛苦苦三十年，一夜回到解放前”的感觉，相信你不想体验。

日志里出现了ERROR不要慌。Hadoop的日志信息量很大，报错关键词往往在中间几行，不在末尾。先搜ERROR、Exception、Caused by，大多数问题都能在5分钟内定位。如果真的搜不到，就把关键报错行复制到社区或搜索引擎里，基本都能找到类似案例。

最后再说一个我踩过的坑：记得给虚拟机或电脑做一个快照或备份。伪分布式环境配置好后，如果后面还要搭Hive、Spark，建议先备份整个虚拟磁盘。这样即使后面搞崩了，也能一键恢复，节省大量重装时间。用它做实验，别怕把它弄坏，大胆折腾，才是学习的最佳方式。