Win11与Win10性能对比及优化实战指南
2026/7/22 4:25:50
大数据Hadoop运维应用实践——通过Ambari自动化部署hadoop集群（上）https://blog.csdn.net/xiaochenXIHUA/article/details/163052607
一、在Ambari Web管理界面创建hadoop集群
在浏览器打开Ambari Web管理界面登录，然后点击左侧的【Cluster Information】打开对应的界面点击【LAUNCH INSTALL WIZARD】进行创建hadoop集群，详细操作如下：
1.1、Get Started界面配置
Get Started界面输入hadoop集群的自定义名称（如：ckbigdata）后点击右下角的【NEXT】按钮。
1.2、Select Version界面配置
Select Version界面选择版本使用默认的【HDP-3.1】即可，然后选中【Use Local Repository】并配置使用本地仓库的地址内容，在配置前需要将其他系统的选项点击右侧的【-Remove】移除掉，只保留与当前系统一致的版本【redhat7】并配置上对应的参数，最后点击右下角的【NEXT】。
| redhat7的选项 | 配置的参数 |
|---|---|
| HDP-3.1 | http://192.168.1.119/soft/hdpsoft/HDP/centos7/3.1.4.0-315/ |
| HDP-3.1-GPL | http://192.168.1.119/soft/hdpsoft/HDP-GPL/centos7/3.1.4.0-315/ |
| HDP-UTILS-1.1.0.22 | http://192.168.1.119/soft/hdpsoft/HDP-UTILS/centos7/1.1.0.22/ |
1.3、Install Options界面配置
Install Options界面的Target Hosts下配置hadoop集群的主机名称（如：nnmaster.hdp、yarn.hdp、slave01.hdp；注意：一个主机名称一行；这里只用三个节点，留着最后一个节点用于后续扩容使用）；然后将中控机（如：192.168.1.119）的私钥（cd ~/.ssh/目录下的id_ed25519）上传到“Host Registration Information”下面，并且设置用户名root与端口22222，最后点击右下角的【REGISTER AND CONFIRM】按钮进行注册并确认，如下图所示：
1.4、Confirm Hosts界面配置
Confirm Hosts界面等待配置安装完成（全部显示 Success）后，点击【NEXT】。
注意：若Confirm Hosts界面的服务器节点安装状态status一直显示"Preparing"超过5分钟，则不正常，按照如下方法排查解决！！！
#解决"Confirm Hosts"界面主机的status超过5分钟还在显示Preparing【排除网络、防火墙、端口问题后、则是节点已有旧 ambari-agent 残留冲突（旧 agent 进程占用端口、文件锁导致推送卡死）】 #1-在ambari server端口查看日志定位故障原因 tail -f /var/log/ambari-server/ambari-server.log #1.2在卡住的节点执行 tail -f /var/log/ambari-agent/ambari-agent.log #2-所有节点执行卸载清理 systemctl stop ambari-agent yum remove -y ambari-agent rm -rf /var/lib/ambari-agent* /etc/ambari-agent* /var/log/ambari-agent /tmp/ambari* rm -rf /var/cache/yum/* yum clean all #3-重置 ambari-server 服务 ambari-server stop ambari-server reset ambari-server setup #3.1-首先输入【y】接着输入自定义的管理ambari-server的用户【ambari】; #3.2-接着输入【2】选择自定义的JDK，然后输入JAVA_HOME目录【/opt/openjdk/default】； #3.3-接着输入【y】下载安装 GPL Licensed LZO packages； #3.4-接着输入【y】进行数据库的高级配置，输入【3】表示选择mysql或mariadb数据库，然后按下4次Enter键保持（主机名称、端口、数据库名称、用户名称）默认值、然后输入刚才配置的密码qwer1234后按下Enter键； #3.5-接着输入【y】表示ambari使用的jdbc驱动包/usr/share/java/mysql-connector-java.jar存在； #3.6-接着复制下【/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql】用于后续启动Ambari-server前执行该脚本进行数据库初始化操作，然后输入【y】等待高级配置完成； #3.7-进入数据库执行【/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql】初始化数据（初始化时不能有任何错误，否则需要将ambari库删除后重新创建再次执行初始化） mysql -uroot -p show databases; drop database ambari; CREATE DATABASE IF NOT EXISTS ambari DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; use ambari; source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; quit ambari-server start #3-重启所有服务器（之后登录到ambari web界面重新配置） reboot now1.5、Choose Services界面配置
Choose Services界面按照基础性原则，只勾选必须的服务，后续可以按需求再次安装所需的服务即可；最后点击【NEXT】按钮。
| Choose Services界面的必须安装服务 |
|---|
| YARN + MapReduce2 |
| ZooKeeper |
| Ambari Metrics |
| SmartSense（该组件是免费试用组件，过期后需订阅购买服务；后续可以直接卸载掉） |
1.6、Assign Masters界面配置
Assign Masters界面主要是配置指定组件运行在哪些节点上；分配完成后，点击右下角的【NEXT】按钮。
| Assign Masters组件 | 说明 |
|---|---|
| SNameNode | SNameNode是定时备份NameNode的元数据； 不能与NameNode同属一台服务器，必须分开！！！ |
| NameNode | 主节点，选择【nnmaster.hdp】节点 |
| Timeline Service V1.5 | 是计算相关的服务，因此必须选择【yarn.hdp】节点 |
| ResourceManager | 资源管理服务，选择【yarn.hdp】节点 |
| Timeline Service V2.0 Reader | 是计算相关的服务，因此必须选择【yarn.hdp】节点 |
| YARN Registry DNS | Yarn的注册的DNS服务，因此必须选择【yarn.hdp】节点 |
| History Server | 历史记录服务，选择【yarn.hdp】节点 |
| ZooKeeper Server | 必须是基数个节点配置，目前只有3个节点，因此每个节点都部署一个ZooKeeper Server服务即可 |
| Metrics Collector | 数据收集服务，选择【nnmaster.hdp】节点 |
| Grafana | 数据的图形化展示界面，选择【nnmaster.hdp】节点 |
| Activity Analyzer | 活动分析服务，选择【nnmaster.hdp】节点 |
| Activity Explorer | 活动资源管理服务，选择【nnmaster.hdp】节点 |
| HST Server | 默认择选择【nnmaster.hdp】节点 |
1.7、Assign Slaves and Clients界面配置
Assign Slaves and Clients界面是分配从节点与客户端角色，分配完成后，点击右下角的【NEXT】按钮。
Assign Slaves and Clients分配节点角色 | 说明 |
|---|---|
| nnmaster.hdp | 主节点，不用勾选任何内容 |
| yarn.hdp | 勾选【Client】 |
| slave01.hdp | 用于存储于计算，勾选【DataNode】【NodeManager】 |
1.8、Customize Services界面配置
Customize Services界面配置相关服务的账户密码、数据存储路径、各类服务用户、配置等内容：
| Customize Services界面配置服务 | 说明 |
|---|---|
| Grafana Admin | 数据可视化界面的管理员账号密码配置（如：账号admin、密码：qazxc123） |
| Activity Explorer's Admin | 活动资源管理器的管理员密码配置（如：密码：qazxc123） |
| DIRECTORIES | HDFS下的目录配置：
|
YARN目录配置：
| |
MAPREDUCE2目录配置： 都保持默认配置即可； | |
ZOOKEEPER目录配置：
| |
AMBARI METRICS目录配置： 保持默认的目录内容即可； | |
| ACCOUNTS | 各类服务配置了不同的账号，精细化管理，直接保持默认的配置即可 |
| ALL CONFIGURATIONS | HDFS-->SETTINGS配置：
|
YARN-->SETTINGS配置：
| |
MAPREDUCE2-->SETTINGS配置：
| |
ZOOKEEPER、AMBARI METRICS、SMARTSENSE、MISC选项保持默认配置即可 |
1.9、Review界面确认
Review界面浏览配置的内容是否符合要求，没有问题就直接点击右下角的【DEPLOY】按钮后，等待安装完成后最后点击【COMPELETE】按钮即可。
注意：在安装时必须是所有节点都Success，若不是Success则点击右上角的【RETRY】重试，直到都是Success为止。
二、Ambari Web管理界面添加节点或服务
2.1、Ambari Web管理界面添加节点
点击左上角的【Hosts】然后在主机管理界面右上角选择【ACTIONS-->Add New Hosts】打开添加主机界面；然后在【Target Hosts】下的输入框输入需添加的主机名称（如：slave02.hdp）；接着在Host Registration Information下勾选Provide your SSH Private Key to automatically register hosts，然后点击【CHOOSE FILE】上传可访问到该节点的私钥，然后输入ssh的用户root与端口22222，最后点击右下角的【REGISTER ADN CONFIRM】按钮，如下图所示：
2.2、Ambari Web管理界面添加服务
点击左上角的Services-->...-->Add Services即可打开添加服务界面，勾选需要添加的服务，然后点击右下角的【NEXT】按钮操作即可。