企业官网建设流程全解析

1. 项目概述

Apache Hadoop生态组件部署分享-Spark是一个专注于大数据处理框架Spark在Hadoop生态系统中的部署实践的技术分享。作为Hadoop生态系统中最重要的分布式计算引擎之一，Spark以其内存计算能力和丰富的API支持，已经成为企业级大数据平台的核心组件。

我在过去5年参与过多个金融和电信行业的大数据平台建设项目，Spark的部署优化一直是项目实施的关键环节。本文将基于实际生产经验，详细介绍Spark在Hadoop环境中的部署方法、配置优化和常见问题解决方案。

2. 环境准备与规划

2.1 硬件资源配置

Spark集群的硬件配置需要根据数据规模和计算需求进行规划。以下是我们在一个中型金融风控项目中使用的配置参考：

提示：生产环境中建议Master节点配置为奇数个以实现高可用，Worker节点数量根据计算需求动态扩展

2.2 软件版本选择

软件版本兼容性是大数据组件部署的首要考量。以下是经过验证的稳定版本组合：

• Hadoop: 3.3.4 (HDFS+YARN)
• Spark: 3.3.2 (编译时指定Hadoop 3.3支持)
• Java: OpenJDK 11.0.16
• Python: 3.8.10 (如需PySpark支持)
• Scala: 2.12.15 (Spark 3.x推荐版本)

3. Spark集群部署实战

3.1 基础环境配置

在所有节点上执行以下基础配置：

# 设置系统参数 echo "vm.swappiness = 10" >> /etc/sysctl.conf echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf sysctl -p # 配置主机名解析 cat >> /etc/hosts <<EOF 192.168.1.101 spark-master1 192.168.1.102 spark-master2 192.168.1.103 spark-master3 192.168.1.201 spark-worker01 ... EOF # 创建专用用户 groupadd spark useradd -g spark spark echo "spark ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers

3.2 Spark安装与配置

1. 下载并解压Spark安装包：

wget https://archive.apache.org/dist/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt/ ln -s /opt/spark-3.3.2-bin-hadoop3 /opt/spark chown -R spark:spark /opt/spark*

2. 配置Spark环境变量（spark-env.sh）：

export SPARK_MASTER_HOST=spark-master1 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=32 export SPARK_WORKER_MEMORY=110g export SPARK_DAEMON_MEMORY=8g export JAVA_HOME=/usr/lib/jvm/java-11-openjdk export HADOOP_CONF_DIR=/etc/hadoop/conf

3. 配置Worker节点（spark-defaults.conf）：

spark.master spark://spark-master1:7077,spark-master2:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://namenode:8020/spark-logs spark.history.fs.logDirectory hdfs://namenode:8020/spark-logs spark.serializer org.apache.spark.serializer.KryoSerializer spark.driver.memory 8g spark.executor.memory 20g spark.executor.cores 4 spark.default.parallelism 400

3.3 高可用配置

为实现Master节点高可用，需要配置ZooKeeper：

1. 在spark-env.sh中添加：

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER \ -Dspark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181 \ -Dspark.deploy.zookeeper.dir=/spark"

2. 在所有Master节点启动服务：

# 在第一个Master节点 /opt/spark/sbin/start-master.sh # 在其他Master节点 /opt/spark/sbin/start-master.sh --properties-file /opt/spark/conf/spark-defaults.conf

4. 性能调优实践

4.1 内存优化配置

Spark内存管理是关键性能因素。以下是我们通过压力测试得出的优化参数：

spark.memory.fraction 0.8 spark.memory.storageFraction 0.3 spark.shuffle.service.enabled true spark.sql.shuffle.partitions 200 spark.shuffle.spill.compress true spark.io.compression.codec lz4

4.2 动态资源分配

对于多租户环境，建议启用动态资源分配：

spark.dynamicAllocation.enabled true spark.dynamicAllocation.initialExecutors 5 spark.dynamicAllocation.minExecutors 5 spark.dynamicAllocation.maxExecutors 50 spark.dynamicAllocation.executorIdleTimeout 60s

4.3 数据本地化优化

提高数据本地化级别可以显著减少网络传输：

val conf = new SparkConf() .set("spark.locality.wait", "10s") .set("spark.locality.wait.node", "20s") .set("spark.locality.wait.rack", "30s")

5. 运维监控方案

5.1 监控指标收集

配置Prometheus监控Spark指标：

1. 在spark-defaults.conf中添加：

spark.metrics.conf /opt/spark/conf/metrics.properties spark.ui.prometheus.enabled true spark.executor.processTreeMetrics.enabled true

2. metrics.properties配置示例：

*.sink.prometheusServlet.class=org.apache.spark.metrics.sink.PrometheusServlet *.sink.prometheusServlet.path=/metrics/prometheus master.source.jvm.class=org.apache.spark.metrics.source.JvmSource worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

5.2 日志管理

建议将Spark日志集中到ELK栈：

1. 配置log4j.properties：

log4j.rootCategory=INFO, console, file log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.file=org.apache.log4j.DailyRollingFileAppender log4j.appender.file.File=/var/log/spark/spark.log log4j.appender.file.layout=org.apache.log4j.PatternLayout log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

2. 使用Filebeat收集日志发送到Logstash。

6. 常见问题与解决方案

6.1 资源分配问题

问题现象：Executor频繁被YARN杀死，报错"Container killed by YARN for exceeding memory limits"

解决方案：

1. 检查并调整内存参数：

spark.executor.memoryOverhead=executorMemory * 0.1 spark.yarn.executor.memoryOverheadFactor=0.1

2. 对于Python应用，适当增加overhead：

spark.executor.memoryOverhead=max(384, executorMemory * 0.15)

6.2 数据倾斜处理

问题现象：某些Task执行时间远长于其他Task

解决方案：

1. 识别倾斜键：

SELECT key, count(1) FROM table GROUP BY key ORDER BY 2 DESC LIMIT 10;

2. 使用倾斜连接优化：

val skewedKeys = Seq("key1", "key2") // 实际从上面查询获取 val broadcastSkew = spark.sparkContext.broadcast(skewedKeys) df1.join(df2.hint("skew", broadcastSkew.value), "key")

6.3 Shuffle优化

问题现象：Shuffle阶段性能瓶颈

优化方案：

1. 调整Shuffle参数：

spark.shuffle.file.buffer=1MB spark.reducer.maxSizeInFlight=96MB spark.shuffle.io.maxRetries=10 spark.shuffle.io.retryWait=30s

2. 对于SSD存储：

spark.local.dir=/data1,/data2,/data3 # 多磁盘路径

7. 安全配置建议

7.1 认证与授权

1. 启用Kerberos认证：

spark.authenticate=true spark.authenticate.secret=your-secret-key spark.yarn.principal=spark/_HOST@REALM spark.yarn.keytab=/etc/security/keytabs/spark.service.keytab

2. 配置ACL控制：

spark.acls.enable=true spark.admin.acls=user1,user2 spark.ui.view.acls=*

7.2 数据加密

1. 启用传输层加密：

spark.ssl.enabled=true spark.ssl.keyPassword=yourpassword spark.ssl.keyStore=/path/to/keystore.jks spark.ssl.keyStorePassword=yourpassword spark.ssl.trustStore=/path/to/truststore.jks spark.ssl.trustStorePassword=yourpassword

2. 启用Shuffle加密：

spark.io.encryption.enabled=true spark.io.encryption.keySizeBits=256

8. 版本升级策略

从Spark 2.x升级到3.x的建议步骤：

1. 兼容性检查：

spark-submit --packages com.holdenkarau:spark-testing-base_2.12:3.3.0_1.3.0 test

2. 分阶段升级：

• 先升级客户端工具和开发环境
• 在测试集群验证关键作业
• 生产环境滚动升级

3. 特别注意变更：

• DataFrame API的behavior变化
• 废弃的配置参数
• 新的ANSI SQL模式

在实际项目中，我们发现Spark 3.3的AQE（自适应查询执行）能自动解决80%以上的性能问题，建议优先启用：

spark.sql.adaptive.enabled=true spark.sql.adaptive.coalescePartitions.enabled=true spark.sql.adaptive.advisoryPartitionSizeInBytes=128MB