企业官网建设流程全解析

做大数据毕业设计的同学，看到这个题目应该不陌生。Hadoop + Spark + 股票行情预测 + 量化交易分析 + 股票推荐系统，这几乎是近两年最“豪华”的大数据方向选题了。很多同学第一反应是“这题听起来好难”，但实际上它完全是一个可以拆解的工程问题：底层是 Hadoop 做离线数据存储与批处理，Spark 承担计算与预测，再叠加一个 Web 可视化系统和一个推荐模块。把这四件事分层做清楚，答辩时每个模块都能拿出来讲，导师也容易认可，因为每一环都能对应到“大数据技术”的核心知识点。

这个方案的定位是“大数据技术综合应用”，不是让你去研发新的量化模型，也不是让你在股市里赚钱，而是把大数据从采集、存储、计算、分析到可视化展示的全流程打通。说白了，你展示的是“你会用这些技术栈去解决一个真实业务问题”，而问题是股票行情分析与辅助决策，这正好切中金融科技的热点。适合三类人：一是大数据或计算机专业需要毕业设计源码的人，二是目前在学 Hadoop/Spark 但缺少综合项目的人，三是想在自己的项目里加入“完整业务故事”的求职者。下面我把我实际搭建这类项目时的思路、踩过的坑、写文档的经验，一并整理出来，供你参考。

1. 项目整体架构与技术选型

1.1 核心需求一看就懂

这个题目表面上一长串词，拆开其实就五个子需求：

• 股票行情数据采集与存储：需要一份或多只股票的历史行情数据，包括日期、开盘价、收盘价、最高价、最低价、成交量等，存入 HDFS。
• 离线分析与实时分析：通过 Hadoop 生态完成数据清洗、统计分析，通过 Spark 完成批量计算或实时流处理。
• 股票行情预测：基于历史数据做时间序列预测，比如预测下一日收盘价或涨跌方向。
• 量化交易分析：根据均线、MACD、RSI 等经典因子，回测一个简单的买入/卖出策略，输出收益曲线和评估指标。
• 股票推荐系统：根据股票间的历史相关性、收益特征或用户行为，给用户推荐相似或潜在值得关注的股票组合，并和可视化面板集成。

把这五个需求映射到技术栈，就是 HDFS + Hive/MapReduce + Spark Core/Spark SQL + Spark MLlib + Python（sklearn/LSTM）+ Flask/Spring Boot + Vue/ECharts。整套下来，既有大数据存储，又有分布式计算，又有算法模型，又有工程化展示，覆盖面非常完整。

1.2 为什么选 Hadoop + Spark 而不是其他

有的同学问，既然做股票预测，直接用 Python 取数建模不就行了吗？为什么要绕一圈 Hadoop + Spark？

这个问题答辩必问。你自己先想通：毕业设计的考察重点不是“预测准确率”，而是“是否掌握大数据处理流程”。用 Excel 或 Pandas 处理几千条数据，技术含量不高，没法体现分布式能力。而引入 Hadoop + Spark 之后，你就能在答辩时说清楚：

• 数据量假设到千万级甚至亿级时，单机 Pandas 内存不够，MapReduce 的分而治之思想能解决；
• Spark 基于内存计算，比传统 MapReduce 快很多，适合迭代式机器学习算法；
• HDFS 提供多副本容错，ZooKeeper 管理集群稳定性，Hive 提供 SQL 化分析能力；
• 真正常见的架构是“HDFS 存原始数据，Spark 做 ETL 和特征工程，Spark MLlib 或 Python 训练模型，结果落入 MySQL/ClickHouse 供可视化查询”。

这个链条，是生产环境里真实存在的大数据离线数仓架构。你把这个逻辑放进论文里，导师一眼就知道你不是拼凑代码，而是理解架构。

另外，Spark 在同一个项目里能和 Hadoop 形成很好的分工：Hadoop 负责“稳”，Spark 负责“快”。比如股票日线数据历史三十年也就不到一万条，但你可以用模拟数据生成器把“逐笔成交明细”扩到百万条或千万条，让 Spark 计算分钟级 K 线、日内波动率，这就把大数据的“大”做实了。如果只用日线数据做预测，根本不需要大数据，所以项目中最好加入“分钟级 tick 数据”或“多股票横向截面数据”的批量生成，让数据量真正达到 GB 级。

1.3 系统整体流程

我建议项目采用这样的数据流：

1. Python 脚本从 Tushare、AKShare 或 Yahoo Finance 拉取历史行情，也可以从本地 CSV 读取，然后写入 Hadoop HDFS；
2. Hive 建外部表，映射 HDFS 上的原始行情数据，做数据清洗和基础统计，生成结果表；
3. Spark SQL 读取 Hive 表数据，进行时间窗口计算（如过去 N 日收益率、波动率、均线、RSI、MACD），生成特征宽表；
4. 特征宽表分为训练集和测试集，使用 Spark MLlib（如 RandomForest、线性回归）或者 Python 的 sklearn/LSTM 进行预测，这里可以做成两套：一套纯 Spark 做算法演示，一套 Python 深挖精度；
5. 量化策略模块读取行情数据，在 Python 回测框架里计算收益、最大回撤、夏普比率，生成策略信号和资金曲线；
6. 股票推荐模块基于股票收益率的协方差或用户自选股行为，构建相似度矩阵，生成 TopN 推荐结果；
7. 最终所有结果输出到 MySQL 数据库，Web 后端通过接口读取数据，前端 ECharts 展示行情走势、预测对比、回测曲线和推荐列表。

这套流程可以拆成 5~6 个独立的程序，每个程序都能单独运行和截图，既方便调试，又方便写文档时逐章展示。

2. 环境搭建与数据集准备

2.1 大数据环境规划：伪分布式还是真实集群？

这是第一个决策点。完完全全把 Hadoop 3.3.4 + Spark 3.2.1 配置在 Linux 上，大部分同学会选择伪分布式模式，也就是单机运行多个 Java 进程：NameNode、DataNode、ResourceManager、NodeManager 都跑在同一台机器上。这种方式好处是省资源、易调试，符合毕业设计环境需求。缺点是少了“集群”的感觉，答辩时可能会被问“你没有多节点集群，怎么体现大数据量？”

我的建议是，如果你有 16G 以上内存的电脑，优先用 VM 虚拟机装一台 CentOS 7，配置 Hadoop 伪分布式；如果本机性能一般，也可以直接用 Docker 容器模拟多节点。最稳的做法是“一台主节点 + 两台从节点”的微集群。也不需要真的三台物理机，在一台电脑上用 VMware 开三个虚拟机，每个分配 2G 内存、2 核 CPU，就能搭建真正的三节点集群。网络模式用 NAT，主机名设为 hadoop101、hadoop102、hadoop103，IP 固定。

搭建步骤按顺序执行：关闭防火墙、配置 hosts、配置 SSH 免密登录、JDK 1.8 安装、Hadoop 解压与环境变量配置、修改 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves（或 workers）文件，最后格式化 NameNode 并启动。需要注意几个细节：

• 大数据软件命名最好避免带空格和中文路径，统一装在/opt/module下；
• hdfs-site.xml中副本数建议设置为 3，如果是伪分布式则设为 1；
• 格式化之前一定要检查core-site.xml里 NameNode 端口，避免 9000 被占用；
• Java 版本别乱升级，Hadoop 3.x 要求 JDK 8 或 11，Spark 也建议 JDK 8。

Spark 安装相对简单：下载 pre-built 版本，改 spark-env.sh 指定 JAVA_HOME 和 HADOOP_CONF_DIR，因为我们要让 Spark 读取 HDFS，必须把SPARK_DIST_CLASSPATH配置好，否则会报 “Failed to locate the winutils binary in the Hadoop distribution” 或找不到文件系统。如果你是做伪分布式，启动 Spark 时只要能正常打开 8080 Web UI 就行；如果是集群，还要配置 spark workers 列表。

这里的实际操作，建议每天把“启动集群 -> 执行一个 WordCount -> 查看 HDFS Web UI 和 YARN 资源”，作为自检清单。很多同学环境装好后，隔了一个月回来已经忘了怎么启动，结果正式讲演示的时候手忙脚乱。最好写一个start-all.sh脚本，把 start-dfs.sh、start-yarn.sh、start-history-server.sh、spark-submit 都封装好，一键恢复环境。

2.2 数据集来源与分析维度

股票行情数据是整个项目的地基。我建议不要只用一只股票，至少要选择 10~30 只股票，覆盖不同行业，比如消费、科技、银行、医药，这样后续做推荐系统才有“多股票”的横向关系可言。数据字段至少包括：交易日期、股票代码、股票名称、开盘价、最高价、最低价、收盘价、昨收价、成交量、成交额、换手率，如果能拿到市盈率、市净率更好。

常见数据源：

• Tushare：接口稳定，历史数据全，但部分接口需要积分；
• AKShare：免费开源，接口数量多，偶尔会有字段变动；
• Yahoo Finance / yfinance：适合获取美股或港美股数据，字段干净；
• 本地生成模拟数据：这是一条必须掌握的“后路”。

我强烈建议，在做毕设时准备两份数据：一份是真实下载的股票历史日线数据，保存为 CSV；另一份是使用 Python 随机游走或蒙特卡洛模拟生成的分钟级交易数据，写入 HDFS。原因很简单：真实日线数据只有几千行，跑 Spark 连 0.1 秒都不需要，体现不出分布式计算的价值；而生成交易明细数据到百万行后，才能让 Spark 去计算“过去一分钟每只股票的成交量排名”“五分钟收益率分布”这类操作。论文里写“处理了 360 万条成交记录”，比“处理了 3000 条日线数据”好看得多。

数据维度可以分成三层：

• T+0 层：每日行情快照，包含 OHLCV（开高低收量）；
• T+N 层：历史统计特征，如 5 日均线、10 日均线、20 日均线、RSI、MACD、成交量均值、波动率；
• 横向层：股票之间的相关性、行业板块表现、当日领涨领跌股票。

有了这三个维度，后续的预测、量化、推荐逻辑都有数据支撑。

2.3 数据预处理与清洗

这部分的工作量大，但也是论文里最“硬”的内容。原始数据常见问题包括：缺失值（停牌导致当天无数据）、重复数据、异常值（手误价格、除权除息导致跳空）、时间索引不连续。不要直接在 Excel 里手工改，要让所有清洗代码都跑在 Hadoop/Spark 上，这样才有故事可讲。

我采用的清洗步骤是：

1. 将 CSV 上传 HDFS：hdfs dfs -mkdir -p /stock/raw，hdfs dfs -put stock_data.csv /stock/raw/；
2. 建 Hive 外部表，字段格式用STRING接收原始值，避免解析失败；
3. 使用 Spark SQL 清洗：

CREATE TABLE stock_clean AS SELECT stock_code, trade_date, open, high, low, close, volume FROM stock_raw WHERE close > 0 AND volume >= 0 AND stock_code IS NOT NULL;

4. 对同一股票同一交易日出现的重复数据去重，按日期排序并填补缺失日期。这里注意：停牌直接向前填充容易引入偏差，应该标记为缺失而非自动填 0；
5. 对除权后的股价跳空，可以选择不做复杂复权，因为毕设重点是流程；但如果要做一定准确度，可以用前复权数据源。

清洗完成后，最好写一个“数据质量检查”段落：总共多少条、清洗掉多少条、占比多少、为什么被清洗，这些数字也要写进论文。不要小看这一小节，导师非常喜欢看到“数据质量分析”这样的严谨步骤。

3. 核心业务模块设计与实现

3.1 股票行情离线分析：Hive + Spark SQL 怎么分工

离线分析的目标是拿到“一张宽表”，每行是一只股票在某个日期的各类特征。我推荐的步骤是：先用 Hive 完成最原始的分组统计，再用 Spark SQL 完成复杂特征工程。

为什么不用 Hive 一步全做完？因为 RSI、MACD 这类需要跨行计算的指标，在 Hive 里写起来非常繁琐且效率不高，而 Spark SQL 的窗口函数支持更完整、API 更顺手。举一个计算 5 日均线的例子：

SELECT stock_code, trade_date, close, AVG(close) OVER (PARTITION BY stock_code ORDER BY trade_date ROWS BETWEEN 4 PRECEDING AND CURRENT ROW) AS ma5 FROM stock_clean;

Spark SQL 会把这个窗口计算自动分布式执行。这里要特别强调，窗口函数是所有大数据 SQL 面试几乎必考的考点，你把它用在项目中，不仅解决实际问题，还能顺便和面试官聊几句。

离线分析最终生成一张stock_feature特征表，放在 Hive 中，后续预测模块、推荐模块都从这张表读取。特征表字段建议包含：

• 基础行情：open、high、low、close、volume、amount
• 技术指标：ma5、ma10、ma20、rsi6、rsi12、macd_dif、macd_dea、macd_hist、volume_ratio
• 涨跌标签：next_day_ret（明天收益率）、next_day_direction（明天涨跌，1 或 0）。这个标签是在模型训练前生成的，不能在预测时刻用未来数据建模，否则叫做“未来函数”。

3.2 实时行情感知：Spark Streaming 怎么体现

推荐做一个简化的实时分析模块。不一定真的需要对接券商接口，因为毕设环境不允许，也没有必要。我们可以用 Python 写一个模拟生产者程序，每隔 1 秒随机更新股票价格，然后通过 Netcat 或 Kafka 发送到 Spark Streaming。

技术路线有两种：

• 最简单：nc -lk 9999发送模拟行情字符串，Spark Streaming 用socketTextStream接收；
• 更“加分”：部署 Kafka 集群，用 Kafka Producer 发送股价 JSON，Spark Structured Streaming 申请 Kafka 数据，实时聚合计算每分钟涨跌幅排名。如果时间充裕，建议选择 Kafka 路线，因为现在企业里流处理的标配就是 Kafka + Spark/Flink，论文里写“基于 Kafka 的实时行情流处理”会明显高一个层次。

实时模块不需要做得太重，能实现几个效果即可：

1. 实时统计当前时间窗口内涨幅前 5 的股票；
2. 实时计算某只股票近 5 分钟成交量的相对变化；
3. 将实时结果写入 Redis 或 MySQL，供 Web 图表每秒刷新。

答辩演示时，你一边运行 Spark Streaming 任务，一边刷新前端大屏，看到数字在跳，那种视觉冲击比一堆静态图表强太多了。

3.3 行情预测模型构建：别只交一个黑盒

行情预测是整个项目里被问得最多的地方，但也是最容易“翻车”的部分。很多同学直接把数据丢给 LSTM，然后输出准确率 99%，这明显是有问题的。股票预测的难点在于信号非常弱，任何非线性和金融噪音都会让模型过拟合。因此在论文里，预测结果不是重点，重点是“你是如何设计训练/验证/测试流程的”。

我建议采用两套模型对比：

• 基线模型：逻辑回归或随机森林，使用 Spark MLlib，特征为前一日和过去 N 日的技术指标，预测目标为“下一日涨跌方向”，评估指标为 AUC 和准确率；
• 进阶模型：LSTM（使用 PyTorch 或 TensorFlow），输入为滑窗的历史序列，预测目标为“未来 5 日累计收益率”，评估指标为 MAE 和方向命中率。

这有什么好处？答辩时你可以说：“我用简单模型做基线，再用深度学习做改进，发现数据量较小时两者差距不大，但 LSTM 在滑动窗口更长时略有改善。” 这种诚实而严谨的表达，反而比一个不切实际的 99% 更可信。

训练流程务必严格遵守时间序列切割原则。这里的“准时”不是均匀随机抽样，而是按时间先后：比如前 70% 的数据做训练，中间 15% 做验证，最后 15% 做测试，防止未来数据泄露。

如果做一个回归预测，代码骨架大致如下：

from sklearn.preprocessing import MinMaxScaler from keras.models import Sequential from keras.layers import LSTM, Dense, Dropout # 数据已按 trade_date 排序 seq_len = 20 x_train, y_train = create_sequences(train_data, seq_len) model = Sequential([ LSTM(64, return_sequences=True, input_shape=(seq_len, feature_dim)), Dropout(0.2), LSTM(32), Dense(1) ]) model.compile(optimizer='adam', loss='mse') model.fit(x_train, y_train, epochs=30, batch_size=32, validation_split=0.1)

预测输出的效果图建议画三张：真实收盘价曲线、预测收盘价曲线、误差区间。用 ECharts 展示比 matplotlib 更好看，而且能直接放进 PPT。

3.4 量化交易分析：怎么回测一个策略

量化部分的重点是“策略逻辑 + 回测指标”，而不是追求赚钱。我建议实现一个经典双均线策略：当短期均线（如 MA5）上穿长期均线（如 MA20）时买入，当短期均线跌破长期均线时卖出。在此基础上再叠加一个仓位管理规则：单次买入不超过总资金 50%。

回测流程写清楚：

1. 读取特征表里某只股票的 ma5、ma20 和 close；
2. 从第一个交易日开始仿真交易，初始资金 100 万元；
3. 根据信号生成持仓列表，记录每日市值；
4. 计算最终收益率、年化收益率、最大回撤、夏普比率、胜率。

一个简化的 Python 实现片段：

position = 0 # 持仓股数 cash = 1_000_000 for date, row in df.iterrows(): if row['ma5'] > row['ma20'] and position == 0: position = cash // row['close'] cash -= position * row['close'] trade_log.append((date, 'BUY', row['close'], position)) elif row['ma5'] < row['ma20'] and position > 0: cash += position * row['close'] position = 0 trade_log.append((date, 'SELL', row['close'], 0))

注意：这里不要直接用 close 当天收盘价判断信号，再用同一根 close 成交，容易产生“前视偏差”。严谨的做法是第 T 日收盘后计算均线，第 T+1 日开盘按信号执行，论文里如果能体现这个细节，会非常加分。

回测结果输出三个数字：累计收益率、最大回撤、夏普比率。同时输出资金曲线图，以及策略与同期“买入并持有”的对比。收益为负也很正常，你的分析出现负收益说明回测足够真实，只要你能解释为什么策略会失效即可。不要为了好看去“修剪”结果，那是给自己埋雷。

3.5 股票推荐系统：简单逻辑也能说得漂亮

推荐系统在这个项目里的定位是“个性化辅助决策”，不过毕设不需要做出真实的生产级推荐。推荐逻辑可以有两条路线：

• 基于股票相似度：计算股票间收益率序列的皮尔逊相关系数，对每只股票找出与其相关系数最高的前 N 只股票作为“相似股票推荐”，适合冷启动，没有用户数据也能演示；
• 基于用户协同过滤：假设用户有自选股列表或浏览行为。你手头没有真实用户数据，可以用模拟数据，比如生成 50 个用户，每个用户为自己喜欢的股票打分，然后用协同过滤算法预测用户对未关注股票的偏好。

由于推荐系统的“真实用户数据”不容易获得，我更推荐第一种，因为它和股票相关性分析结合得很自然。具体做法：

1. 从stock_feature表里提取每日收益率矩阵，行是日期，列是股票代码；
2. 使用 pandas 计算相关系数矩阵；
3. 对目标股票排序，去掉自身，取 topN；
4. 把结果写入 MySQL 的stock_similar表。

如果想让推荐看起来更“智能”，还可以在相似度的基础上叠加“近 3 日动量”，优先选出相关性高且近期表现同样强势的股票。前端展示效果是：点击某只股票，会出现“相似股票组合：XXXX（相关系数 0.87）”，比较直观。

4. 数据可视化与 Web 展示

4.1 可视化技术选型：别再用静态 Flask 模板

可视化是给评委第一印象的东西，强烈建议做前后端分离，但也不要复杂到不好演示。推荐组合：后端用 Flask 或 Spring Boot 提供 JSON 接口，前端用一个简单的 Vue 3 + Element Plus 单页项目，图表库用 ECharts。

如果你不熟悉 Vue，也可以采用最简单的方式：Flask 渲染一个 HTML 页面，页面里用原生 JS 引入 ECharts，从后端/api/xxx接口拿 JSON 数据。关键是接口要分得清晰，这样论文里可以放接口设计表。

建议实现的页面：

• 大盘概览页：显示选定的几只股票的当日概况表格，包括涨跌幅、成交额、换手率；
• 历史行情页：选择股票后显示 K 线图和成交量柱状图，叠加 MA5、MA20 均线；
• 预测页：显示真实收盘价和预测收盘价的双序列折线图，旁边放误差分布直方图；
• 量化页：显示资金曲线、买卖信号标注、关键回测指标；
• 推荐页：显示相似股票列表和相关度排行。

4.2 仪表盘指标设计

很多同学做可视化只会放折线图、柱状图。但数据看板的关键是“指标”。建议页面顶部放一排指标卡：当前选中股票的最新价、当日涨跌幅、近 5 日涨幅、近 20 日波动率、预测明日方向、最大回撤、夏普比率。这几个数字同时出现，视觉上非常专业，而且每个数字都能在论文里找到计算逻辑。

需要注意单位。涨跌幅用百分比保留两位小数，成交额除以 1 亿显示为“亿”。如果从 MySQL 里读到的是字符串，后端要转成数字并格式化，否则 JS 排序会出问题。

4.3 前后端实现要点

后端我建议不要把所有计算逻辑放在请求里，否则前端刷新时 Spark 作业又重新跑一遍，等待时间长且体验差。正确做法是：

1. 离线计算完成后，将结果向量化导入 MySQL；
2. Web 后端只做查询和聚合，不触发重计算；
3. 实时模块单独启动 Spark Streaming，结果写入 Redis，后端读 Redis 的最新值。

接口设计示例：

GET /api/stock/list 股票列表 GET /api/stock/kline?code=600519 K线数据 GET /api/predict?code=600519 预测数据 GET /api/backtest?code=600519 回测结果 GET /api/recommend?code=600519 相似推荐

统一返回{ code: 0, data: ..., msg: "success" }格式，前端好处理，论文里也方便写设计说明。

5. 毕业设计文档、PPT 和代码整理要点

5.1 LW 文档结构怎么布局更容易过审

题目里提到的“LW 文档”就是论文文档。很多同学不知道论文和代码报告的区别，最后交了一份“用户手册”。论文的重点应该是“设计思路和原理”，不是“操作步骤”。我的建议是参考下面的章节目录：

• 第 1 章 绪论：背景、意义、国内外研究现状；
• 第 2 章 相关技术介绍：Hadoop、Spark、Hive、Kafka、机器学习、量化交易（每节 300 字左右即可，不要大段照抄官方文档）；
• 第 3 章 系统需求分析：功能性需求、非功能性需求、用例图；
• 第 4 章 系统总体设计：架构图、模块划分、数据库设计、接口设计；
• 第 5 章 系统详细设计与实现：每一节对应一个模块，先讲原理，再贴核心代码，最后放界面截图；
• 第 6 章 系统测试：测试环境、测试用例、结果分析；
• 第 7 章 总结与展望：你做的工作、不足、改进方向。

论文中的图片非常重要，我建议至少准备如下图片：系统架构图、数据流图、HDFS 目录截图、Hive 表结构截图、Spark 任务执行截图、Kafka Topic 列表截图、预测曲线对比图、回测资金曲线图、推荐页面截图、ECharts 大屏截图。图片分辨率要清晰，尺寸裁剪到 10cm 左右宽度，不要直接放浏览器截图的原始大图。

5.2 答辩演示的黄金节奏

答辩演示时间一般在 10~15 分钟，很容易犯的错误是一开始低头改代码，后面时间不够用，或者环境没起来。我建议按这个节奏走：

• 前 2 分钟：讲清“我做了什么”，直接说“本系统基于 Hadoop + Spark 实现股票行情存储、处理、预测和推荐，演示将分为四个部分”。
• 中间 8 分钟：按数据流顺序演示。先打开 HDFS Web UI，展示数据文件；再打开 Hive，查询一张表看看数据；然后运行一个 Spark SQL 任务，截图展示运行时长；最后打开 Web 前端，重点展示 K 线图、预测曲线、回测和推荐。
• 最后 2 分钟：主动总结项目的难点和创新点，并说明可扩展方向。

要提前做好演示环境“复活”练习。比如虚拟机内存不足时怎么快速重启关键进程；HDFS 处于 SafeMode 时怎么退出；Spark UI 打不开时检查哪个进程。不要等评委看到了现场才去查日志。

5.3 源码整理规范

“源码”不是把代码压缩包交给老师就行，要组织得让人能跑起来。建议根目录结构：

project-root │ README.md │ requirements.txt ├─ data/ 原始数据脚本 ├─ etl/ HiveSQL + SparkSQL 清洗脚本 ├─ predict/ 预测模型代码 ├─ strategy/ 量化回测代码 ├─ recommend/ 推荐模块代码 ├─ web/ 前端 + 后端 └─ docs/ 论文、答辩PPT

每个代码文件的开头注释写清楚：用途、输入数据路径、输出结果路径、运行方式。README 里写“环境要求 + 启动步骤 + 常见问题”，这样就算老师换一台电脑对代码做抽查，也能快速跑起来。如果你能附上一个deploy.sh脚本，自动建表、导入数据、启动服务，那基本就是“免检产品”。

6. 常见问题与踩坑实录

6.1 环境问题速查

这些都是非常实际的坑。我没办法在这篇博文里把所有踩坑细节都写出来，但提几个必须注意的点：

• 时钟同步。虚拟机集群常常因为时间不同步导致认证失败，尤其是在用 Kerberos（虽然毕设一般不用）或 HBase 时。建议统一安装ntpdate定时同步；
• 磁盘空间。Hadoop 日志很容易占满/tmp，建议定期清理/tmp/hadoop-*临时目录；
• 内存。Spark 默认没有足够内存时任务会直接报 “No space left on device” 或 Executor 丢失。调试时先指定小内存：--driver-memory 1g --executor-memory 1g。

6.2 Spark 任务调优的实践心得

很多同学写完 Spark SQL 后，任务在 YARN 上跑得很慢，第一反应是“集群太差”。其实大部分是没做调优。我这里给出三个立竿见影的调优点：

• 小文件合并：原始数据如果分成太多小文件，Spark 读取会创建过多分区。用repartition(以股票代码为键)或 Histogram 均匀化；
• 开启动态资源分配：spark.dynamicAllocation.enabled=true，这样小任务不会占据所有 Executor；
• 将缓存策略设为MEMORY_AND_DISK_SER：重复使用特征表时，df.createOrReplaceTempView不如df.cache()，并且缓存前先用coalesce减少分区数，节省内存。

量化回测里如果直接用 Python 循环几千次也很慢，可以把回测逻辑向量化，或用 pandas 的shift函数计算信号和收益，能快几个数量级。这方面我记得网上有一篇「向量化回测替代 for 循环」的文章，建议去看看，非常受益。

6.3 数据与模型相关问题

问得最多的预测问题是“你的准确率多少”。这里要特别提醒：不要在论文里写“预测准确率高达 98%”这种鬼话。股票预测如果真能 98% 准确，这个毕设就能拿诺贝尔奖了。正常的结果可能是：方向预测准确率在 53%~60% 之间，回归任务的 MAE 在 0.5~1.5 元之间，不同股票差异很大。请如实报告。

答辩时老师可能还会问：

• 为什么用 LSTM 而不是简单的线性回归？回答：股票数据是序列数据，存在时间依赖，LSTM 能记忆长期信息；
• 如果行情突变，模型预测还有效吗？回答：极端行情会失效，所以系统加入了波动率监控，当指标超过阈值时，预测结果会自动显示“低置信度”，不再给出强买卖建议；
• 你的推荐是“推荐买什么股票”吗？回答：不是买卖建议，而是基于相关性和历史表现的相似股票发现，帮助缩小分析范围，不构成投资建议。

这个问题很重要，也能体现你的风险意识。作为学生，任何涉及“投资建议”的表述都要格外谨慎，在论文和演示页面上都要写清楚“本系统仅用于学习和研究，不构成投资建议”。

6.4 答辩时最容易翻车的几个细节

第一，回答问题前先复述问题。很多学生一紧张就答非所问，比如老师问“Spark 和 Hadoop 的关系”，你答“股票数据来源”。没关系，我教你一个办法：听完问题后先说“您问的是不是 Spark 和 Hadoop 的定位区别？”得到确认后再回答，这既能给你几秒组织语言的时间，也能避免误解。

第二，不要主动提自己没做过的功能。如果答不上来，就说“这个方向作为后续工作我考虑了，但当前阶段主要专注在 XX，后续计划是 XX”。哪怕老师觉得你项目不足，至少觉得你思考全面。

第三，论文里不能出现抓人眼球的低端错误。例如：图表坐标轴单位缺失、代码和论文结果不一致、数据集中部分日期乱序、时序任务里出现未来数据。这些要么是硬伤，要么显得不够严谨。宁可少写一个表格，也不能写出逻辑错误。

写在最后的一点体会

我实际做完这类项目最大的感受是：一开始看起来“全是技术难点”，但真正动手做下来才知道，大部分时间都花在环境配置、数据清洗和联调上，真正的模型和算法反而只占三成时间。所以如果你刚开始，千万不要被题目吓住。按照“HDFS 存数据 -> Hive 清洗 -> Spark 算特征 -> 模型预测 -> Web 展示”这条主线一关一关过，每完成一关截几张图，你就离顺利毕业更近一步。

还有一个小技巧：把项目里所有可复用的脚本都写成带参数的命令行程序，例如python run_predict.py --stock 600519 --model lstm，这样不仅便于调试，也能在答辩时快速展示“我是如何实验的”。别把所有逻辑堆在一个 main 函数里，那样后期改动简直是噩梦。最后预祝你一路顺风，争取把这篇项目的答辩 PPT 做得干净漂亮，让评委老师看到你的工程素养。