企业官网建设流程全解析

简介：一套面向Python爬虫与数据分析初学者的完整实战项目，以房价信息抓取为切入点，系统演示了从网页结构分析、数据采集、清洗整理到可视化展示的全流程。资源共8个文件，包含3个Python脚本（分别负责URL解析、页面爬取与数据分析）、2个Excel数据表（原始抓取结果与处理后数据）、2个HTML可视化页面以及1个城市URL配置文件，压缩包仅427KB，轻量且目录清晰，方便按步骤对照学习。其中Excel和HTML文件可直接查看爬取结果与图表，Python脚本稍加修改即可复用到其他城市，实用性较强。目前已有727人学习下载，适合自学、课程设计或教学参考。通过该项目可掌握requests与BeautifulSoup的协同用法、正则表达式辅助提取关键字段、Pandas数据清洗与统计计算，以及Matplotlib/Seaborn绘制折线图、散点图和柱状图等技能；同时理解爬虫技术如何为人工智能项目提供数据支撑，具备较强的实践价值。

1. 解压这份 .rar 之前，先想清楚三个问题：爬什么、存什么、分析什么

拿到《Python爬取房价信息并分析.rar》，别急着找代码跑。房价爬虫的技术门槛其实不高，requests 加 BeautifulSoup 半天就能写出来，真正拉开差距的是后半段分析——同一批房源数据，有人只画出一张均价折线图，有人能看出板块轮动和议价空间。这篇笔记按爬取、清洗、聚合、可视化一条链路讲，附带反爬参数和五个高频翻车点，适合 python 入门阶段想找第一个实战项目的人，也适合数据到手却不知道怎么分析的熟手。解压出代码只是起点，能对着数据讲清楚"哪个区贵、为什么贵、趋势往哪走"，这个项目才算真正落地。

2. 爬虫层怎么选型：房源网站的反爬机制与页面结构拆解

写爬虫之前，先花十分钟搞清楚目标页面的结构。房源信息网站的反爬通常分三层：最基本的 User-Agent 校验，中级的 IP 频率限制，再往上就是字体反爬、动态渲染和登录墙。压缩包里的脚本如果只有静态请求代码，说明作者默认目标站在第一层；真遇上后面几层，代码跑不起来不是 bug，是策略没对上。选型这件事，本质是在"够用"和"扛揍"之间找个平衡点。

2.1 Requests 还是 Scrapy：单机爬房价信息用哪个

这类压缩包解出来，常见两种形态：requests 脚本占大多数，少数是 Scrapy 工程。两者没有绝对好坏，取决于页面总量、采集频率和要不要断点续爬。只说爬房价信息，单机、几千个页面以内，requests + BeautifulSoup 完全够用，写起来直白，调试也方便。Scrapy 的优势在并发调度、中间件和 Item Pipeline，但如果只是每天抓一次某个城市的主力房源列表，上 Scrapy 反而要处理 Twisted 的事件循环和爬虫结束时的数据落盘，学习成本大于收益。同样的套路，有人拿去爬京东商品评论，有人拿来爬淘宝评论做舆情，还有人做爬取大学排名这种偏静态的榜单——核心区别其实是目标站点的数据形态和反爬强度：商品评论是瀑布流接口，房源是分页列表，榜单是静态表格，选择器策略完全不同。

给个粗糙的取舍标准：页面总量小于 1 万、采集频率每天一次以内、不需要复杂登录态的，用 requests 脚本；要长期跟踪多个城市、需要增量去重和断点续爬，或者要同时跑多个站点源的，上 Scrapy。常见做法是先用 requests 把单页解析调通，再决定要不要移植到 Scrapy——我实际就是这么干的，先跑通再升级，别一上来就套框架。requests 是同步阻塞的，发一个请求等一个响应，简单但慢；Scrapy 基于 Twisted 异步并发，默认并发就能到 16 左右，代价是调试时错误栈绕好几层。爬房价这种低频任务里，慢不是问题，代码可读性才是。你要是还在学 Python 基础语法，建议先把 requests 的响应对象、状态码、编码这些概念吃透，再碰爬虫。

2.2 解析链路：CSS 选择器、XPath 与正则的取舍

解压出来的代码里，解析部分往往三种风格混着写。我的建议是统一用 CSS 选择器或 XPath，正则只在收尾阶段用——比如从"3室2厅·107平米"里抽数字。CSS 选择器在 BeautifulSoup 里写起来接近前端，语义清楚；XPath 对结构化节点关系表达更强，能找到"class 为 houseInfo 的 div 下面的第一个 span"。两者都能完成任务，但别在一个脚本里混用，否则后面改选择器时你会在两个语法里反复横跳，改到一半自己都忘了哪个字段用的是哪套。

from bs4 import BeautifulSoup import re html = """<div class="houseInfo"> <span class="title">某小区 3室2厅</span> <span class="price">58000元/平米</span> </div>""" soup = BeautifulSoup(html, "html.parser") # CSS 选择器负责定位节点，get_text 只取文本 title = soup.select_one(".houseInfo .title").get_text(strip=True) price_text = soup.select_one(".houseInfo .price").get_text(strip=True) # 正则只负责从节点文本里抽数字，不负责定位 m = re.search(r"(\d+)\s*元/平米", price_text) price = float(m.group(1)) if m else None

这段代码的逻辑分两层：CSS 选择器定位节点，正则做最后的数字抽取。参数说明一下——select_one 返回第一个匹配节点，匹配不到返回 None，所以实际项目里要先判空再取 get_text，否则 AttributeError 直接中断整个爬虫；正则里的 (\d+) 是捕获组，group(1) 拿第一个括号里的内容。正则容易踩的坑是"第一个数字不一定是价格"，房源标题里可能带"2023年建成"这种年份，拿整条文本去匹配，捞到的是年份。所以我坚持先结构化解析拿到价格所在节点，再从节点文本里抽数字，绝不用正则去全文捞。

真要二选一，我推荐 CSS 选择器作为默认。原因是 BeautifulSoup 的 select 语法跟浏览器开发者工具里复制出来的选择器几乎一致，碰到不确定的 class 名，直接从 DevTools 复制就能用。XPath 的优势在层级关系复杂的页面里表达更精确，比如要跳过某个兄弟节点，XPath 几行能写清楚，CSS 得绕路。但房价列表页的结构通常很规整，一个列表项里就是那几个固定的 span，CSS 足够。解析器方面，BeautifulSoup 默认的 html.parser 慢且容错一般，指定 lxml 后解析速度和容错都上一个台阶，代价只是装包时多装一个 lxml。

2.3 数据字段设计：房价分析的地基是字段而不是代码

爬虫代码写得好不好，看字段定义就知道。有些脚本只存了标题和总价，分析的时候想按区域、户型、楼龄分组，发现根本没采——这才是翻车的根源。字段设计要围绕分析目标倒推：要做区域均价对比，就必须有"区域"字段；要看户型对单价的影响，就必须有"户型"和"面积"字段；要做议价空间分析，挂牌价和成交价最好分开存。我一般固定一张字段表，CSV 或 SQLite 都行：

字段设计好在清洗环节能省一半力气。"面积"如果按字符串存，聚合时还要 cast；"单价"如果存成"5.8万/平"，后面全是文本处理。我的习惯是爬的时候就把单位剥掉，数值字段全部转成 float 或 int，时间字段统一成 YYYY-MM-DD 格式。地基打歪了，后面所有 groupby 结果都是错的，这不是分析技巧能救回来的。特别提醒：房源链接一定要存，后面网站改版导致选择器失效时，旧数据还能靠链接重新解析，这是整个表里最便宜的后悔药。

3. 把爬虫跑起来：可复现的最小采集脚本与反爬参数

前两章把选型和字段讲完，这一章给一套能直接改的脚本。目标是抓某个房产平台的房源列表页，把标题、价格、面积存成 CSV。代码基于 requests + BeautifulSoup，Python 3.8 以上都能跑。

3.1 环境准备：Python 版本、依赖安装与虚拟环境

先确认版本：python --version。python 安装之后要做的第一件事不是跑代码，是建虚拟环境。Python 3.8 到 3.12 都行，太老的版本装新版 pandas 容易碰 wheel 兼容问题；太新的 3.13 有些依赖还没跟上，也会卡在编译。依赖就四个：requests、beautifulsoup4、lxml、pandas。

python -m venv house_env source house_env/bin/activate # Windows 用 house_env\Scripts\activate pip install requests beautifulsoup4 lxml pandas

这几条命令的逻辑：venv 建一个隔离环境，source 激活，pip install 一次装齐。参数说明——beautifulsoup4 的包名不是 bs4，虽然 import 写的是 from bs4 import BeautifulSoup，装的时候漏掉 4 后缀是新手最常见的错；lxml 是解析器依赖，上一章说了要指定 lxml 解析，得提前装好。装完用 pip list 验证，四个包都在就能往下走。网上 python 教程里动不动就让你全局 pip install，爬虫项目依赖少还好，以后玩到数据分析、可视化，依赖一多全局环境早晚被玩坏，虚拟环境这一步别省。

3.2 最小采集脚本：Requests + BeautifulSoup 抓房源列表

下面是核心脚本。站点结构千差万别，选择器要按你实际抓的页面改，但请求、解析、落盘这个骨架是通用的。代码里的选择器和 URL 是我按常见房源列表页写的占位，跑之前一定要换成目标站点的真实结构。

import csv import time import re import requests from bs4 import BeautifulSoup HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0 Safari/537.36", "Accept-Language": "zh-CN,zh;q=0.9", } def crawl_page(url): resp = requests.get(url, headers=HEADERS, timeout=10) resp.raise_for_status() # 非 2xx 直接抛异常，避免静默失败 resp.encoding = resp.apparent_encoding or "utf-8" # 防中文乱码 soup = BeautifulSoup(resp.text, "lxml") houses = [] for item in soup.select(".house-item"): # 列表项选择器，按站点改 title_tag = item.select_one(".title a") price_tag = item.select_one(".price") area_tag = item.select_one(".area") if not title_tag or not price_tag: continue # 缺关键字段就跳过这条 price_text = price_tag.get_text(strip=True) m = re.search(r"(\d+\.?\d*)", price_text) houses.append({ "title": title_tag.get_text(strip=True), "price": float(m.group(1)) if m else None, "area": area_tag.get_text(strip=True) if area_tag else None, }) return houses def main(): rows = [] for page in range(1, 4): # 先爬 3 页验证逻辑和选择器 url = f"https://example.com/house/pg{page}/" rows.extend(crawl_page(url)) time.sleep(2) # 页间隔 2 秒，频率控制别省略 with open("houses.csv", "w", newline="", encoding="utf-8-sig") as f: writer = csv.DictWriter(f, fieldnames=["title", "price", "area"]) writer.writeheader() writer.writerows(rows) print(f"saved {len(rows)} rows") if __name__ == "__main__": main()

逻辑说明：crawl_page 负责一个页面的请求和解析，main 负责翻页、限速和落盘。三个参数值得细讲——timeout=10 是连接和读取的超时上限，不给 timeout 的话 requests 会无限等，爬虫卡死你都不知道卡在哪；resp.raise_for_status() 在状态码非 2xx 时直接抛异常，比默默返回一个错误页直观得多，错误页解析出来全是空数据，排查起来更头大；resp.encoding = resp.apparent_encoding or "utf-8" 是处理中文乱码的关键，有些站点没声明 charset，requests 会按默认编码解出乱码，强制用 apparent_encoding 能救回来。落盘时编码用 utf-8-sig 而不是 utf-8，这样 Excel 直接打开 CSV 不会乱码，给同事或者自己用 pandas 读都省事。newline="" 是 csv 模块在 Windows 下防止每行后面多一个空行的标准写法。

3.3 反爬对抗：请求头、Cookie、限速与重试

反爬不是玄学，是双方心照不宣的频率约定。房产平台的数据是核心资产，对爬虫的容忍度比一般站点低，常见的反爬动作按成本从低到高排：

先说请求头。很多老代码用的是 requests 默认的 python-requests/2.x UA，一眼假。伪造 UA 时别只改 User-Agent，Accept、Accept-Language 也补上，一套完整请求头能让服务端的风控少判几次。Cookie 的处理方式：先用浏览器访问目标页，把首次访问生成的 Cookie 复制进 headers，代码里多一个 "Cookie": "..."。注意 Cookie 会过期，正式跑之前先验证一次。

限速参数怎么定？我的经验是静态页面间隔 1.5 到 3 秒，XHR 接口间隔 5 秒以上。判断依据很简单：爬 30 页后如果出现第一个 403 或验证码，把 sleep 翻倍再试。requests 本身不提供重试，得自己包一层，常见做法是用 urllib3 的 Retry 配合 HTTPAdapter：

from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry import requests session = requests.Session() retry = Retry(total=3, backoff_factor=0.5, status_forcelist=[500, 502, 503, 504]) adapter = HTTPAdapter(max_retries=retry) session.mount("http://", adapter) session.mount("https://", adapter)

参数说明：total=3 表示最多重试 3 次；backoff_factor=0.5 表示重试间隔按 0.5 * 2^n 秒递增，第一次 0.5 秒，第二次 1 秒，第三次 2 秒，不给服务器造成瞬时压力；status_forcelist 只对 5xx 服务端错误重试，4xx 不重试，因为 404、403 重试多少次结果都一样。配好之后，原来的一行 requests.get 换成 session.get 就行。再把固定 sleep 改成 time.sleep(random.uniform(1.5, 3))，请求节奏带着一点随机性，比固定间隔更不容易被识别成机器。

4. 房价分析怎么做：清洗、聚合与可视化

爬下来的 CSV 是毛坯，直接读进 pandas 开始画图的人，会在第一张图上看到单价几百万的离谱点。房价数据脏在三个地方：单位不统一、空值混入、异常值爆炸。这一章把清洗、聚合、可视化一条线走完。下面例子假设你的 CSV 至少包含 region、layout、area、total、unit_price 这几个字段，没有的话回到 2.3 把那几列补上。把房源数据换成气温和湿度，这套清洗-聚合-可视化的管线就是一套天气分析系统，原理是共通的，差别只在字段和阈值。

4.1 数据清洗：空值、异常值与单位统一

先读数据看看形态。常见问题：价格字段出现"暂无标价"、面积写成"107.5㎡"带单位、总价写"620万"是字符串、朝向为空、挂牌时间格式混用。这些不洗掉，聚合结果全是错的。

import pandas as pd import re df = pd.read_csv("houses.csv", encoding="utf-8-sig") # 1. 把面积从 "107.5㎡" 转成 float df["area_clean"] = df["area"].astype(str).str.extract(r"(\d+\.?\d*)").astype(float) # 2. 总价 "620万" -> 620，单位统一成万 df["total_clean"] = df["total"].astype(str).str.extract(r"(\d+\.?\d*)").astype(float) # 3. 单价缺失的，用 总价/面积 反推 mask = df["unit_price"].isna() & df["total_clean"].notna() & df["area_clean"].notna() df.loc[mask, "unit_price"] = df["total_clean"] / df["area_clean"] * 10000 # 4. 清洗后仍缺单价的整行丢弃 df = df.dropna(subset=["unit_price"]) # 5. 异常值过滤：单价区间外的多半是采集错误 df = df[(df["unit_price"] > 1000) & (df["unit_price"] < 200000)]

这套清洗分五步：先用正则 extract 把数字从带单位的字符串里剥出来，astype(float) 转数值；然后用总价除以面积反推缺失的单价，这是房价数据里最实用的补数技巧；最后 dropna 和区间过滤把脏数据挡在门外。两个边界值说明——单价下限 1000 元/平米，普通住宅不可能低于这个数，只有车位或特殊产权房源会这样；上限 200000 元/平米，是为了挡住单位换算错误的极端值。这里有个很隐蔽的坑：如果面积单元格里混着小区名或门牌号，比如"幸福里3栋 107.5㎡"，正则匹配到的第一个数字是 3 而不是 107.5。清洗前先跑一句 df["area"].head(50) 人工扫一遍，确认列里只有面积信息再做 extract，别上来就一把梭。

4.2 聚合计算：区域均价与户型分布怎么算

清洗完就能做真正的分析。最基础也最常用的是区域均价对比——按"区域"分组，算单价的中位数而不是平均数。原因很简单：一个区域里如果有几套顶级豪宅挂牌，均价会被拉得很高，中位数更能代表普通房源的水平。这是房价分析里最容易被忽略的统计细节，也是"分析"和"画图"的分水岭。

# 区域均价：中位数更抗极端值，同时保留样本量 region_stats = df.groupby("region")["unit_price"].agg(["median", "mean", "count"]) region_stats = region_stats[region_stats["count"] >= 5].sort_values("median", ascending=False) # 户型单价对比 layout_stats = df.groupby("layout")["unit_price"].median().sort_values(ascending=False) # 面积段划分后看单价变化 df["area_bin"] = pd.cut(df["area_clean"], bins=[0, 70, 90, 120, 200, 1000], labels=["70以下", "70-90", "90-120", "120-200", "200以上"]) area_dist = df.groupby("area_bin", observed=False)["unit_price"].median()

参数说明：groupby 后面跟 agg 可以一次算多个统计量，median 和 mean 放一起能直观看出数据偏不偏——median 明显低于 mean 说明高价房源在拉高均值；count >= 5 是样本量下限，区域内只有两三套房子的均价没有参考价值，这个阈值可以按城市调整，城市越小阈值越低。pd.cut 的分箱边界按分析目的定，70/90/120/200 是常见的刚需、改善、豪宅分界线，二线城市可以改成 60/90/110/144，对应契税档位也是合理的划分方式。observed=False 是 pandas 2.x 处理分类变量的正确姿势，不写会有警告，后续画图时 groupby 结果也可能带上空类别。

4.3 可视化：用 Matplotlib 画趋势和分布

分析结果最终要落到图上。Matplotlib 三张图够用：区域均价横向条形图、面积段分布、单价直方图。中文字体是老坑，Windows 上默认字体不显示中文，直接画出来全是方框。

import matplotlib.pyplot as plt plt.rcParams["font.sans-serif"] = ["SimHei", "Microsoft YaHei"] # 中文字体 plt.rcParams["axes.unicode_minus"] = False # 负号正常显示 fig, axes = plt.subplots(1, 3, figsize=(15, 4.5)) # 1. 区域均价 Top10 top10 = region_stats.head(10) axes[0].barh(top10.index, top10["median"], color="#4C72B0") axes[0].set_title("区域单价中位数 Top10") # 2. 面积段单价分布 axes[1].bar(area_dist.index.astype(str), area_dist.values, color="#55A868") axes[1].set_title("面积段单价中位数") # 3. 单价直方图 axes[2].hist(df["unit_price"], bins=50, color="#C44E52", alpha=0.8) axes[2].set_title("房源单价分布") plt.tight_layout() plt.savefig("house_analysis.png", dpi=150)

说明：plt.rcParams 两行是全局的中文字体和负号显示配置，必须放在画图前，否则 title 里的中文全是方框，这是 Windows 环境最常见的坑；subplots(1, 3) 是一行三列的画布，axes[0]、axes[1]、axes[2] 分别对应三张子图；savefig 的 dpi=150 是输出清晰度，报告用 150 够，打印要 300。直方图的 bins=50 是分桶数，几千条房源时 50 桶能看出分布形状，太少会糊，太多全是毛刺。

图出来后记得做交叉验证：用 4.2 节的 area_dist 和 hist 对比，如果面积段中位数和整体分布互相印证，说明清洗和聚合没出大问题；如果出现"面积越大单价越高"这种反直觉现象，先检查是不是把总价当成单价用了——这个错我见过不止一次，算是对"分析结果可信度"的第一道质检。

5. 避坑指南：爬房价信息最常见的五个翻车点

房价爬虫这个领域踩坑概率极高，把最高频的五个现象、原因和解决对照列出来，能省一晚上的排查时间。

5.1 代码能跑，解析结果全是空列表

现象：脚本不报错，程序正常结束，打印出来一条数据都没有。原因最常见的是选择器没匹配上：页面结构改版、class 名带空格导致 select 失效、页面根本不是静态 HTML 而是 JS 渲染，都会让 select 静默返回空。解决：先打印 resp.text 的前 2000 个字符，确认返回的是 HTML 而不是验证页或空壳。然后用浏览器开发者工具重新定位元素，把新的 class 名替换进选择器。快速验证选择器的办法是写一行 python -c 交互式测试，别直接改完整个脚本就跑。如果是 JS 渲染，静态请求拿到的就是空壳，需要换 Playwright 渲染，或者找站点页面加载时发的 XHR 数据接口，后者的数据结构通常比 HTML 更好解析。

5.2 爬了两页就被限流：频率参数不是玄学

现象：第一页成功，第二页 200，第三页开始 403 或跳验证页。原因：请求频率超过站点阈值，或者 UA 特征太明显，有些平台对同一 IP 的每分钟请求数有硬限制。解决：把 time.sleep(2) 改成 time.sleep(random.uniform(3, 6))，同时补全请求头里的 Accept、Referer。被限流后的第一反应不是急着找绕过的路子，而是先降频重试，多数情况降频到正常节奏就恢复了。我自己调脚本时把 sleep 改成 0.5 秒看效果，跑完 20 页就触发了限流——所以调试期用少量页数验证逻辑，确认没问题再放宽到正式节奏，别拿线上目标站当测试环境。

5.3 价格字段混入"暂无标价"和单位不统一

现象：单价列里有"暂无标价"、有"5.8万/平"、有"58000"三种形态，pandas 读进来是 object 类型没法算。原因：爬的时候没在解析层做归一化，把原始文本直接塞进了字段。解决：解析时就判断，能匹配到数字就存 float，匹配不到就存 None，不要在 CSV 里留"暂无标价"这种字符串。单位统一成元/平米，"5.8万"在爬取阶段就乘 10000。数据量小的时候这些脏值一两行代码能清掉，数据量大了再回头改，等于重爬一遍。这里最容易犯的错是图省事把"暂无标价"替换成 0——0 混进均价计算里，后果比空值更严重。

5.4 网站改版导致选择器失效：留好后悔药

现象：上周好好的脚本，这周跑出来全是空数据。原因：前端 class 名被压缩混淆、DOM 结构调整、接口参数加了签名。网站改版对爬虫来说就是个黑匣子突然换了密码，你之前所有的选择器假设全部作废。解决：把房源链接作为字段存下来是最有效的后悔药。选择器失效时，先用浏览器打开链接看新结构，再改选择器；如果只是部分字段失效，旧数据还能从链接重新解析。另外，解析代码里尽量用结构关系定位，比如"列表项里的第二个 span"，而不是过度依赖某个随机 class 名，能多扛一次改版。改版是不可预测事件，唯一能做的就是让旧数据不失效，链接字段就是这条退路。

5.5 数据量一上去就内存溢出

现象：爬 5000 条没问题，爬 5 万条时内存涨到几个 G，最后进程被杀。原因：所有解析结果都塞进一个 list，最后一次性写文件，中间没有任何释放。解决：改成边爬边写，每页解析完直接追加到 CSV，list 只保留当前页的数据。再加时间字段做增量判断，只爬新增房源。内存优化的核心是别让数据在内存里累积，pandas 读大文件时可以用 chunksize 分批读，但采集侧做增量写入比事后优化更有效，因为问题出在数据进场的方式，不在读取的方式。

6. 从爬到信得过：数据校验与增量更新的实战技巧

最后落到一个具体技巧：怎么让爬下来的数据真正可信。核心是三点：样本量校验、交叉校验、增量更新。

样本量校验：每次采集后对比行数和去重后的行数。这次比上次少了 30%，多半是网站改版或限流拦掉了部分页面，别急着分析，先补爬。维护一张 meta 表，记录每次采集的城市、页数、行数、时间，超过阈值就标记异常。

交叉校验：随机抽 20 条房源，用浏览器人工核对标题、面积、单价三个字段。为什么是三个字段？标题能验证选择器是否正确，面积和单价能验证单位换算是否出错，三个字段同时错的概率远小于单字段出错。抽检全对，这条数据链路才算可信。

增量更新：房价分析的价值在趋势，不在某一刻的快照。以房源链接为唯一键做去重，已存在的记录更新价格和挂牌时间，新增的才插入。积累三个月，就能画出真实的涨跌曲线。我曾经只写爬虫就急着出图，被问"数据哪来的、准不准"答不上来，后来才补上校验和增量这一套。从那以后，每次开工先写校验逻辑，反而省了不少返工。这个方向值不值得投入，答案其实就在你的数据能不能经得起抽查——能，分析才有意义。希望这个习惯对你也用得上。

本文还有配套的精品资源，点击获取