企业官网建设流程全解析

【Python爬虫实战】第331篇：创业孵化器与众创空间备案名单采集：国家级载体数据下载与解析——实战项目

所属专栏：【Python爬虫实战】从零到企业级爬虫工程师（CSDN 付费专栏）

本篇篇目：第 331 篇（政企公开数据采集专题）

难度等级：中级，有 requests + pandas 基础即可跟

阅读时长：约 25 分钟（跟着敲代码约 1 小时）

本篇技术栈：Python 3 · requests · BeautifulSoup4 · openpyxl · pandas

文章目录

• 【Python爬虫实战】第331篇：创业孵化器与众创空间备案名单采集：国家级载体数据下载与解析——实战项目
• • @[toc]
  • 一、系列导读：政企公开数据怎么抓
  • 二、本篇导读：学完你将得到什么
  • • 本篇学习清单（对照自查）
  • 三、目标分析：名单长什么样
  • • 3.1 附件链接的规律
    • 3.2 名单文件内部结构
  • 四、环境准备
  • 五、原理：为什么要"先下载再解析"
  • • 5.1 两步走的数据流
    • 5.2 BytesIO：不落盘直接解析
    • 5.3 openpyxl 遍历行的常用姿势
  • 六、核心代码：分块实现
  • • 6.1 第一步：请求公告页并找出附件链接
    • 6.2 第二步：下载附件为二进制流
    • 6.3 第三步：解析工作表，做合并单元格向下填充
    • 6.4 第四步：按省份聚合统计
  • 七、完整可运行代码
  • 八、运行结果与数据验证
  • 九、常见坑位排查
  • 十、优化进阶
  • 参考资料

一、系列导读：政企公开数据怎么抓

前面几十篇我们抓的都是电影、图书、二手房这类"列表页+HTML"的站点。从这一篇开始，我们进入一个新的题材——政府与事业单位公开数据采集。这类站点有几个鲜明特点：页面结构朴实、反爬几乎没有，但数据往往不是直接躺在 HTML 表格里，而是以Excel 附件、PDF 公告、压缩包的形式挂在通知页上。

本篇要处理的正是这类"先找附件、再下载文件、最后解析文件"的任务。它和前面写的列表爬虫最大的区别在于：真正的数据源不是网页 HTML，而是网页上挂着的那个 .xlsx 文件。你学会这一套，后面抓统计局公报、专利名单、企业信用信息公示、招投标公告附件，全都能举一反三。