企业官网建设流程全解析

全文目录：

• • 🌟 开篇语
  • 0️⃣ 前言（Preface）
  • 1️⃣ 摘要（Abstract）
  • 2️⃣ 背景与需求（Why）
  • • 2.1 为什么采集康复服务机构目录
    • • 第一类：数据分析
      • 第二类：信息聚合
      • 第三类：自动化更新
    • 2.2 目标站点假设
    • 2.3 目标字段清单
  • 3️⃣ 合规与注意事项
  • • 3.1 robots.txt 的基本说明
    • 3.2 控制访问频率
    • 3.3 不做攻击式并发
    • 3.4 不采集不必要的敏感信息
    • 3.5 不绕过付费、登录和访问限制
    • 3.6 数据使用仍需二次核验
  • 4️⃣ 技术选型与整体流程（What / How）
  • • 4.1 静态页面、动态页面与 API
    • • 静态或服务端渲染 HTML
      • 动态渲染页面
      • 公开 API
    • 4.2 本文为什么选择 Requests + BeautifulSoup
    • 4.3 整体处理流程
    • 4.4 为什么还要做本地二次筛选
  • 5️⃣ 环境准备与依赖安装（可复现）
  • • 5.1 Python 版本
    • 5.2 创建虚拟环境
    • 5.3 安装依赖
    • 5.4 推荐项目结构
    • 5.5 配置文件
  • 6️⃣ 核心实现：请求层（Fetcher）
  • • 6.1 为什么要使用 Session
    • 6.2 Headers 的作用
    • 6.3 超时不能省略
    • 6.4 重试与退避
    • 6.5 请求层完整代码
    • 6.6 Cookie 如何处理
  • 7️⃣ 核心实现：解析层（Parser）
  • • 7.1 数据模型
    • 7.2 列表页如何拿详情链接
    • 7.3 详情页如何补全字段
    • 7.4 缺失字段怎么处理
    • 7.5 canonical 链接
    • 7.6 解析层完整代码
    • 7.7 CSS Selector 变化怎么办
  • 8️⃣ 数据存储与导出（Storage）
  • • 8.1 为什么同时使用 SQLite 和 CSV
    • 8.2 字段映射表
    • 8.3 去重策略
    • • 第一层：URL 唯一
      • 第二层：内容哈希
    • 8.4 SQLite Upsert
    • 8.5 存储层完整代码
  • 9️⃣ 运行方式与结果展示
  • • 9.1 高级检索条件模型
    • • all 模式
      • any 模式
    • 9.2 分页和详情补全
    • 9.3 调度层完整代码
    • 9.4 命令行入口
    • 9.5 本地 Mock 目录站
    • 9.6 启动模拟站点
    • 9.7 启动高级检索采集器
    • 9.8 运行输出
    • 9.9 示例结果
    • 9.10 查询 SQLite
  • 🔟 常见问题与排错
  • • 10.1 返回 403 怎么办
    • • 第一步：停止连续重试
      • 第二步：确认浏览器是否可以公开访问
      • 第三步：查看 robots.txt 和使用条款
      • 第四步：检查请求 URL
      • 第五步：确认是否需要正常会话 Cookie
    • 10.2 返回 429 怎么办
    • 10.3 抓到的 HTML 是空壳
    • • 情况一：页面只有根节点
      • 情况二：返回验证码或访问提示
      • 情况三：页面结构与选择器不一致
    • 10.4 如何判断页面是否动态加载
    • 10.5 解析报错怎么办
    • • `AttributeError: 'NoneType' object has no attribute ...`
      • `KeyError: 'href'`
      • 数据字段错位
    • 10.6 页面结构不稳定怎么办
    • 10.7 中文乱码怎么办
    • 10.8 CSV 在表格软件中列错位
    • 10.9 为什么结果比网页少
    • 10.10 为什么结果比网页多
    • 10.11 如何快速调试单个详情页
  • 1️⃣1️⃣ 进阶优化
  • • 11.1 有限并发抓取详情页
    • 11.2 asyncio 是否更合适
    • 11.3 使用 Scrapy
    • 11.4 使用 Playwright
    • 11.5 断点续跑
    • 11.6 增量更新
    • 11.7 内容标准化
    • 11.8 开放时间标准化
    • 11.9 日志与监控
    • 11.10 保存失败页面
    • 11.11 为解析器编写测试
    • 11.12 定时任务
    • • Linux cron
      • Windows 任务计划程序
      • Airflow
    • 11.13 数据质量检查
    • 11.14 JSONL 导出
    • 11.15 MySQL 迁移思路
  • 1️⃣2️⃣ 总结与延伸阅读
  • • 方向一：工程规模扩展
    • 方向二：页面能力扩展
    • 方向三：数据能力扩展
  • 🌟 文末
  • • ✅ 专栏持续更新中｜建议收藏 + 订阅
    • ✅ 互动征集
    • ✅ 免责声明