企业官网建设流程全解析

1. 项目背景与目标

最近在帮朋友收集一些海外高校的科研动态时，发现麻省理工学院（MIT）官网的新闻板块更新频繁且内容丰富。手动复制粘贴效率太低，于是决定写个爬虫自动抓取这些信息。这个项目特别适合刚接触Python爬虫的新手练手，因为MIT新闻页面的结构清晰，反爬措施相对友好。

我选择从MIT News主页入手，主要抓取三类数据：新闻标题、发布时间和正文内容。最终目标是生成一个结构化的CSV文件，包含这些字段信息。整个过程涉及requests库发送请求、BeautifulSoup解析HTML以及csv模块存储数据，都是爬虫最基础的技术栈。

2. 技术选型与工具准备

2.1 基础工具链配置

工欲善其事必先利其器，我们先准备好开发环境。推荐使用Python 3.8+版本，主要依赖三个库：

pip install requests beautifulsoup4 lxml

这里特别说明下解析器的选择：虽然Python内置的html.parser也能用，但实测lxml的解析速度要快3-5倍，特别是处理大量页面时差异明显。安装时可能会遇到lxml编译失败的问题，这时候可以尝试：

brew install libxml2 libxslt # Mac用户 sudo apt-get install libxml2-dev libxslt1-dev # Ubuntu用户

2.2 目标页面结构分析

打开MIT News官网，按F12进入开发者工具。通过元素检查器可以看到，新闻列表项的HTML结构是这样的：

<div class="news-item"> <h3><a href="/news/xxx">新闻标题</a></h3> <div class="date">Month Day, Year</div> </div>

而正文页面的主要内容都包裹在<article class="news-article">标签内。这种清晰的DOM结构大大降低了爬取难度，我们只需要定位这些特定class即可。

3. 核心爬取逻辑实现

3.1 列表页爬取与分页处理

先实现获取新闻列表的基础功能。通过观察发现MIT News的翻页是通过在URL后添加?page=2这样的参数实现的，最大页码可以通过解析页面底部的分页控件获取。

import requests from bs4 import BeautifulSoup def get_news_list(page=1): url = f"https://news.mit.edu/?page={page}" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') news_items = [] for item in soup.select('.news-item'): title = item.select_one('h3 a').text.strip() link = 'https://news.mit.edu' + item.select_one('h3 a')['href'] date = item.select_one('.date').text.strip() news_items.append({'title': title, 'link': link, 'date': date}) return news_items

注意：一定要设置合理的User-Agent，有些网站会对缺失Header的请求返回不同的内容。我这里模仿了Chrome浏览器的标识。

3.2 详情页内容提取

获取到文章链接后，我们需要进一步抓取正文内容。观察发现正文包含在多个<p>标签中，但页面上还有其他干扰元素。经过多次测试，最可靠的方案是定位到<article>标签后提取所有文本：

def get_article_detail(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') article = soup.find('article', class_='news-article') if not article: return "" # 移除不需要的元素 for elem in article.select('.caption, .credit, .image-wrap'): elem.decompose() return ' '.join(p.text.strip() for p in article.select('p'))

这里特别处理了图片说明等干扰元素，通过decompose()方法将它们从DOM树中移除，避免影响正文提取。

4. 数据存储与优化

4.1 结构化存储方案

将爬取的数据保存为CSV是最简单的方案，但直接使用Python内置的csv模块会遇到编码问题。推荐以下写法：

import csv from datetime import datetime def save_to_csv(data, filename): with open(filename, 'w', newline='', encoding='utf-8-sig') as f: writer = csv.DictWriter(f, fieldnames=['title', 'date', 'content']) writer.writeheader() for row in data: writer.writerow(row)

使用utf-8-sig编码可以避免Excel打开时的乱码问题。如果数据量较大（超过1万条），建议改用SQLite数据库存储。

4.2 请求优化策略

在测试过程中发现连续快速请求会导致偶尔的429错误。解决方法有两个：

1. 添加随机延迟：

import random import time time.sleep(random.uniform(0.5, 1.5)) # 在每次请求前

2. 使用requests.Session保持连接：

session = requests.Session() response = session.get(url) # 替代直接requests.get

实测第二种方法能减少约30%的请求耗时，同时降低被屏蔽的风险。

5. 常见问题与解决方案

5.1 反爬虫应对措施

虽然MIT News没有特别严格的反爬，但遵循良好的爬虫礼仪很重要：

1. 控制请求频率，建议每秒不超过1个请求
2. 设置合理的User-Agent
3. 处理HTTP错误码，特别是403/429
4. 添加Referer头模拟浏览器行为

改进后的请求头示例：

headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)', 'Accept-Language': 'en-US,en;q=0.9', 'Referer': 'https://news.mit.edu/', 'Accept-Encoding': 'gzip, deflate, br' }

5.2 数据清洗难点

在实际抓取中会遇到各种数据异常情况：

1. 日期格式不一致：有的显示"June 15, 2023"，有的是"3 days ago"

from dateparser import parse parsed_date = parse(date_str)

2. 正文包含特殊字符：建议统一规范化

import unicodedata clean_text = unicodedata.normalize('NFKC', raw_text)

3. 多页文章处理：有些长文章会分页显示，需要检查是否存在<div class="pagination">

6. 项目扩展方向

完成基础爬虫后，可以考虑以下增强功能：

1. 自动分类：使用关键词匹配给新闻打标签（如AI、生物、物理等）

categories = { 'AI': ['machine learning', 'neural network', 'artificial intelligence'], 'Biology': ['gene', 'cell', 'dna'] }

2. 定时抓取：结合APScheduler实现每日自动更新

from apscheduler.schedulers.blocking import BlockingScheduler scheduler = BlockingScheduler() @scheduler.scheduled_job('cron', hour=3) def daily_crawl(): # 爬取逻辑

3. 可视化展示：用Pandas分析发布时间分布，Matplotlib生成图表

df['date'] = pd.to_datetime(df['date']) df.groupby(df['date'].dt.hour).size().plot(kind='bar')

这个项目虽然基础，但涵盖了爬虫开发的全流程。我在实际开发中发现，即使像MIT这样结构清晰的网站，也会遇到各种边界情况。建议新手在运行完整爬虫前，先用小样本测试所有异常处理逻辑是否健全。