企业官网建设流程全解析

影刀RPA避坑指南：网页反爬虫机制应对——IP代理User-Agent与Cookie管理

用影刀RPA做数据采集，最头疼的不是技术，是采集到一半被网站"制裁"了——IP被封、请求被拒、弹验证码。

这不是你能不能采集的问题，而是怎么"文明采集"的问题。这篇讲常见的反爬机制和应对方法。

反爬的五个层级

建议：逐层应对，不是所有网站都需要上到L5。大多数电商平台的采集做到L3就够了。

L1：User-Agent伪装

每个HTTP请求都带一个User-Agent标识，告诉网站你用的什么浏览器。影刀浏览器默认的UA是带了"自动化"标记的。

# 常见UA伪装列表（随机抽取）ua_list=['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0.0.0','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/119.0.0.0','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/120.0.0.0',]# 影刀HTTP请求指令 → 请求头：# User-Agent: {随机选一个}

影刀内置浏览器：设置→高级→自定义User-Agent，改成普通Chrome的UA即可。

L2：请求频率控制

频率控制不是简单加等待，要模仿人类浏览的节奏：

importrandomimporttimedefsmart_delay(action_type):"""根据操作类型返回合理的延迟"""delays={'page_load':(2.0,5.0),# 页面加载'scroll':(0.8,2.5),# 滚动'click':(0.5,1.5),# 点击'read':(1.0,4.0),# 读取数据'next_page':(3.0,8.0),# 翻页'search':(1.5,4.0),# 搜索后}low,high=delays.get(action_type,(1.0,3.0))time.sleep(random.uniform(low,high))

翻页频率建议：

• 搜索引擎类：3~8秒/页
• 电商类目页：2~5秒/页
• 社交媒体类：5~10秒/页

L3：代理IP

当同一个IP短时间内发大量请求，网站会封IP。解决方案是用代理。

付费代理方案

主流代理服务商的接入方式：

# 影刀的HTTP请求设置代理# 在HTTP请求指令配置中：# 代理设置 → 手动代理# 代理地址：proxy.example.com:8080![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/045e170cd08043eaa52dea3d1432aac1.png#pic_center)# 代理账号：your_username# 代理密码：your_password

选购建议：

• 短效代理（1~5分钟）：适合高频采集，IP自动切换
• 长效代理（按天）：适合需要稳定IP的场景（如登录态维护）
• 不推荐免费代理：慢、不稳定、数据可能被窃取

低成本方案：拨号宽带

如果采集量不大，用家里的拨号宽带每天重启一次路由器就换一个公网IP，比买代理便宜。

L4：Cookie和登录态

Cookie持久化

影刀浏览器关闭后Cookie就没了，下次重新登录浪费时间：

# 思路：每次跑完流程，把关键Cookie存储到文件# 下次开始时先加载Cookie# 保存Cookie（Python代码块）importjson cookies=get_browser_cookies()# 获取当前浏览器Cookiewithopen(r'C:\配置\cookies.json','w')asf:json.dump(cookies,f)# 加载Cookiewithopen(r'C:\配置\cookies.json')asf:cookies=json.load(f)set_browser_cookies(cookies)# 注入到浏览器

但Cookie有过期时间，一般是几小时到几天。过期后自动走登录流程就行。

自动登录

# 登录态检测流程# 1. 打开目标网站# 2. 判断是否已登录（检查页面是否有"退出登录"按钮或个人中心入口）# 已登录 → 继续主流程# 未登录 → 执行登录子流程# 3. 登录子流程：# - 点击登录按钮# - 输入账号密码# - 处理验证码（如果有）# - 验证登录结果

L5：验证码应对

验证码是终极防线，策略是"能避则避"：

1. 降低频率到不会触发验证码：这是最优解
2. 触发验证码后的处理：
   • 截图保存验证码页面
   • 发通知告知需要人工处理
   • 暂停当前任务，跳到下一个任务

# 验证码检测与处理ifcheck_captcha_exists():screenshot("captcha_alert")send_notification("流程遇到验证码，需要人工处理")skip_current_task()# 跳到下一个任务# 注意：不要写自动识别验证码的逻辑# 这种做法不稳定，且可能违反网站条款

数据采集的道德底线

• 遵守robots.txt：网站给你的爬虫指引，Disallow的不采
• 遵守网站条款：用户协议里如果明确禁止自动化采集，就不要碰
• 不影响网站正常服务：凌晨采集、控制并发、不要打垮对方服务器
• 不采集个人隐私数据：用户手机号、地址等隐私信息绝不对接
• 商业数据用于内部分析：采集竞品数据用于运营分析可以，但不要二次倒卖

#影刀RPA #RPA自动化 #反爬虫 #代理IP #数据采集安全

作者：林焱

本文为《影刀RPA学习手册》系列文章之一，内容源于实操经验的整理与分享。