企业官网建设流程全解析

👁️ 第10期：多模态应用 — 看图识炉，视频监控高炉状态

专栏：《LangChain框架在高炉炼铁智能化领域的应用》
前情回顾：上期我们用 Tool 让 AI 学会了"动手操作"
本期重点：多模态（视觉）—— 让 AI 拥有"火眼金睛"

📷 引言：一张图胜过千言万语

前面9期，我们一直在跟"文字"打交道——

• 查参数 → 文字
• 分析数据 → 文字
• 生成报告 → 文字
• 对话交流 → 文字

但是！真正的炼铁现场，信息主力是图像和视频🎬

看看高炉中控室的屏幕墙：

┌─────────────────────────────────────────┐ │ 📊 数据仪表盘 │ 🔥 风口摄像头(实时) │ │ │ │ │ 风温: 1205°C │ [ 风口火焰画面 ] │ │ 风压: 0.392MPa │ 【判断燃烧状态】 │ │ 铁温: 1490°C │ │ ├────────────────┼────────────────────────┤ │ 🌡️ 炉顶红外 │ 🏭 铁口出铁监控 │ │ │ │ │ [ 红外热像图 ] │ [ 出铁画面 ] │ │ 【看温度分布】 │ 【判断出铁状态】 │ └────────────────┴────────────────────────┘

这些图像信息，用文字描述可太费劲了！😩

• 写1000字描述风口火焰 = ❌ 不如图片一眼
• 写2000字描述红外温度分布 = ❌ 不如图像色块直观

所以，本期我们来玩点"高级的"——让AI学会"看"！👀

🧠 什么是多模态 AI？

多模态 AI= 能同时处理文字、图像、视频、音频等多种信息形式的 AI。

输入： 处理： 输出： ┌──────┐ ┌──────────┐ ┌──────┐ │ 文字 │ ──────── │ │ │ │ ├──────┤ │ 多模态 │ │ 分析 │ │ 图片 │ ──────── │ 大模型 │ ──────── │ 结果 │ ├──────┤ │ │ │ │ │ 视频 │ ──────── │ │ └──────┘ └──────┘ └──────────┘

在高炉场景中，多模态可以帮我们：

💻 实战：LangChain 多模态调用

基础篇：让AI"看"风口图像

fromlangchain_openaiimportChatOpenAIfromlangchain.promptsimportHumanMessagePromptTemplatefromlangchain_core.messagesimportHumanMessageimportbase64# 📌 初始化多模态模型multimodal_llm=ChatOpenAI(model="doubao-seed-2-0-011215",# 支持图像理解的模型temperature=0.2,timeout=600)# 📌 定义图片分析函数defanalyze_furnace_image(image_url:str,question:str)->str:""" 分析高炉现场图像 image_url: 图片的URL地址 question: 针对图片的问题 """messages=[HumanMessage(content=[{"type":"text","text":f"你是一名高炉炼铁专家，请分析这张高炉现场图片。\n问题：{question}"},{"type":"image_url","image_url":{"url":image_url,"detail":"high"# high表示高精度分析}}])]response=multimodal_llm.invoke(messages)returnresponse.content# 📌 场景1：分析风口火焰image_question_1=""" 请分析风口图像： 1. 风口火焰的颜色和亮度如何？ 2. 是否存在黑线、挂渣或风口不亮的情况？ 3. 燃烧状况是否正常？ """# result = analyze_furnace_image("https://example.com/tuyere_image.jpg", image_question_1)# print(result)

进阶篇：多图像综合分析

fromlangchain_core.messagesimportHumanMessagefromlangchain_openaiimportChatOpenAIdefanalyze_multiple_images(image_urls:list,context_data:str="")->str:""" 综合分析多张高炉现场图像 image_urls: 图片URL列表 context_data: 相关的文字数据（如当前参数） """llm=ChatOpenAI(model="doubao-seed-2-0-011215",temperature=0.1,timeout=600)# 构建消息内容content=[{"type":"text","text":f"""你是高炉炼铁视觉分析专家，正在综合多张现场图像进行炉况判断。 【当前运行数据】{context_data}【看图要求】 请综合以下所有图像，从以下维度分析： 1️⃣ 风口燃烧状况（火焰颜色、亮度、均匀性） 2️⃣ 炉顶温度分布（如有红外图） 3️⃣ 出铁状态（如有铁口图像） 4️⃣ 综合判断当前炉况 5️⃣ 如果有异常，给出操作建议 请输出结构化分析结果。"""}]# 添加多张图片forurlinimage_urls:content.append({"type":"image_url","image_url":{"url":url,"detail":"high"}})messages=[HumanMessage(content=content)]response=llm.invoke(messages)returnresponse.content# 📌 使用示例# result = analyze_multiple_images(# image_urls=[# "https://example.com/tuyere_1.jpg", # 风口1# "https://example.com/tuyere_2.jpg", # 风口2# "https://example.com/top_infrared.jpg" # 炉顶红外# ],# context_data="""# 风温: 1205°C# 风压: 0.392MPa# 铁水温度: 1490°C# 硅含量: 0.42%# """# )

实战篇：风口火焰智能分析 Agent

# 📁 tuyere_vision_agent.py# 风口图像智能分析系统fromlangchain_openaiimportChatOpenAIfromlangchain_core.messagesimportHumanMessagefromlangchain.toolsimporttoolfromlangchain.agentsimportcreate_agentfromtypingimportOptional# ─────────── 工具1：分析风口火焰 ───────────@tooldefanalyze_tuyere_flame(image_url:str,tuyere_number:int=0)->str:""" 【视觉分析】分析高炉风口火焰图像，判断燃烧状况 image_url: 风口图像的URL tuyere_number: 风口编号，从1开始 """llm=ChatOpenAI(model="doubao-seed-2-0-011215",temperature=0.1,timeout=600)messages=[HumanMessage(content=[{"type":"text","text":f"""你是一位高炉风口分析专家，分析第{tuyere_number}号风口图像。 请输出结构化的分析结果： 【火焰状态】 - 火焰颜色： - 火焰亮度： - 火焰长度： - 均匀性： 【异常检测】 - 是否有黑线：（有/无） - 是否有挂渣：（有/无） - 是否有风口不亮：（有/无） - 是否有破损：（有/无） 【综合判断】 - 燃烧状态：良好/一般/异常 - 置信度：（0-100%） - 详细说明： """},{"type":"image_url","image_url":{"url":image_url,"detail":"high"}}])]response=llm.invoke(messages)returnresponse.content# ─────────── 工具2：分析炉顶红外热像 ───────────@tooldefanalyze_top_infrared(image_url:str)->str:""" 【视觉分析】分析高炉炉顶红外热像图，判断温度分布 image_url: 红外热像图的URL """llm=ChatOpenAI(model="doubao-seed-2-0-011215",temperature=0.1,timeout=600)messages=[HumanMessage(content=[{"type":"text","text":"""请分析这张高炉炉顶红外热像图： 1. 整体温度分布是否均匀？ 2. 有无局部高温/低温区域？ 3. 气流分布是否合理？ 4. 是否存在偏料或管道行程迹象？ 5. 给出综合判断和建议。 请输出结构化分析结果。"""},{"type":"image_url","image_url":{"url":image_url,"detail":"high"}}])]response=llm.invoke(messages)returnresponse.content# ─────────── 工具3：分析铁口出铁图像 ───────────@tooldefanalyze_tap_hole(image_url:str)->str:""" 【视觉分析】分析高炉铁口出铁图像，判断出铁状态 image_url: 铁口出铁图像的URL """llm=ChatOpenAI(model="doubao-seed-2-0-011215",temperature=0.1,timeout=600)messages=[HumanMessage(content=[{"type":"text","text":"""请分析这张铁口出铁图像： 1. 铁流状态是否稳定？ 2. 铁水颜色和亮度如何？（判断温度） 3. 火花情况如何？ 4. 出铁口工作状态是否正常？ 5. 有无异常情况？ 请输出结构化分析结果。"""},{"type":"image_url","image_url":{"url":image_url,"detail":"high"}}])]response=llm.invoke(messages)returnresponse.content# ─────────── 构建多模态视觉Agent ───────────defbuild_vision_agent():"""构建高炉视觉分析智能体"""llm=ChatOpenAI(model="doubao-seed-2-0-lite-260215",temperature=0.2,timeout=600)agent=create_agent(model=llm,system_prompt="""🔭 你是高炉视觉分析专家，可以通过分析现场图像判断炉况。 【你的能力】 1. analyze_tuyere_flame - 分析风口火焰图像（判断燃烧情况） 2. analyze_top_infrared - 分析炉顶红外热像图（判断温度分布） 3. analyze_tap_hole - 分析铁口出铁图像（判断出铁状态） 【工作流程】 1. 根据用户需求，请求提供对应类型的图像URL 2. 调用对应的图像分析工具 3. 综合所有分析结果，给出炉况判断 4. 如发现异常，给出明确的预警和建议 【注意事项】 - 每次分析都要输出结构化结果 - 综合多张图片做交叉验证 - 发现异常情况要优先提醒""",tools=[analyze_tuyere_flame,analyze_top_infrared,analyze_tap_hole])returnagent# ─────────── 使用示例 ───────────if__name__=="__main__":agent=build_vision_agent()# 模拟：操作工上传风口图片请求分析test_input=""" 操作工张师傅上传了5号高炉3号风口的最新照片， 他说感觉火焰颜色有点发暗，帮我分析一下具体什么情况？ 图片URL: https://example.com/tuyere_3.jpg """# ⚠️ 注：真实使用时需上传实际图像URL# result = agent.invoke({# "messages": [{"role": "user", "content": test_input}]# })# print(result["messages"][-1].content)print("✅ 多模态视觉Agent构建完成！")print("📸 输入风口/红外/铁口图像URL即可自动分析")

🎥 视频监控与实时分析

除了静态图像，高炉现场更多的是视频流。我们也可以让 AI"看视频"！

视频帧提取 + 逐帧分析

# 📁 video_analysis.py# 高炉视频监控分析defanalyze_furnace_video_frames(video_url:str,frame_interval:int=30,# 每30帧取一帧max_frames:int=10# 最多取10帧)->str:""" 分析高炉监控视频的关键帧 """# 1. 视频帧提取（调用视频处理工具）# frames = extract_frames(video_url, frame_interval, max_frames)# 2. 对每一帧进行分析analyses=[]fori,frameinenumerate([]):# frames:analysis=analyze_single_frame(frame,f"第{i+1}帧")analyses.append(analysis)# 3. 汇总分析llm=ChatOpenAI(model="doubao-seed-2-0-011215",temperature=0.1,timeout=600)summary_prompt=f""" 请综合以下{len(analyses)}个视频帧分析结果，给出整体趋势判断：{chr(10).join(analyses)}请分析： 1. 是否有异常变化趋势？ 2. 各帧之间的变化是否正常？ 3. 整体判断结论。 """response=llm.invoke(summary_prompt)returnresponse.content

🏭 实战案例：AI视觉巡检系统

把多模态能力整合到一个完整的系统中：

┌─────────────────────────────────────────────────┐ │ 高炉AI视觉巡检系统 │ ├─────────────────────────────────────────────────┤ │ │ │ 定时巡检流程： │ │ ① 每隔30分钟自动抓拍风口图像 │ │ ② AI自动分析每张风口图像 │ │ ③ 与上次巡检结果对比（记忆） │ │ ④ 发现异常自动发送告警 │ │ ⑤ 生成巡检报告 │ │ │ │ 🔥 可检测的异常： │ │ - 风口不亮（风口损坏） │ │ - 挂渣严重（喷煤问题） │ │ - 火焰颜色突变（炉况波动） │ │ - 黑线出现（燃烧恶化） │ └─────────────────────────────────────────────────┘

📊 本期小结

核心心法：

多模态是工业AI的"降维打击"——以前需要老师傅到现场"看一眼"才能判断的事情，现在AI通过摄像头就能自动完成。24小时不眨眼，永不疲劳！🤖👁️

📌 下期预告

第11期：《实时数据流处理：高炉数据的"高速公路"》🌊

AI会看图了，但还有一个问题——高炉的数据是实时更新的！

传感器每秒钟都在产生新数据，风温在波动、铁温在变化、压力在起伏……如果AI只能"问一句答一句"，怎么能跟得上高炉的节奏？

下一期，我们进入数据流的实时处理——让AI像"高速公路"一样，实时"吞入"海量数据，持续输出分析判断！🏎️💨

🌟只剩6期了，追更的同学们集合了！

作者：高炉炼铁智能化技术研究者，专注钢铁冶金与人工智能 交叉领域。

👍 如果觉得有帮助，请点赞、收藏、转发！
版权归作者所有，未经许可请勿抄袭，套用，商用(或其它具有利益性行为)。
🔔 关注专栏，不错过后续精彩内容！