企业官网建设流程全解析

UI-TARS 1.5 vLLM 部署与推理调优完整指南：4步从本地验证到生产

【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS

UI-TARS 1.5 上线第一天的故障现场：服务起来了，但 GUI agent 的每次点击都落偏——模型在“缩放后图像”的空间里输出坐标，不映射回原始分辨率，点击就必然错位。本文围绕 UI-TARS 1.5 的 vLLM 部署与推理调优展开：先做两个前置选择，再走通主链路，然后验证坐标，最后才谈调优。读完你能带走一套可复现的部署流程和配套的验证、排障方法。

动手前先做两个选择：量化方案与硬件档位

先选路，再走路。下面两个决策直接决定后续参数怎么填。

量化/精度方案

硬件档位（官方部署文档对 7B 模型推荐GPU L40S 1GPU 48G，备选 Nvidia L4 / A100）

UI-TARS 1.5 是一个面向 GUI 交互的视觉语言模型：输入截图与指令，输出Thought（思考）加Action（动作与坐标）。

主链路实操：4步从克隆到首次 Action 输出

第1步：环境依赖

git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS pip install vllm openai ui-tars # vLLM 版本以官方 release notes 为准

为什么这么做：ui-tars是仓库配套的解析包（坐标缩放、pyautogui 脚本生成），codes/tests/下的测试脚本依赖它。

通过标志：python -c "import vllm, ui_tars; print(vllm.__version__)"正常输出版本号。

第2步：获取模型权重

pip install -U "huggingface_hub[cli]" huggingface-cli download ByteDance-Seed/UI-TARS-1.5-7B \ --local-dir ./UI-TARS-1.5-7B

为什么这么做：官方权重基于 Qwen2.5-VL，vLLM 可直接加载，无需转换。

通过标志：目录内有config.json与权重分片，且分片总大小与模型页标注一致。

第3步：启动 vLLM 服务

vllm serve ./UI-TARS-1.5-7B \ --served-model-name uitars-1.5-7b \ --max-model-len 65536 \ --gpu-memory-utilization 0.9

为什么这么做：65536 与官方部署文档的Max Input Length (per Query)一致；多轮 GUI 对话要带历史截图，长上下文是刚需。

通过标志：curl http://localhost:8000/v1/models返回uitars-1.5-7b。

第4步：发出第一个请求

import json from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") messages = json.load(open("data/test_messages.json")) resp = client.chat.completions.create( model="uitars-1.5-7b", messages=messages, temperature=0.0, # 官方示例用 0.0，输出可复现 max_tokens=400, stream=True, ) print("".join(c.choices[0].delta.content or "" for c in resp))

为什么这么做：temperature=0.0保证后续调优数据可比。

通过标志：输出包含Action: click(start_box='(x,y)')，格式与 官方示例 一致。

⚠️ 多轮请求时，历史 assistant 消息里的坐标要用 包裹后再发送，逻辑见 README_deploy.md 中的add_box_token。

先验证，再调优：坐标解析三步验证

⚠️ 跳过验证直接调优是白费功夫：坐标不对，吞吐越高，点错越快。

第1步：解析单测。仓库自带解析逻辑的测试，先跑通它：

cd UI-TARS/codes python -m unittest discover tests "*_test.py"

通过标志：全部通过。这一步只证明解析函数没问题，不代表坐标映射正确。

第2步：坐标映射回原图。Qwen2.5-VL 系列输出的是缩放空间里的绝对坐标，需按 坐标处理文档 映射回原始分辨率：

# 核心映射逻辑，完整实现见 README_coordinates.md 与 codes/ui_tars/action_parser.py new_h, new_w = smart_resize(height, width) # 缩放后尺寸，factor=28 x = int(model_x / new_w * width) # 线性映射回原图 y = int(model_y / new_h * height)

通过标志：在仓库根目录执行python codes/tests/inference_test.py，生成的红点落点与模型意图一致。

映射验证的输入是仓库自带的测试截图；

输出图中红点即映射回原图后的点击位置，应落在目标元素上。

第3步：官方解析包端到端确认。

from ui_tars.action_parser import ( parse_action_to_structure_output, parsing_response_to_pyautogui_code ) resp = "Thought: Click the button\nAction: click(start_box='(100,200)')" parsed = parse_action_to_structure_output( resp, factor=1000, origin_resized_height=1080, origin_resized_width=1920, model_type="qwen25vl") print(parsing_response_to_pyautogui_code(parsed, 1080, 1920))

通过标志：输出可执行的pyautogui.click(...)，且坐标在原始分辨率范围内。

用数据调优：关键参数与实测方法

仓库未发布推理基准数据，下面表格的数值请自行实测填入（建议固定单机 L40S 48G、temperature=0.0、相同 20 条请求）：

关键参数，每个一句话原理：

• --max-model-len：KV 缓存显存与上下文长度成正比，先用短上下文验证链路，再提到 65536（官方文档Max Input Length (per Query)同值）。
• --gpu-memory-utilization：vLLM 预留给 KV 缓存的显存比例，48G 档位取 0.9 即可。
• --quantization：4bit/FP8 把权重显存压到 1/4 或 1/2，但每换一档都要用第 2 节的坐标验证回归一次。
• 网关 body 上限：官方文档设置PAYLOAD_LIMIT=8000000（约 8MB）防止大图请求失败，自建网关（如 nginx）要配等价的client_max_body_size。

故障速查：五个常见现象对照表

上生产：拓扑与三个监控指标

生产形态是“无状态推理实例 + 共享权重缓存 + 网关路由”：vLLM 实例不保留业务状态，多轮上下文由客户端携带，扩容就是加实例，权重走共享盘避免每实例重复拉取。

三个核心监控指标：

• 单轮 P99 延迟：参考阈值 P99 ≤ 2× P50；超线先区分是并发排队还是上下文过长。
• 坐标准确率：官方仓库公布 UI-TARS-1.5 在 ScreenSpotPro 上 61.6，可作回归基线；生产上另建小样本回归集（可复用data/test_messages.json的消息格式）。
• 大图请求失败率：应接近 0；出现波动先查网关 body 上限，对应PAYLOAD_LIMIT配置。

以上是 UI-TARS 1.5 从 vLLM 部署、坐标验证到数据化调优的最小闭环。后续可探索：跟进官方发布的 UI-TARS-2；结合 UI-TARS-desktop 客户端做端到端闭环；基于codes/ui_tars/prompt.py的三套模板做领域定制。

【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS