☰
小白程序员快速掌握大模型推理技巧:CoT思维链实战指南
2026/11/2 23:37:48 网站建设 项目流程

本文介绍了大语言模型中的“思维链”(Chain of Thought, CoT)技术,通过生成中间推理步骤提升模型在算术、常识和符号推理任务上的表现。文章深入解析了CoT的工作原理、适用任务类型及不同方法(如Few-shot CoT、Zero-shot CoT等)的区别,并提供了实战案例——构建可验证的退款计算助手,展示如何结合模型与代码实现可靠推理。此外,文章还探讨了评估CoT效果的关键指标及注意事项,强调思维链仅作为辅助工具,需结合外部验证确保结果可信。

给模型一道多步计算题,直接要求答案,它可能脱口而出一个数字。加上一句“请逐步分析”,结果有时会明显改善。

这就是CoT最容易观察到的效果。

CoT是Chain of Thought的缩写,中文通常译为“思维链”或“推理链”。它让模型在输出最终答案前,先生成一串中间步骤。2022年的原始论文发现,向大模型提供带推理步骤的示例,可以改善部分算术、常识和符号推理任务的表现;Zero-shot CoT随后发现,仅加入“Let’s think step by step”这样的指令,也能在当时测试的部分模型和数据集上带来提升。

图1|CoT论文Figure 1:相同题目下,标准提示直接给出错误答案;带推理示例的提示先生成中间计算,再得到正确答案。来源:Wei等《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》。

不过,“让模型多说几步”只是表面现象。要把CoT用于真实系统,还得回答几个更具体的问题:中间Token为什么会帮助推理?哪些任务适合?思维链写错了怎么办?怎样证明最终结果可信?

01 CoT到底是什么

先分清内部计算、可见推理轨迹与面向用户的推理摘要。

语言模型按顺序预测下一个Token。直接回答时,模型要从问题跳到结论;使用CoT时,它会先生成中间结论,再把这些结论放进后续上下文。

可以把两种生成路径写成:

直接回答

直接回答:问题 → 最终答案

CoT路径

CoT:问题 → 中间步骤1 → 中间步骤2 → 最终答案

这些中间Token相当于一块临时草稿区。后面的生成可以读取前面已经写出的变量、子结论和约束,不必一次完成全部映射。

先划清推理轨迹的边界,但需要划清一条边界:可读的思维链不是神经网络内部计算的完整录像。模型真正的计算发生在隐藏状态和参数中,输出的文字只是一条生成轨迹。它可能帮助模型求解,也可能只是事后组织出来的解释。

所以,工程上最好把三个概念分开:

  • 内部计算:发生在模型隐藏状态中的数值运算,无法靠阅读文字完整还原;
  • CoT轨迹:模型生成的中间Token,可以参与后续预测;
  • 推理摘要:面向用户展示的关键步骤,用来说明依据和方便复核。

三者有关联,但不能画等号。

02 中间Token为什么能帮助推理

分解任务、保存中间状态并延长计算路径,但不承诺正确。

第一种作用是任务分解。

复杂问题往往同时包含多个条件。直接回答要求模型一次选中正确结果,CoT则允许它先解决局部问题。例如先识别优惠规则,再计算分摊金额,最后判断运费能否退还。每一步的搜索空间更小。

第二种作用是延长计算路径。

自回归模型每生成一个Token,都会再运行一次前向计算。Google Research在2026年的闭卷问答实验中发现,即使把自然推理替换成没有事实含义的重复文本,额外Token仍能改善部分事实召回,说明中间Token可以提供“计算缓冲”;自然推理中的相关事实还会产生事实启动效应,帮助模型找到目标答案。

研究结果有适用范围:实验集中在Gemini 2.5、Qwen3-32B和两个闭卷问答数据集,不能推导为“只要生成更多Token,任何问题都会更准”。论文同时观察到边际收益递减,中间事实一旦出现幻觉,最终答案反而更容易被带偏。

第三种作用是让模型复用训练中见过的解题结构。数学证明、代码调试和规则判断都有常见步骤。推理示例会把模型引向这些模式,而不是直接猜结论。

图2|中间Token把复杂问题拆成子问题,在上下文里保存局部结论,并为后续生成增加计算路径;最右侧仍需验证最终答案。

03 常见CoT方法有什么区别

从直接回答到搜索与工具调用,复杂度应随任务结构增加。

方法核心做法适合任务主要代价
Few-shot CoT在提示词中提供带步骤的示例任务格式稳定、规则明确示例占上下文,错误示例会误导模型
Zero-shot CoT直接要求分步分析快速建立基线控制较弱,容易产生冗长解释
Least-to-Most先拆成简单子问题,再依次求解组合推理、复杂规则子问题拆错会影响后续全部步骤
Self-consistency采样多条推理路径,对答案投票数学、选择题、可聚合答案模型调用量增加
Tree of Thoughts搜索多条候选路径,并评估、回退规划、搜索、难题求解实现复杂,成本更高
ReAct交替生成推理、行动和工具观察搜索、Agent、代码执行需要工具权限、超时和轨迹管理

Least-to-Most的重点不是让模型“说得更详细”,而是先解决容易的子问题,再把答案用于后续步骤。

Self-consistency则把一条思维链视为一次随机采样。模型独立生成多条路径,再对最终答案做多数投票。原论文在一组算术与常识推理基准上取得提升,但这种方法更适合答案可以归一化的任务。开放式报告没有天然的多数答案,不能直接套用投票。

Tree of Thoughts会显式保留多条候选路径,允许评估和回退;ReAct则把推理、工具行动和环境观察交替组织起来。前者更像搜索算法,后者更适合需要查资料或运行代码的Agent。

图3|从直接回答开始,任务越依赖分解、采样或外部工具,分别转向Zero-shot/Few-shot CoT、Least-to-Most、Self-consistency、Tree of Thoughts或ReAct。

04 推理模型怎样学会CoT

监督数据、结果奖励、过程监督和蒸馏解决的是不同训练问题。

提示词只能解释使用阶段。如今的推理模型还会在训练阶段学习怎样展开推理。

第一种路线是监督微调。训练数据提供问题、推理过程和答案,模型学习模仿完整轨迹。它能改善格式与可读性,但数据中的错误步骤也会被学进去。

第二种路线是结果奖励。数学答案、代码测试和形式化证明通常可以自动验证。模型生成不同推理路径,只要最终结果通过验证,就得到奖励。这让模型自行探索有效策略,但也可能学到碰巧得分的捷径。

DeepSeek-R1报告展示了一个具体案例:R1-Zero在没有先做监督微调的情况下,通过大规模强化学习出现了自我检查、延长推理等行为;正式版R1又加入冷启动数据和多阶段训练,以改善可读性、语言混杂等问题。

第三种路线是过程监督。它不只看最终答案,还给每个中间步骤打分。OpenAI在MATH数据集上的研究中,过程监督优于结果监督,但研究者也明确指出,能否推广到数学之外仍不确定。OpenAI过程监督研究

最后是推理蒸馏。大模型先生成推理数据,再用这些数据训练小模型。蒸馏能降低部署成本,但小模型学到的是数据中出现的轨迹,并不意味着复制了教师模型的全部能力。

05 实战:做一个可验证的退款计算助手

让模型提出候选路径,让普通代码决定结果能否通过。

考虑一条售后规则:订单包含三件商品,原价分别为120元、80元和50元;使用一张满200减30元优惠券,优惠按原价比例分摊;现在退回120元商品;已收取的10元运费不退。

退款金额应为:

120 - 30 × 120 ÷ 250 = 105.60元

这是一个适合CoT的任务,因为它包含规则识别、比例分摊和金额计算。真正上线时,不能只让模型输出一篇看起来合理的分析。比较稳妥的流程如下。

图4|结构化输入进入多路径推理,候选答案先做Schema解析和多数选择,再由确定性规则引擎验算;缺少规则、验算失败和重复退款分别进入询问、停止与幂等拦截。

01

第一步:把自然语言规则变成结构化输入

程序先提供明确字段,而不是让模型从一大段订单描述里猜数字。

json

{ "item_prices": [120, 80, 50], "returned_item_price": 120, "coupon_discount": 30, "coupon_allocation": "proportional_to_original_price", "shipping_fee": 10, "shipping_refundable": false }

模型负责理解规则并选择公式,字段类型和必填项由普通代码检查。

02

第二步:要求关键步骤,不索取长篇“内心独白”

提示词可以这样写:

text

根据输入规则计算退款。先拆解规则并完成计算,但最终只输出JSON。 必须包含:订单原价合计、退货商品分摊优惠、可退运费、最终退款金额、使用的规则ID。 金额保留两位小数;条件不足时返回needs_clarification,不得补造规则。

目标输出:

json

{ "original_total": 250.00, "allocated_discount": 14.40, "refundable_shipping": 0.00, "final_refund": 105.60, "rule_ids": ["coupon_proportional", "shipping_nonrefundable"], "status": "completed" }

这些字段是可验证的推理摘要。它们比一段自由文本更容易解析,也不需要把完整原始CoT展示给用户。

03

第三步:对困难样本采样多条路径

如果规则更多,可以独立生成5份结果,对final_refund归一化后投票。

python

from collections import Counter from decimal import Decimal, ROUND_HALF_UP def choose_candidate(candidates): valid = [c for c in candidates if c.get("status") == "completed"] amounts = [Decimal(str(c["final_refund"])).quantize(Decimal("0.01"), rounding=ROUND_HALF_UP) for c in valid] if not amounts: return None winner, votes = Counter(amounts).most_common(1)[0] return winner if votes >= 3 else None

这里的多数票只是候选选择器,不能代替业务校验。五条路径可能同时误解同一条规则。

04

第四步:用确定性代码重新验算

金额计算应由Decimal或业务规则引擎完成。验收器重新计算订单总额、优惠分摊和运费,逐字段比较模型结果。

python

def verify_refund(data, model_result): prices = [Decimal(str(x)) for x in data["item_prices"]] total = sum(prices) returned = Decimal(str(data["returned_item_price"])) discount = Decimal(str(data["coupon_discount"])) allocated = (discount * returned / total).quantize(Decimal("0.01"), rounding=ROUND_HALF_UP) shipping = Decimal("0.00") if not data["shipping_refundable"] else Decimal(str(data["shipping_fee"])) expected = (returned - allocated + shipping).quantize(Decimal("0.01"), rounding=ROUND_HALF_UP) actual = Decimal(str(model_result["final_refund"])).quantize(Decimal("0.01"), rounding=ROUND_HALF_UP) return actual == expected, expected

示例采用常见的四舍五入方式,真实业务应读取合同或财务系统规定的舍入规则。模型决定怎样理解问题,代码决定答案能不能通过验收。两者的职责不要颠倒。

05

第五步:失败时回退,而不是继续编

常见失败包括JSON解析错误、规则ID不存在、多条路径无法形成多数,以及验算不通过。

解析错误可以要求模型按原Schema重试一次;缺少业务条件时返回人工确认;验算失败则把“错误字段、期望值和实际值”交给修复流程。重试仍失败,就停止自动退款。

在这个例子里,退款只是计算结果。如果系统还要真正执行打款,打款工具应放在独立审批之后,并使用幂等键防止网络重试造成重复退款。

06 怎样评估CoT是否真的有用

准确率、验算通过率、延迟和成本必须一起看。

只看几个成功案例很容易得出错误结论。至少准备一组包含简单题、复杂题、缺失条件和冲突规则的测试集,然后比较直接回答、单条CoT、多路径CoT三种方案。

建议记录这些指标:

  • 最终答案准确率;
  • 结构化结果解析成功率;
  • 确定性验算通过率;
  • 多路径结果的一致率;
  • 平均推理Token、端到端延迟和单次成本;
  • 缺少条件时正确拒答的比例;
  • 模型或提示词更新后的回归失败数。

如果CoT只增加了Token,却没有提高验算通过率,就不该默认开启。简单分类、固定字段抽取和单次查表通常直接回答更划算。多步计算、组合规则、规划和工具选择更可能受益。

07 思维链为什么不能直接当证据

可读推理不一定忠实,审计仍要回到来源、工具与规则。

“可读不等于忠实”就是一条写得流畅的推理可能仍然是错的。更麻烦的是,模型可能受到某条提示影响,却没有在思维链中承认。

Anthropic在针对Claude 3.7 Sonnet和DeepSeek-R1的提示干预实验中发现,两种模型经常使用注入的答案提示,却未在CoT中说明。研究使用的是特定模型、选择题和人工提示,不能推广到所有任务,但足以说明:思维链不具备天然的忠实性。

因此,生产系统应该把CoT当成辅助信号。事实引用要回到原始来源,数学和代码要交给验证器,高风险动作要经过权限检查。审计日志记录的是输入、模型版本、工具调用、规则版本和验收结果,不是一段未经验证的自述。

08 落地时可以遵循的决策顺序

先做最低成本基线,再按失败类型增加推理与验证。

先判断任务是否真的需要多步推理。若只是查表或提取字段,直接回答。

需要拆解时,先做单条CoT基线;准确率不够,再测试Least-to-Most或多路径采样。每增加一种推理策略,都同步记录Token和延迟。

最终答案如果能被代码、测试用例、数据库约束或外部来源验证,就把验证放在模型之外。无法自动验证的开放任务,至少要求引用证据,并抽样人工复核。

最后,不要强迫每个请求使用同一档推理预算。简单任务快速回答,困难任务才增加采样数和推理长度。CoT的价值不在于让答案显得更认真,而是给难题增加一条可检验的求解路径。

09 写在最后

CoT的价值是增加一条可检验路径,不是让答案显得更认真。

CoT利用中间Token保存局部结论、拆分问题,并延长模型的计算路径。它可以通过提示词临时激发,也可以通过监督微调、强化学习、过程监督和蒸馏进入模型训练。

但CoT本身没有正确性保证。中间步骤可能出错,长推理可能浪费计算,解释也不一定忠实。

真正可落地的组合很朴素:模型负责提出推理路径,结构化输出负责留下可检查的中间量,普通代码负责验算,失败流程决定何时重试、询问或停止。做到这里,思维链才从一句提示词技巧,变成一项可评估的工程能力。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包:

  • ✅ 从零到一的 AI 学习路径图
  • ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
  • ✅ 百度/阿里专家闭门录播课
  • ✅ 大模型当下最新行业报告
  • ✅ 真实大厂面试真题
  • ✅ 2026 最新岗位需求图谱

所有资料 ⚡️ ,朋友们如果有需要《AI大模型入门+进阶学习资源包》,下方扫码获取~

① 全套AI大模型应用开发视频教程

(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)

② 大模型系统化学习路线

作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

以上资料如何领取?

为什么大家都在学大模型?

最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!

不出1年,“有AI项目经验”将成为投递简历的门槛。

风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!

这些资料真的有用吗?

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

以上全套大模型资料如何领取?

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询