1. 这份AI科研日报是怎么筛出来的:我的“注意力沙漏”工作流
先说个现状。我每天早上的固定动作,是打开一个自己攒的Python脚本,把arXiv、Hugging Face Trending、GitHub Trending、几个科技媒体RSS、还有知乎和即刻上关注的技术板块全部拉一遍,粗筛出大概两三百条原始信息,然后人工过一遍,压到十条以内,最终落成一份《AI科研日报》发在群里。整个过程大概九十分钟,其中脚本跑数据只要十分钟,剩下八十分钟全是我在做判断。
很多人问我,日报不就是把热点标题堆在一起吗?不是的。如果只是罗列当天标题,那叫爬虫产物,不叫科研日报。我做这份日报的核心价值,是给团队和同行省下“判断时间”——告诉他们今天有哪些东西值得打开、哪些东西扫一眼标题就够了、哪些东西看着热闹但是不用管。这个判断力,才是日报的灵魂。
我做这套工作的启发,来自一个很实际的痛点:AI领域的信息产出速度,早就超过了人的阅读速度。光arXiv每天新增的论文就是两三百篇,Hugging Face上每天新挂的模型和数据集更多,GitHub Trending还有几十个仓库上榜,再加上各种公众号、知乎专栏、即刻动态里的技术讨论——如果一个人真想把“今天AI圈发生了什么”看完,他这一天就不用干别的了。
所以我把自己的信息处理流程设计成了三层漏斗。第一层是机器过滤:关键词命中、论文分类、仓库Star增速、作者影响力打分,这个能砍掉八成噪音。第二层是人工粗筛:快速扫标题和摘要,判断是否和“工程可复现”“训练方法有增量”“工具链有实用价值”三条主线相关,这一步再砍掉一半。第三层才是精读:对剩下真正重要的内容,花时间读完,写清楚“为什么值得看”和“对我们有什么用”。
这个三层漏斗看起来简单,真正跑起来之后我发现,最耗时间的不是读文章,而是第二层的人工判断。因为机器再聪明,也很难理解“这篇论文的标题很猛,但实验设置其实很弱”这种内容。这些判断只能靠人力,靠的是多年的领域积累。所以我后来给日报加了一条规矩:每条内容必须附上“推荐理由”,理由里必须说清楚这条信息能用在什么场景、解决什么问题。说不清楚的,一律不进日报。
2. 头条解读:AI Agent训练方法的两个新信号
今天日报里我放在头条的,是某大模型团队公开的一种智能体训练新方法。这个方向我盯了挺久,因为当前Agent应用的瓶颈已经从“模型能不能理解指令”转移到了“模型在长链条任务里能不能稳住”。指令理解靠的是基座模型能力,而长链条任务里的策略选择、错误恢复、多步规划,靠的却是训练方法的设计。
先说训练方法的一个核心变化:从“静态数据”转向“动态反馈”。传统做法是准备大量人工标注的指令-回应对,让模型模仿学习;但Agent场景里,正确路径往往是多条的,同一个目标可以有不同的工具调用顺序,单靠静态标注很难覆盖。新方法里引入了一个“自博弈”机制——让同一个模型的多个实例在模拟环境里互相对抗,一方负责完成任务,另一方负责设置障碍或制造干扰,模型在这种对抗过程中自然产生大量有难度的训练样本。
这个思路我很喜欢,因为它在工程上很便宜。不依赖人工标注新数据,只需要定义好环境规则和胜负条件,剩下的交给模型自己“刷题”。
第二个信号是“可验证奖励”的强化学习回归。过去两年大家迷信RLHF,但RLHF在Agent场景里有两个问题:一是奖励模型本身要训练,成本高;二是人类偏好标注在工具调用这类客观任务上并不稳定。新方法里,他们改用了规则化的可验证奖励——比如任务是否完成、输出格式是否合法、工具调用是否成功——这些都能用代码自动判定,不需要人类介入。这个思路本质上就是把“把质量关”这件事从人肉变成机器。
对做工程的人来说,这个变化的直接含义是:小团队复现Agent训练的门槛在降低。以前调RLHF,要准备偏好数据、训练奖励模型、调PPO,每一步都是硬件和人力黑洞。现在如果你有一个带明确胜负规则的环境,理论上可以把一套自博弈训练跑在一个很小的集群上。我自己就在一个格子环境里试过几十轮迭代,模型在简单导航任务上的成功率肉眼可见地提升,整个资源消耗只相当于训练几天小模型。
不过要泼一盆冷水:这类方法的适用范围目前还很窄。适合的是有明确规则、可自动判定成败的任务,比如网页表单填写、API调用、代码生成。但凡是涉及主观质量判断的任务——比如“写一段有说服力的文案”——目前还是要靠人工反馈兜底。所以我的判断是,接下来半年会有一波“环境仿真”方向的热潮,谁能把一个业务场景封装成规则清晰的环境,谁就能把Agent训练做成一个低成本流水线。
3. 日报里我特意标红的工程向内容
头条之外,今天日报里有几条工程向的内容被我标了红。这些不是最热门的,但都是我自己觉得“立刻能拿去用”的东西,所以在这一节展开说说。
3.1 多AI协作并非锦上添花,而是一条新工作流
有一段时间我处理复杂任务的习惯是死磕单一大模型,但去年下半年开始,我发现“多AI协作”的思路变得越来越实用。我在日报里专门给这个话题留了位置,不是因为概念新,而是因为已经出现了大量可用的协作框架和实现方式。
举个例子。上个月我帮朋友做了一个产品需求梳理,任务分成了三块:市场调研、竞品功能清单、初版PRD。我用了三个不同的模型并行处理这三块——市场调研用擅长开放检索的千问,竞品功能清单用输出结构更规范的模型,PRD的初稿用一个上下文窗口更大的模型来汇总,然后我自己做总编。整个过程从原本预计的两天缩短到半天,而且每一块的产出都比我用单模型连续完成要干净。
这里面的经验是:多AI协作不是“多问几个模型取平均值”,而是给不同模型分配不同的认知角色。需要发散的任务,交给知识面广的模型;需要收敛的任务,交给结构性强的模型;需要长文本综合的任务,交给窗口大的模型。就像一个项目组里的人各有分工,而不是一群全能选手互相抢活。
日报里我通常会记录这类协作案例的具体参数——比如哪种搭配组合适合什么任务、分几轮协作、哪些环节需要人来控制——这些经验是散落在各个地方很难找到的,能进日报本身就是它们价值的证明。
3.2 AI测试开发开始成为一种正式职业
“AI测试开发”这个标签出现在热搜里不是偶然,我认识的几个团队今年都在招这个方向的人。它的工作内容主要有两类:一类是测试AI系统本身——比如评估大模型输出的质量、设计评测集、检测幻觉和偏见;另一类是用AI来辅助测试传统软件——比如让大模型自动生成测试用例、分析失败日志、推荐修复方案。
这和我平时关注的内容直接相关。我在日报里整理过一阵子“大模型质量保障”相关的工具链,发现几个趋势:一是评测基准越来越细分化,从通用榜单走向行业场景,比如专门测试模型在客服对话里的表现、在代码生成里的编译通过率;二是“评测即服务”在兴起,平台方提供标准化的评测环境和数据集,团队按次调用,省去了自己搭评测基础设施的成本。
对准备入行的人来说,我建议从一个小而实的项目入手:选一个你们业务中真实使用的模型场景,设计二十个测试用例,跑一遍并记录失败模式,然后尝试用提示词或后处理脚本修复其中三到五个。这个完整流程走下来,你对AI测试开发的理解会比看十篇文章都深。
3.3 AI辅助专利检索:一个常被低估的效率场景
做研发的都知道,专利检索是一件又重要又枯燥的事。重要在于,如果不做前期检索,很可能研发做到一半才发现技术路径已经被别人申请了专利,前功尽弃。枯燥在于,传统的专利检索需要在数据库里翻大量文档,而且专利文本的语言习惯和老式论文完全不同,多数工程师读起来非常费劲。
日报里收录了一条AI辅助专利检索的工具更新。这类工具的典型功能包括:输入一段技术描述,直接输出相似专利族、可视化技术演进脉络、标注出最接近的独立权利要求。本质上就是把“语义检索”和“结构化阅读”两层工作都自动化了。
我自己的体会是,这类工具最关键的增量不在于检索多准确,而在于它能帮研发人员建立“先检索后研发”的习惯。以前因为查专利麻烦,很多人跳过这一步直接开干;现在阻塞感消失了,行为就会改变。当然,工具给出的结果只能作为初筛参考,真正写到交底书里的对比文件,还是要由专业人员人工确认。
3.4 垂直软件里长出的AI助手,和通用大模型是两条路
还有一个我观察了很久的案例:EDA软件里集成的AI助手。PCB设计和电路仿真是高度专业的工作,通用大模型很难直接插手,因为涉及的术语、规则、文件格式都是垂直领域专属的。但当AI助手长在EDA软件内部,情况就不一样了——它可以直接读取你的工程文件,理解当前电路的结构,然后在对话框里回答“这个电源网络的压降瓶颈在哪”或者“帮我检查一下这几条布线有没有阻抗匹配问题”。
这种形态的AI应用,路径和通用大模型完全不同。它的核心能力不是模型本身的推理能力,而是“嵌入式”的服务深度——模型能调用软件内部的规则引擎和仿真工具,是底座;模型能拿到当前工程的完整结构信息,是钥匙。
日报里我记录这类内容的判断标准是:这个AI助手能否完成“纯模型做不了”的事。如果回答只是基于公开知识的搬运,那对我来说价值有限;如果能操作工程对象、调用专业工具、结合实际场景推理,那就是值得跟进的方向。
4. 日报的“过滤网”:哪些内容我坚决不让它进正文
做日报看似是筛选信息,本质上是经营信任。读者打开日报,是默认你已经替他们踩过坑、排过雷。所以我给自己定了一条硬规矩:宁可漏掉十条有价值的信息,也不要放进一条有问题或者没价值的内容。
说说我是怎么拦内容的。
第一类坚决不碰的,是任何打着“无限制”“无审核”“无禁词”旗号的AI工具。这类产品往往靠低级内容或违规内容吸引流量,使用它们不仅有法律风险,还会污染你正在构建的、对AI工具的价值判断体系。我做日报明确拒绝收录这类工具,也不建议任何人作为技术方案来研究,因为它们在技术含量和可持续性上都经不起推敲。
第二类要小心的,是声称“教别人用AI赚翻了”的培训内容。我不是说靠AI涨技能、接项目赚钱是假的,而是大量课程贩卖的是焦虑而不是能力。一张售价99元的海报上讲“三天学会AI绘画月入十万”,你觉得他为什么不自己闷声发大财,而要花时间教你?我见过身边真实靠AI变现的朋友,没有一个是因为上了某门课,全是靠真实的业务积累和扎实的工程能力。
第三类要警惕的,是盗版和汉化破解类工具。比如某些商业软件的非官方汉化版,用起来确实方便,但安全和授权问题非常严重。我个人的立场是,任何进入日报的工作流都不应该建立在盗版工具之上,尤其是要做成可复用方案分享给团队的时候,更不应该给人埋下定时炸弹。
真正留下来的内容,我会看三个指标。第一是“可复现性”——论文有没有开源代码?工具能不能实际跑通?第二是“场景清晰度”——这个东西解决的是谁在什么场景下的什么问题?说不清楚的,说明作者自己也没想明白。第三是“增量价值”——和已有的方案比,它到底新在哪里?仅仅是“加了注意力机制”或者“用了更大参数量”这种套娃创新,一般不进正文。
这套过滤网跑久了之后,我发现自己对信息的敏感度会发生变化。以前刷到新鲜工具就兴奋,现在会先问一句“它解决的是真实问题还是自嗨问题”。这个转变对做技术内容的人尤其重要,因为影响力这东西,消耗起来比建立起来快得多。
5. 从“看日报”到“跑起来”:当天我建议动手做的事
日报最大的价值不是被“收藏”,而是被“执行”。如果一条信息看完之后你什么行动都没有,那它对你的价值就是零。所以我每次发布日报,都会在末尾附上两三个“今天可以动手做的事”,这节把它们展开,方便你直接抄作业。
5.1 复现一个最小规模的Agent训练循环
如果你对头条里的自博弈训练方法感兴趣,但又不知道从哪里下手,我建议不要一上来就搭一个大体量环境。先从最小闭环开始:定义一个非常简单的任务环境——比如一个5x5格子里拿钥匙开门的任务——写出任务成功与否的规则判定函数,然后让你的Agent模型在这个环境里试错运行。
具体步骤大致是:第一步,用现成的开源模型作为种子策略,让它在环境里运行并采集轨迹数据;第二步,把成功轨迹作为正样本、失败轨迹作为负样本,用监督学习更新策略;第三步,重复采样和更新几轮,观察成功率曲线是否上升。这个循环本质上就是GPT系列里经常提到的“从试错中学习”的最小实现,不需要多大算力,一张消费级显卡就能跑。
我自己第一次跑通这个循环的时候,最惊讶的地方是成功率并不是单调上升的,而是会波动——有时候更新完反而变差了,过两轮又回来。后来我明白这是采样随机性和策略分布偏移的正常现象,这也提醒了我:评估一次迭代好不好,不能只看一轮试验,要看趋势。
5.2 给团队搭一个“多AI协作”的SOP
如果你和团队正在用大模型处理日常任务,我强烈建议你花一个下午,把“多AI协作”沉淀成一份可以重复执行的SOP。做法很简单:拿出一份你们真实做过的项目文档,拆出五个典型环节,然后为每个环节指定一个主模型和一个备选模型,同时标注出哪些环节需要人来审核。
我给你一个参照。需求分析环节,可以用一个擅长发散和提问的模型来“逼问”业务方,帮团队把模糊需求结构化;方案设计环节,换一个规划能力强的模型来产出技术方案骨架;代码实现环节,用另一个长于代码补全的工具来完成;测试用例生成,再换一个。关键是,每一轮切换模型的时候,要把上一轮的输出连同你的修改意见一起传给下一个模型——上下文连续性是多AI协作成败的命门。
我见过很多团队做这个问题时,输出效果并不理想,仔细一看,问题都是出在上下文断裂上——下一个模型根本没有看到上一个模型的产出,等于从零开始,那协作就没意义了。
5.3 建一个属于自己的“提示词测试集”
做AI应用开发的朋友,我强烈建议从今天开始建一个提示词回归测试集。思路特别简单:把你业务里最常用、最容易出错的20个提示词场景写进一个文件,每个场景配上标准的输入和期望输出的关键词——不是完整参考答案,而是几条必须命中的评判要点。
以后每次你调整提示词模板、更换模型版本、或者调整系统参数,就自动或手动跑一遍这个集子,对比哪些场景还在线、哪些场景崩了。这个过程和软件工程里的自动化测试本质上一样,只不过被测试对象从代码换成了提示词。我见过太多团队因为一次升级导致某个场景的回复质量骤降,却直到用户投诉才发现问题。如果从一开始就有这套测试集,这种事故就不会发生。
建测试集的时候有个技巧要记住:不要只放“正常场景”,一定要放两三个边界刁钻的。比如“用户输入特别短”“输入包含故意设置的误导信息”“输入是另一门语言夹杂着术语”。这些边界场景,恰恰是模型最容易翻车的地方,也是最值得你盯住的。
最后分享一个小技巧
做日报这两年多,我最大的一个体会是:信息筛选能力是可以刻意练习的。每天逼自己写十条“为什么这条值得看”,三个月之后,你对技术趋势的判断力和对信息噪音的免疫力都会有明显提升。如果你也想开始做自己的AI科研日报,我的建议是从一个小而窄的领域切入——比如只追踪“Agent评测”或“多模态训练技巧”——做深比做广有价值得多。今天的日报,我自己最满意的一条不是某篇重磅论文,而是一个开源仓库里藏着的评测数据集的坑——这个坑,如果不仔细读代码注释,大概率会被当成Feature而不是Bug带进团队项目里。或许这才是日报真正让人省心的地方:它帮你把雷提前排掉了。