做语言本地化和语料库整合这些年,我经常在深夜对着屏幕上的双语对照文本发呆:语言的困境不是技术不够,而是有些难题在原理上就没有入口。你越深入处理真实语料,越会意识到那些“早晚能解决”的问题,其实都卡在某个绕不开的死结上。这篇文章我会从自己做翻译质检、词义标注、语言习得研究和方言采集的实战经验出发,把这些困境拆开揉碎,讲清楚它们到底卡在哪里。
1. 从一份翻译质检报告说起:同一句话,七种译法都没有错
去年我接手了一个多语言客服语料规范化项目,目标是让十几个语种的客服回复保持“风格一致”。刚开始我信心很足,觉得只要给定术语表和风格指南,机器加人工双重校验,肯定能收敛出一套标准。结果第一轮质检就翻了车。
1.1 一个让人崩溃的真实案例
原句是英文客服邮件里特别常见的一句:“Sorry for the delay in getting back to you.” 按项目要求,不同语种翻译应该传达“抱歉+说明原因+友好收尾”三层意思。我拿到了七种语言的翻译,单独看每一句都“没错”:
| 语种 | 翻译 | 语境倾向 |
|---|---|---|
| 日语 | ご返信が遅れまして、申し訳ございません。 | 正式道歉,等级感强 |
| 德语 | Entschuldigen Sie die späte Rückmeldung. | 公事公办,简洁 |
| 西语 | Perdona la demora en responderte. | 亲近口吻,熟人感 |
| 法语 | Désolé pour le délai de réponse. | 中性,日常 |
| 韩语 | 답변이 늦어져서 죄송합니다. | 礼貌但未定敬语等级 |
| 中文 | 抱歉让您久等了。 | 流畅且客套 |
| 阿拉伯语 | نعتذر عن التأخير في الرد عليك | 正式,但地区差异大 |
如果按“忠实原文”打分,七句全对;如果按“客服语气一致”打分,七句里没有两句在同一条线上。问题出在哪?不是译者水平不行,而是原文本身就携带了巨大的语境留白——给谁道歉、什么场景、什么关系、什么渠道,这些都藏在句子的使用环境里,而不是词汇里。
1.2 语境为什么没法被完整编码
语言学里有一个经典概念叫“语义最小单位”,也就是你拆到不能再拆的意义原子。但真实语言里,几乎每一个词的使用都依赖说话人和听话人共同默认的背景知识。翻译时你要还原的从来不是“词的意思”,而是“这句话在场的人听来是种什么感觉”。
这种感觉里包含了几层隐性的信息:双方社会关系(敬语就是关系编码)、沟通渠道的正式度、前文对话积累的情绪、甚至文化里“多大程度的道歉才显得真诚”。这些东西没有任何一个词典能完整记录,因为它们是关系性的、流动的。
更麻烦的是,这些隐形信息经常互相冲突。一句极简的“Sorry”在某些文化里足够诚恳,在另一些文化里就是敷衍;一句过度礼貌的道歉放在熟人语境里,反而会显得生分。翻译者处理的不是语言,是关系测算。这个测算过程没有标准公式,于是每翻译一次,就多一种合理答案。
1.3 为什么这事到今天仍然无解
有人会问:能不能让人工智能先把语境分类,再套用预设模板?理论上可以,我见过不少公司这么干,效果也“够用”。但这里有个深层矛盾:语境本身就是无限展开的。你和同事说的话、和客户说的话、和亲戚说的话,表面可以贴上“正式/非正式”的标签,但真实交流里每一次都是新组合。
这意味着任何一套预设的语境分类框架,都会在遇到真实语料时漏掉某层重要信息。框架越细,漏得越少的同时,规则越脆。这就是为什么我们做语料规范化这么多年,最终能交付的标准只能是“可接受范围”,而不是“唯一正确答案”——语言对错的边界,天然就是模糊的。
2. 词义的移动靶:词典永远慢半拍,AI也追不上
如果说翻译困境是“多个答案都对”,那词义标注困境就是“今天对的东西,过三个月就变了”。做语料库的人对这点应该深有感触。
2.1 一个词从出现到“转正”到底有多难
我统计过一批近几年中文网络新词进入主流词典的时间差。网络流行语“破防”从游戏圈和直播圈扩散到普通人群,大约只用了两三个月,但它被正式收录进权威词典,用了近两年。这期间的尴尬就是:语料库里这个词已经高频到不能忽略,你用旧词典去标注词性,根本找不到对应条目。
同样的情况发生在“赋能”“抓手”“颗粒度”这些从商业语境扩散到普通语境词汇身上。它们不是新词,但语义一直在漂移,每次漂移都会让已有的标注失效。词义不是一个固定的点,而是一片移动的云。词典能做的,只是定期给云拍一张快照。
2.2 词义为什么必然模糊:原型效应和家族相似性
语言哲学家维特根斯坦提出过一个很反直觉的观察:很多词根本没有一个贯穿所有用法的共同特征,而是像家庭成员一样,彼此之间通过“部分相似”联系起来。比如“游戏”这个词,下棋是游戏,打篮球是游戏,电子游戏是游戏,猜谜是游戏。你很难找出一个特征,让上面所有活动都满足,但大家都能毫不费力地使用这个词。
这给人工智能理解语言带来了一个致命麻烦:如果你教模型“游戏=有规则+有输赢”,那下棋满足、篮球满足、但“语言游戏”“权力的游戏”这种隐喻用法就会把模型绕晕。词义从根上就不是靠“定义”存续的,而是靠使用场景里的家族相似性维系。
实际标注时,我经常要处理标注员之间的分歧:一个词在两个不同文本里明显相关但不完全同义,到底标成同一条词义,还是两条?判定结果往往取决于标注员的个人语感。这说明连人类自己都对词义的边界没有稳定共识,又怎么要求算法给出唯一的正确答案呢?
2.3 语言演化的加速正在让词典更加被动
过去一个词的语义漂移可能要经历几十年、几代人,现在互联网让一个新用法在几周内就能席卷全球。社交媒体上的反讽、缩写、谐音梗,都在推动词义快速迭代。
这对语言处理的影响是实际的:没有跟上最新用法的模型,遇到“躺平”“emo”“芭比Q”这类词会出现明显理解偏差。但如果模型为了追求“最新”而频繁更新词表,又会引发另一个问题:昨天还是网络热梗,今天已经被淘汰,频繁调整会让系统的稳定性崩溃。于是我见过很多团队选择保守策略——等一个用法稳定一年再考虑收录。代价就是永远慢半拍,词典的滞后从“慢几年”缩短到“慢几个月”,却依然追不上word漂移的速度。
3. 婴儿学语言的路径,整个技术行业都在反向模仿
语言困境不只停留在翻译和词典层面。做自然语言处理久了你会发现,真正让人头皮发麻的问题反而是最朴素的:一个三四岁的孩子,没有拿到任何结构化标注数据,就能流利掌握一门语言的复杂语法。而目前最强大的语言模型,需要吃掉人类几千辈子都读不完的文本,才能勉强接近儿童的理解力。这个对比本身就是个巨大的谜。
3.1 刺激贫乏论:为什么孩子的输入“不够”却足够
语言哲学里有一个著名的论证叫“刺激贫乏”:儿童接触到的语言输入其实相当贫乏、零散、充满错误和中断,但最终他们却能抽象出高度复杂的语法规则,并且能说出从来没听过的句子——这就是语言的“生成性”。
我见过太多工程师试图把这个过程复刻成算法:先把世界变成数据,再把数据变成规则。但儿童的输入质量其实极差,他们往往只凭几百个小时的对话录音,就掌握了复杂的句法结构。这背后可能依赖的是人类独有的某种认知结构,虽然没有定论,但已经很明确地指向一个事实:纯粹从海量数据里归纳规则,可能不是人类习得语言的真正路径。
3.2 规则派、统计派与大模型派的反复拉锯
几十年来,语言习得研究基本是两派对垒。一派强调先天语法规则,认为人类大脑里有一个语言器官;另一派主张语言就是统计学习,孩子大量听、大量模仿,自然就把概率记住了。
机器翻译领域更直接:最早尝试手工编写语法规则,结果系统脆弱得不行;后来转向统计机器翻译,效果提升但依然僵硬;直到神经网络大规模普及,才用海量参数“暴力”学会了流畅的自然语言生成。大模型确实解决了很多工程问题,但一个更深的疑惑浮出水面:模型真的“理解”语言了吗?还是在用极高的复杂度模拟出了一种理解的表象?
3.3 标注数据与真实理解的死循环
从工程角度说,训练机器理解语言的路径严重依赖人工标注数据。我们要把句法树标注出来,把情感极性标注出来,把意图分类标注出来,模型才学会怎么预测。可问题恰恰在这里:标注过程本身就是依赖“人类已经懂这门语言”这个大前提。
这形成了一个闭环:如果人类没搞懂一个句子的所有解读方式,就无法给出完备的标注;而如果标注不完备,模型学到的永远只是标注子集里的规律,而不是语言本身的全貌。我参与过很多标注项目,最痛苦的就是同一句话在不同语境里有不同解读,标注手册又写不明到底选哪种。我们造出来的模型,本质是在猜测“标注员会怎么标”,而不是在“理解”这句话到底在说什么。这个死结如果不解开,机器就永远只能摸到语言的影子,摸不到实体。
4. 方言和标准语:一条划不出的边界线
做语言采集时,我跑过不少方言点。每到一个地方,当地人都会信誓旦旦地告诉我:“我们这儿的方言跟隔壁县完全不一样。”但当我带着录音设备到隔壁县听的时候,发现两边居民对话毫无障碍。再往远走,语流渐次变化,最终你会遇到一种情况:相隔几百公里的两个点,彼此完全听不通,但中间没有任何一处分明“改换了一种语言”的界线。
4.1 方言连续体:语言像一条缓变的色带
语言学上把这种现象叫“方言连续体”。从A地到B地再到C地,每一个相邻点之间都能互通,但A和C之间已经互不相通。一个经典的例子是欧洲日耳曼语和罗曼语交界地带的许多小语种:往北一点更像德语,往南一点更像意大利语,中间没有任何一处突变。
这引出一个很要命的问题:A地和C地的居民说的到底是一种语言还是两种语言?从纯语言学角度,答案是“不知道”。语言之间没有自然的边界,边界通常是社会、文化、军事、行政力量建构出来的。
4.2 为什么“语言”和“方言”的划界至今无解
最常被引用的一个说法是:“语言是拥有军队的方言”。听上去像玩笑,实际上道出了真相:语言和方言的区分标准从来不是语言学内部的,而是政治性的。
这导致很多现实困境。比如某两个变体语言学差异其实并不大,但因为历史原因被划成不同语言,各自拥有文字和标准语法;而另一些差异很大的变体,却因为共同的标准语和文字,被归为同一种语言的“方言”。
我在做语言资源保护项目的时候,最头疼的就是先要解决这个分类问题:你采录材料,到底该按“语言”立项还是按“方言”立项?这个分类一旦定下来,资金分配、数据存储、词典编撰的方式都会随之改变。可从语言学本身出发,你根本找不到一个客观标准来判断A和C属于几种语言。两边的地缘认同、文字传统、自我认知,都有可能给出相反的答案。
4.3 濒危语言保护的悖论:抢救还是旁观
语言保护是另一个剪不断理还乱的困境。一个只有几百人使用的土语,从语言学价值来看可能极其珍贵——它记录了某一群人独特的分类世界方式。但作为现实的人,那些使用者每天都要出门和主流社会交流,如果孩子只学土语不进学校,将来就会寸步难行。
于是出现了所谓的“保护悖论”:越努力把语言“存档”成词典、录音、语法书,语言就越脱离活生生的使用,变成一个标本;可如果不做存档,随着最后一代母语者离世,语言又会无声无息地消失。我在采集现场经常感到一种无力感:我们录下了一位九十岁老人唱的古调,做成数据库,但村子里三十岁以下的年轻人已经没人听得懂了。这算保存下来了,还是没有?
这个悖论的背后是价值排序上的根本分歧:语言到底是一种需要被使用才能存活的生物,还是一份需要被保存才能流传的遗产?两种说法都有道理,但从没有人能找到让两者同时成立的路径。所以这个问题至今没有解法,大概不是能力不够,而是它本质上就不是一个能被纯技术解决的问题。
5. 语言塑造思维:一个没法做双盲实验的假设
最后一个想聊的困境,是语言学里最迷人、也最容易被误解的问题:语言会不会改变人的思维方式?也就是“萨丕尔-沃尔夫假说”。这个假说强版本认为语言结构决定了思维边界,弱版本认为语言只是影响认知偏向。吵了近百年,依然没有定论。
5.1 达尔文式的语言相对论研究是怎么做的
最近二十年,这个问题突然又火了。主要是一些实验证据看上去非常惊艳。比如澳大利亚一个原住民部落的语言里没有“左”和“右”,只有东南西北四个绝对方向。研究人员发现,这些说话者在纯记忆测试里的空间表现远超只说左右的人——他们随时知道自己面朝哪个方向,因为语言强迫他们每次开口都要先做方向计算。
再比如俄语里浅蓝和深蓝是两个基础颜色词,研究者发现俄语母语者在区分浅蓝和深蓝时反应速度明显快于英语母语者。这类实验铺天盖地,看起来都指向同一个结论:语言确实改变了思维。
5.2 但因果链条始终没有被彻底证明
问题出在实验逻辑上。你发现俄语母语者分色更快,可这究竟是他们语言里有更细的颜色分类导致思维更敏锐,还是俄罗斯文化里对天空、海洋有独特关注,才让语言发展出这种区分?语言本身不是一个独立变量,它附着在整个文化体系之上。
我见过一个很通俗的类比:你发现戴眼镜的人视力普遍比不戴眼镜的人差,就断言“戴眼镜损害视力”——这是把因果关系搞反了。语言和思维的关系大概率也是这样,不是语言结构单方面地塑造思维,而是特定的生活方式和思维偏好先存在,语言才随之演化出相应的结构。
5.3 为什么这个领域很难有真正的最终答案
2010年代,语言相对论研究一度被媒体炒成“换一种语言就换一个大脑”,但学术界很快就泼了冷水。原因在于,任何一个研究要想证明语言影响思维,就要排除文化、历史、环境、教育等大量混杂变量。而要真正排除这些变量,最好是找到一个完全一样的文化环境里只说不同语言的群体,然后做双盲实验——这显然不可能存在。
于是语言和思维的关系研究,成了一门永远在人造条件下逼近真实、却又永远无法抵达终点的学问。更头痛的是,这个概念一旦跑出学术界,就会被各种玄学包装成“学外语能变聪明”“双语者更高阶”这类营销话术。语言确实会改变你接触世界的方式,但一个严谨的、能够分开所有变量的因果链条始终没有建立。这个问题不是没人努力,是实验伦理和现实条件不允许它被彻底解决。它大概会继续以“部分证据+部分推测”的形态,悬在很多人的书架上。
结语部分
我在这个行业里越久,越明白一个道理:语言的困境多半不是“解题失败”,而是“题目本身就不像一道标准题目”。它更像一个不断流动的过程,你刚抓住一个词义,它又开始漂移;你刚建立一条规范,方言和口语就绕过它继续生长;你刚做出一个漂亮模型,真实世界的新句子立刻跳出模型覆盖的边界。
所以与其问“为什么这些难题至今没有解决”,不如换一个视角看它们。语言之所以能承载人的思考,恰恰是因为它永不被完全规范化——翻译里的多重解读、词典里的词义漂移、儿童高效习得的机制、方言边界的模糊、语言与思维的你中有我,这些表面上的“困境”,其实都是语言系统保持活力的条件。
我个人在项目里学到的最实用的一课是:面对语言问题,先别急着找“正确答案”,先确认你找的是不是当下场景里“最可用的答案”。语境会变、词义会变、人的使用方式会变,判断标准也应当跟着这些变化滑动。文化的传承、交流的顺畅、语义的清晰,这些才是我们真正要维护的东西;而形式上的“唯一标准话”,大概率从一开始就是不存在的追求。