企业官网建设流程全解析

一段文字里的情绪被认出来了，模型就算理解了这个情绪词吗？换成要求它表达同一种情绪，或判断这个词在具体语境中是否描述感受，结果可能不同。这篇论文没有提出新的分类网络，而是用三类任务检查“大模型理解情绪”这句话的适用范围。

【论文标题】

Characterizing and Evaluating Working Emotion Vocabularies in Multilingual Large Language Models

【论文作者】

Nicholas Deas、Iván Pérez Mejía、Ellie Yang、Kathleen McKeown。

【论文地址】

https://aclanthology.org/2026.acl-long.2188/

【论文源码】

https://github.com/NickDeas/WorkingEmotionVocabulary/

【论文等级】

ACL 2026主会长文，CCF-A，2026年7月发表，47272-47294页。

固定标签集便于比较模型，却未必覆盖人们描述感受时使用的词。同样是负面情绪，lonely、abandoned和frustrated指向的体验并不相同。作者借用心理语言学中的“工作情绪词汇”概念，考察模型在哪些情绪状态词上表现较好或较差，而非只报告整套测试的平均分。

预测文本中的情绪、按要求表达情绪、判断一个词是否描述情绪，并不是同一项能力。论文据此追问：三项任务的结果是否一致？词频、效价、唤醒度等属性，能否解释模型对不同情绪词的表现差异？

4.1 用三类任务刻画情绪理解

识别任务遮住原文中的情绪词，要求模型补全；表达任务要求回复体现指定情绪，但不能直接写出目标词；判别任务则给出词及上下文，判断它是否描述情感状态。例如blue指颜色还是低落，需要结合语境。三项任务分别测量识别、表达与概念判别。

Figure 2：识别、表达与判别三类任务的提示模板

4.2 区分数据规模与评估范围

数据来自MASIVE的英语、西班牙语Reddit文本。主任务测试分别用49、50条双人标注文本，覆盖41、45个状态词；回归分析扩展到标注子集中的131、143个状态词。共评估23个4B-8B模型，主文集中展示四个家族的8个配置，其余结果见附录。

Table 1：标注子集、少样本示例池与测试集统计

4.3 三项任务如何计分

识别用mBERT上下文嵌入计算候选词与原词的最大余弦相似度；表达先由微调mT5预测回复中的状态词，再与指定目标比较。两者的Top-k相似度均不是准确率。判别比较模型与人工评分的Spearman相关，并补充分类格式的Cohen’s κ。后续把三任务得分归一化，按综合表现的有序分组拟合回归。

以下数值只对应论文评估的模型、语言和样本。表3、表4保留原文的±2SE，不将点估计差值直接解释为统计显著性。

5.1 情绪状态识别

为什么做：检查模型能否恢复作者实际使用的状态词。

对应图表：Table 3；全部23个模型见Table 11。

实验结果：英语OLMo 3由Base到指令版，Top-5相似度37.3%→63.0%；西班牙语Ministral 3为38.4%→60.9%。

实验结论：这些配置的指令版识别分数较高，但分数表示语义接近程度，不是正确恢复原词的比例。

Table 3：主文8个配置的情绪状态识别结果，误差为±2SE

5.2 指定情绪的表达

为什么做：检验识别端的改善能否延伸到生成端。

对应图表：Table 4；完整结果见Table 12。

实验结果：西班牙语Qwen 3由Base到指令版，Top-5相似度61.2%→55.2%；Ministral 3为62.5%→50.4%。

实验结论：指令微调并未一致改善情绪表达。作者观察到部分回复转而安慰用户；这一解释来自输出观察，不是独立的因果实验。

Table 4：指定情绪表达的代理评估结果，误差为±2SE

5.3 情感状态的判别格式

为什么做：比较“是或否”与0-3分评分能否对齐人工判断。

对应图表：Figure 3；完整相关性及κ见Figure 7、Table 13。

实验结果：二元格式在部分配置上相关较低或为负；利用输出概率加权的评分格式，对部分模型更接近人工判断。

实验结论：输出格式会改变测量结果，不能把某一种提示下的相关性当作稳定的情感理解能力。

Figure 3：四种判别格式与人工评分的相关性，横线为标注者间相关

5.4 少样本示例的作用

为什么做：检查给定人工示例能否改善主观判断的一致性。

对应图表：Figure 4。

实验结果：示例数取0、1、3、5，同一输入的示例在模型间保持一致。多数指令版模型的相关性提高，但并非所有曲线都单调上升。

实验结论：示例能帮助部分模型适应标注标准；某个配置超过标注者间相关，不等于整体情绪理解超过人类。

Figure 4：判别任务中示例数量变化与人工评分相关性的关系

5.5 三任务表现是否一致

为什么做：检验一种能力能否代表另一种能力。

对应图表：Table 5。

实验结果：状态词层面的识别与表达相关系数为0.09-0.45，并非全部显著。Llama 3.1的识别与判别相关，英语为0.04，西班牙语为0.29，后者仅标记为p≤0.075。

实验结论：任务间缺少强而稳定的一致性。这里比较的是同一模型对不同状态词的表现，不是模型排行榜之间的相关性。

Table 5：识别I、判别V、表达E的状态词层面相关，显著性按原表保留

5.6 哪些词较易或较难

为什么做：将综合分数还原为可检查的具体词项。

对应图表：Table 14。

实验结果：abandoned进入四个模型英语排名前列；aloof则均在后列。西班牙语afortunada靠前，rodeado靠后。

实验结论：存在跨模型重复出现的词项差异，但该排名只覆盖当前样本，不能理解为模型掌握的全部情绪词典。

Table 14：四个模型在两种语言中排名前五和后五的状态词

5.7 词频与心理语言学属性

为什么做：检查词项差异是否与可量化属性相关。

对应图表：Table 6。

实验结果：词频与表现的关系在两种语言中方向不同：英语整体趋于负向，西班牙语趋于正向，显著性因配置而异。

实验结论：高频不一定对应更好理解。词频取自2025年7月CommonCrawl快照，只是训练暴露的代理量；回归关系不能证明训练语料导致了差异。

Table 6：词频、效价、唤醒度、具体性与习得年龄的有序回归系数

5.8 mT5代理评价是否可靠

为什么做：检查表达任务的自动评分器是否提供有效信息。

对应图表：附录C、Table 9。

实验结果：英语生成文本中，目标词、mT5首选词、随机词被评为合适的比例分别为56.8%、47.5%、21.6%；两位评价者的相关仅0.14。

实验结论：mT5首选词优于随机词，但仍不完美。该人工检查只覆盖英语且只评首选词，不能直接证明Top-5或西班牙语评分的可靠性。

Table 9：目标词、mT5首选词与随机词的人工适切性评价

5.9 排除相关预测变量

为什么做：检查词频与习得年龄相关是否影响回归解释。

对应图表：Table 15、Table 16。

实验结果：两者相关系数为英语-0.63、西班牙语-0.42。分别移除词频或习得年龄后，多数系数方向大体延续。

实验结论：趋势有一定稳定性，但两种属性的独立贡献仍不清楚，不能据此确定哪一个是主要原因。

Table 15：移除词频后的有序回归结果

Table 16：移除习得年龄后的有序回归结果

论文以识别、表达和判别三类任务评估多语言大模型，并据此刻画不同情感状态词上的表现差异。结果显示，指令微调对识别和表达的作用并不一致，单项任务也不足以概括情绪理解。词项排名与回归分析进一步呈现了语言间的差异。研究范围限于英语、西班牙语及所选MASIVE样本，表达评价仍依赖不完美的mT5代理模型。