【文献阅读】离散选择模型中的道德修辞：一种自然语言处理方法

Szép, T., van Cranenburgh, S., & Chorus, C. (2024). Moral rhetoric in discrete choice models: a Natural Language Processing approach. Quality & Quantity, 58(1), 179-206.

Abstract

本文提出了一种结合选择和文本数据的新方法，以从人们的行为中推断道德动机。为此，我们依赖于道德修辞，换言之，利用自然语言处理技术从口头表达中提取道德价值观。我们使用的道德修辞基于一种成熟的道德心理学理论，即道德基础理论。我们将道德修辞作为离散选择模型的输入，根据人们的言行洞察道德行为。我们在欧洲议会投票和政党叛变的案例研究中检验了我们的方法。研究结果表明，道德修辞在模拟投票行为方面具有重要的解释力。我们根据政治学文献对结果进行了解释，并提出了未来研究的方法。

Introduction

选择数据通常用于推断人们对不同产品、政策或其他一些主题的基本偏好。离散选择建模领域侧重于对决策进行严格的数学分析。利用观察到的选择数据，分析师可以推导出人们在选择任务中对不同属性（如价格或质量）的偏好。生活中的大多数决策都可能涉及道德层面，例如消费者在购物时会考虑工人条件、公平贸易、动物福利或当地社区，医生会在健康结果和患者体验之间做出权衡，上班族则会考虑自己的出行方式会对其他乘客或环境造成怎样的影响。道德可以被定义为一套原则，告诉人们某种行为或世界状态是对还是错。

因此，除了传统的属性外，个性和道德价值观在许多情况下也往往起着重要作用。道德 "属性 "与非道德 "属性 "有着本质区别。在考虑两者之间的权衡时，情感、直觉和决策启发法发挥着重要作用（海特，2001 年；孙斯坦，2005 年；吉格伦泽，2010 年）。这些过程不仅对分析者来说是潜在的，而且在大多数情况下，对决策者来说也是潜在的。近期有关包括潜在道德动机在内的各种潜在变量的研究表明，共同识别决策的潜在偏好和其他潜在决定因素是一项极具挑战性的任务（例如，Vij 和 Walker，2016 年）。

尽管在基于选择数据识别此类模型方面取得了进展，但一个明显的潜在解决方案尚未得到应有的关注：使用额外的文本数据来帮助识别潜在的行为建构。在选择分析中使用文本数据的一个核心论点是，自由文本中存在的细微差别往往无法通过标准的封闭式回答来把握（Baburajan 等人，2020 年）。 当研究对象是抽象而复杂的现象时，这一点甚至更为重要，例如道德价值观（Boyd 等人，2015 年）。出于两个主要原因，自由文本数据和语言建模在理解道德价值观与行为和选择的关系方面大有可为。首先，在互联网和社交媒体时代，每天都会产生大量文本，其中蕴含着大量可能有助于理解道德和复杂决策现象的信息。其次，在快速发展的自然语言处理（NLP）领域，语言模型接近人类理解文本的水平，使我们能够通过多种方式量化定性文本数据，从而更好地理解道德价值观和行为。

本文提出了一种结合选择和文本数据来推断决策背景下道德动机的方法。我们展示了这种新颖的方法如何能够带来有关道德选择潜在前因的新的、微妙的见解，而使用传统的仅基于观察选择的选择模型是很难 "甚至不可能 "获得这些见解的。为了检验和说明我们提出的方法，我们调查了欧洲议会议员（MEPs）在各种道德议题上的投票行为。对这些议题的投票，尤其是当一个人投票反对自己的政党（缺陷）时，预计会与道德动机有关。本文的其余部分安排如下：第 2 节简要回顾了与我们的方法相关的文献。第 3 节介绍了我们提取文本道德修辞的一般方法，该方法可用于各种研究环境。第 4 节介绍了我们的案例研究背景、数据和方法的可操作性。第 5 节展示了研究结果并讨论了对结果的解释。第 6 节讨论了该方法的局限性和未来的研究方向。

Related Work

依靠成熟的自然语言处理（NLP）方法来利用附加文本数据的离散选择模型（DCM）尚未在文献中使用（van Cranenburgh 等人，2021 年）。有几篇论文指出，NLP 方法和附加文本数据都能捕捉到以前文献中忽略的微妙之处。例如，Pereira（2019）最近发表的一篇论文展示了 NLP 方法如何利用 DCM 编码旅行行为建模中微妙而重要的细微差别。例如，在出发时间选择方面，"学生 "和 "就业者 "的分类特征相当相似，但在汽车拥有量方面却不尽相同。在传统的变量编码中，它们之间的距离是一个单位。然而，词嵌入（即用实数向量表示词）可以让我们在选择模型中对这种微妙的差异进行编码。Pereira（2019）没有依赖额外的文本数据，而是使用了大多数传统数据（即属性和个人特征）中已经存在的单词。在 DCM 中使用自由文本数据脚注2 的研究包括 Glerum 等人（2014 年），他们使用关于不同交通模式的半开放式问题来测量人们的看法，以及 Baburajan 等人（2020 年），他们使用开放式问题来测量人们对共享交通服务的态度。

在过去的几十年里，随着计算能力的不断提高，文本挖掘和 NLP 技术的质量和数量也在不断提高，通过自然语言研究道德问题的范围越来越广。该领域的大多数研究都依赖于道德基础理论（MFT，Graham 等人，2009 年）。道德基础理论源于道德心理学，认为人有五种与生俱来的道德基础：关爱/伤害、公平/欺骗、忠诚/背叛、权威/颠覆和神圣/堕落。根据该理论，这些基础是跨文化的，每个人身上都有，只是程度因人而异。测量这种程度主要有两种方法。第一种是封闭式问卷，即 "道德基础问卷"（MFQ），询问受访者在某种情况下，不同事物（如某人是否在情感上受到伤害）对其道德判断的影响程度。其次是《道德基础词典》（MFD），其中包含与每个基础和方向相关的词语（即在同一道德基础中，一个词语既可以属于美德，也可以属于恶德）。MFD 的第一个版本经过多次扩展（Frimer 等人，2019 年；Hopp 等人，2021 年；Araque 等人，2020 年）。MFD 的操作方法从单词计数法到复杂的 NLP 算法不一而足。从文本中提取道德基础的工具主要有两种：MFD（或其扩展版本之一，如 van den Broek-Altenburg 等人，2020 年；Kaur 和 Sasahara，2016 年；Mutlu 和 Tütüncüler，2020 年）和人工（专家）注释（如 Hoover 等人，2020 年）。此外，还可以使用 MFD、注释数据或两者来训练复杂的 NLP 模型，以便将一段文本归入道德基础之一（Hoover 等人，2020 年；Araque 等人，2020 年）。就解释而言，MFQ 是直截了当的；在道德基础上得分高意味着在做出道德判断时更重视给定的基础。但在语言使用方面却未必如此。有趣的是，在政治语境中，研究发现，虽然保守派比自由派更坚持忠诚，但忠诚更多出现在自由派的道德修辞中（Graham 等人，2009 年）。虽然这种影响很小，但 Frimer（2020 年）发现它是稳健的。这意味着，道德修辞并不一定代表一个人的内在价值观，因此在解释结果时必须谨慎。

Methodology

为了量化文本数据中的道德，我们需要：1，道德文本数据；2，一种称为特征向量表示的 NLP 方法。道德文本数据是不同道德维度的数据，如关爱、公平或忠诚。道德维度可以基于道德基础理论（Graham 等人，2009 年）、施瓦茨价值观（Schwartz，1992 年）或道德即合作（Curry 等人，2019 年）等。道德基础理论有大量与文本分析相关的文献，其词典也多次更新；因此，我们并不声称其他道德定义不正确或不那么有用，而是在本文中使用 MFT 的道德领域。特征向量表示法是指用实数向量表示文本中的所有词语。这可以通过多种方法实现，从较为简单的字袋法（bag-of-words methodFootnote3）到最先进的Transformers方法（Vaswani等人，2017年）。为了找到任何一段文本的道德修辞，首先，我们根据道德文本数据创建所有道德领域的特征向量。然后，我们对手头的文本进行同样的处理，并测量文本与每个道德领域向量之间的相似度。为了了解文本与每个道德领域的相似度，我们计算它们的特征向量之间的余弦相似度Footnote4。这样，一篇文本的道德修辞就决定了该文本与每个道德领域的相似程度。1 表示完全相似，0 表示没有关系，-1 表示两个向量之间完全相反的关系。插图见图 1，详细说明见下文。

本文提出了一种将道德修辞作为离散选择模型输入的方法。道德修辞是文本数据中量化的道德维度，人类创造文本的目的是塑造形象。这可能是诚实的，因为人们可能希望投射自己的实际价值观。然而，也有可能一个人故意以特定的方式说话或写作，让人认为他认可不同的价值观。因此，道德修辞并不一定反映了文本创作者的 "真实 "价值观，但确实反映了文本所投射的价值观。

为了利用行为数据（即选择数据），我们使用了离散选择模型系列。根据离散选择模型，个体 n 选择备选方案 i 的概率一般可以表示为：

Case study: voting in the European Parliament

为了实证检验和说明道德修辞如何能够带来微妙的行为洞察，我们使用了一个政治领域的案例研究，即欧洲议会的投票。本节将介绍我们的案例研究、上述方法的可操作性以及结果。

政治决策可以说是最关键的决策之一：民选代表决定的政策可能会对许多人的生活产生重大影响。这些决策通常还包含道德因素：保护外国的基本人权、帮助穷人、为子孙后代投资或保护环境。在案例研究中，我们考察了欧洲议会（EP）在 "地中海搜救 "或 "Covid-19 对青少年和体育运动的影响 "等议题上的投票行为。欧洲议会共有 705 名成员（欧洲议会议员），由欧盟公民在本国选举产生。大多数欧洲议会议员隶属于本国的一个政党，这些政党通常组成 7 个欧洲议会党团。也有独立代表。虽然欧洲议会最初只是一个咨询机构，但后来逐渐获得了权力，现在它可以制定法律、修改预算或谴责欧盟委员会。大多数表决程序不记录在案，但在最终立法表决时，以及在一个政治团体或 30 名欧洲议会议员提出要求时，需要进行唱名表决。在唱名表决中，每个成员的投票都会记录在案。根据惯例，欧洲议会议员的投票通常与其所在政党党团的多数票一致（例如，Hix，2002 年；Klüver 和 Spoon，2015 年；Lindstädt 等，2011 年）。原因有二：一是人们倾向于自己认同的政党，二是政党纪律。因此，当欧洲议会议员背叛其党派时，我们可以认为他们有充分的理由这样做。因此，除了投票本身（三个选项：赞成、反对或弃权），我们还依赖于党派叛变选择数据（两个选项：叛变或不叛变）。

4.1 Research background of political voting behavior

MFT 在解释人与人之间的道德价值观差异方面有着悠久的历史，而大量文献则关注政治和意识形态差异。在主要由自由主义和保守主义两大意识形态主导的美国政治体系中，人们发现这两个群体在道德基础方面存在系统性差异。根据对这一主题的初步研究，发现自由主义者在所谓的个性化基础，即关爱和公平方面得分较高，而保守主义者在这两方面得分较低，在约束性基础，即忠诚、权威和神圣性方面得分较高（海特和格雷厄姆，2007 年；格雷厄姆等人，2009 年）。这一一般假设得到了与语境相关的研究的证实，如关于干细胞研究（Clifford 和 Jerit，2013 年）或堕胎（Sagi 和 Dehghani，2014 年）的政治文本，但也在环境语境（Frimer 等，2015 年）中被驳斥，因为自由派使用的语言更强调神圣性。

过去几十年来，欧洲议会议员的投票行为一直是多项政治研究的主题。Hix（2002 年）假设，欧洲议会议员的投票行为主要受三个因素驱动：个人偏好、国家政党纪律和欧洲议会党团纪律。这三者往往是相互关联的：具有相似信仰的人共同加入国家党，然后具有相似议程的国家党作为党团加入欧洲议会。然而，在某些情况下也会出现例外；国家党和欧洲议会党团可能会出现分歧，个人可能会背叛其中一个党派或两个党派。在这些情况下，可以研究在不同情况下哪种动机更重要。Hix（2002 年）发现，欧洲议会议员投票行为背后的主要驱动力是他们的国家党派立场；根据左右位置和欧盟一体化位置，以欧洲议会议员所在党派与国家党派之间的距离来衡量。这些距离是根据一份调查问卷计算得出的，在问卷中，欧洲议会议员将自己及其所在政党置于这一政治光谱中。欧洲议会议员个人与其欧洲议会政党党团的距离并不显著。国家党纪的高度影响得到了多项研究的支持，并就其原因提出了更多见解（Faas，2002 年，2003 年；Hix，2004 年；Lindstädt 等，2011 年；Klüver 和 Spoon，2015 年）。

在几篇有关模拟唱名表决结果的文献中，来自表决文件的文本数据被证明是宝贵的财富，尽管这些文献并没有研究欧洲议会的背景。这些研究的目标要么是更好地预测（Gerrish 和 Blei，2010 年；Kraft 等人，2016 年；Korn 和 Newman，2020 年），要么是了解偏好（Lauderdale 和 Clark，2014 年；Kim 等人，2018 年）。后几项研究估计了潜在维度的基本数量，而不是先验地将其强加于人。这样，他们就能深入了解不同的主题（以词组为特征）是如何影响投票行为的。

4.2Operationalization of moral rhetoric methodology

我们的目标是检验离散选择模型中的道德修辞如何为欧洲议会议员的投票行为提供细致入微的行为见解。上述文献在政治学基础上提出了宝贵的见解。我们将检验在离散选择模型领域是否可以通过不同的方法得出类似的结论。对于道德文本数据，我们使用 MFD 2.0 词典（Frimer 等人，2019 年）。在对 MFD 扩展版本的比较研究中，我们发现 MFD 2.0 在人类注释文本与词典标签之间的相似性方面是最好的（Mutlu 和 Tütüncüler 2020）。MFD 2.0 是一本包含五个道德基础和相应 "美德 "和 "恶习 "英文单词的词典，因此总共有十个道德领域。为了收集选择数据（即唱名表决数据），我们使用了欧洲议会的网站。为了从欧洲议会议员那里收集有关其政治观点的文本数据，我们使用了他们的 Twitter 账户，这些账户被用作政治沟通渠道。我们在 2021 年 4 月收集了 328 名欧洲议会议员的最新推文（最多 100 条）。这些数据包括 26 种不同语言的短文（最多 140 个字符）。我们从欧洲议会网站上收集了 24 个不同投票主题的文件文本数据，如 "减少不平等，特别关注在职贫困 "或 "欧盟性别平等战略"（完整列表见附录 B）。除文本数据外，我们还收集了选择数据（即 "唱名表决"），包括每位欧洲议会议员是投 "赞成票"、"反对票 "还是 "弃权票"。

我们通过以下方式来操作我们提出的方法（第 3 节）。我们使用 MFD 2.0 来处理道德文本，因此我们根据 10 个领域来创建道德修辞。为了创建特征向量表示，我们使用了基于 Transformer 的 SBERTFootnote5 （Reimers 和 Gurevych，2019 年）模型。SBERT 是一种前沿的 NLP 方法，可让词语在所谓的语义空间中占有一席之地。在语义空间中，单词（或句子，或任何文本）由实数向量表示，在语义空间中，含义越接近的单词越接近。

此外，SBERT 还能理解单词的上下文，也就是说，当上下文为人权和右翼政治时，"权利 "一词的矢量是不同的。它的实际优势在于多语言能力和高速度。我们通过提取 MFQFootnote6 中句子的道德修辞对该方法进行了测试。我们发现，在 30 个道德修辞概况中的 27 个中，得分最高的属于句子所代表的实际基础（例如，见图 1 中的忠诚句）。在我们的案例研究中，我们提取了所有推文的道德修辞，然后按环保部的平均值得出他们各自的道德修辞。然后在各政党（包括国家党和欧洲议会党团）内部对欧洲议会议员的个人道德修辞进行平均，得到各政党的道德修辞。我们还提取了投票文件的道德言论。我们使用唱名表决和政党叛变（投出与政党多数票不同的一票）作为选择数据。在进行描述性分析后，我们首先根据道德修辞得分和距离对欧洲议会的政党叛逃进行建模，然后根据文件文本对投票结果进行建模。

4.2.1Descriptive analysis

多项研究发现，美国保守派和自由派在不同程度上认可不同的道德基础。在欧洲背景下，美国自由派与保守派的划分往往被左右划分所取代，但在非两极体系中，党派差异并不总是可以用这种区分来解释（Patkós，2023 年）。例如，Kivikangas 等人（2017 年）通过实证研究发现，在芬兰的政治格局中，"自由主义-保守主义 "不能与政治光谱划分中的 "左-右 "互换使用。Proksch 和 Slapin（2010 年）在一项语言使用研究中也发现，欧洲议会的辩论发言未能很好地反映左右政治的党派划分。

在案例研究中，我们首先通过绘制欧洲议会各政党党团基于其成员推文的得分图，考察欧洲政治光谱中是否存在道德修辞差异。为此，我们通过平均其成员的道德修辞来提取欧洲议会党团的道德修辞。成员的道德修辞是其所有推文的平均道德修辞。图 3 显示了各政党党团在十个道德领域的得分。

从图 3a 中我们可以看出，欧洲议会各政党组的总体模式大致相同。我们没有发现道德语言使用上的显著差异，也没有发现左右或其他政治光谱上的差异。所有政党的道德修辞得分似乎相同。这一发现与文献中的观点一致，即在欧洲背景下，自由主义-保守主义的划分可以用左-右来替代（Kivikangas 等人，2017 年；Patkós，2023 年）。这可能是一般政治话语的结果：政治家的话题可能与 MFD 2.0 词库具有普遍相似性。有趣的是，除 "公平 "外，每个基金会的副域的这种普遍相似性都较高。这也是很直观的，因为政治话语往往涉及需要解决的问题，而各方可能会相互批评或负面陷害（如 Turk 2019）。图 3a 中一个明显的异常点是 ID 党组（位于最右侧）。它在所有领域的得分都高于其他党派，同时也显示出某种不同的模式；其公平美德得分相对较低。为了了解党派之间更微妙的差异，我们还绘制了居中的道德修辞图（图 3b）。图 3b 显示，在每个领域得分最低的是 Renew 和 EPP，这两个大党处于左右光谱的中心。这可以解释为，与居中的政党相比，更激进的政党更倾向于道德化，以建立在人们的（负面）情绪而非理性思维之上（例如，Salmela 和 Von Scheve 2017；Turk 2019）。

4.2.2EP party defection

首先，我们探讨了欧洲议会议员和投票文件中的道德言论是否对欧洲议会政党党团的叛变具有解释力。为此，我们估算了二元 logit 模型，结果变量为是否脱离欧洲议会政党党团。在叛党分析中，我们探索了两种途径：基于得分的模型和基于距离的模型。对于这两种变节分析途径（基于道德修辞的得分模型和基于距离的模型），我们首先估计一个基线模型，即仅以欧洲议会政党党团作为解释变量对投票变节进行建模。然后，我们分三步（见表 1 和表 2）为解释变量添加个人、特定政党和特定文件的得分和距离。

4.2.3Voting outcome

撇开政党政治，我们研究立法文本中的道德修辞在投票模型中是否具有解释力。在这种情况下，结果变量为 "赞成"、"反对 "或 "弃权"。解释变量是备选方案的特定常数和投票文件的道德修辞得分。建模分为两个阶段：首先，我们估算一个只有特定替代常数的模型（该模型可作为基准），然后加入道德修辞。我们将检验模型的拟合度是否有明显提高，以及先验强加的道德领域对解释投票结果是否有意义。模型方程见附录 A.2。

4.2.4Expectations

为了制定我们对数据分析的预期，我们依赖于文献中的三个主要发现。首先，道德基础可以反映政治和意识形态的差异。其次，在欧洲议会议员叛离欧洲议会政党的问题上，欧洲议会议员政党（国家党和欧洲议会党）之间的意识形态距离比欧洲议会议员个人与欧洲议会政党的距离更有解释力。第三，文件文本分析在模拟投票结果方面具有解释力。

预期 1 我们预期模型 3.B 的解释力高于模型 2.B（见表 2）。多项研究一致发现，党派之间的政治距离对投票变节有显著影响。我们检验了基于道德修辞的距离是否对 EP 党派的投票叛离具有解释力。人们很自然地认为，一个人脱离 EP 党团与他与党内其他成员的意识形态距离有关。有趣的是，Hix（2002 年）发现，在建立叛党模型时，国家党的距离比个人距离更有解释力。由于意识形态距离可能反映在一个人的道德修辞中，我们预计基于自然文本的道德修辞所衡量的意识形态距离也会显示出类似的模式；与个人距离（表 4 中的模型 2.B）相比，国家党与欧洲共同体党团的距离（表 4 中的模型 3.B）具有更强的解释力。

期望 2 我们期望道德修辞在模拟投票结果方面具有重要的解释力。基于文件文本的投票结果建模并不是选举程序相关文献的主题。不过，在美国国会和最高法院的投票案例中，文本对投票结果有很好的预测作用，并发现了一些与主题相关的偏好。在文本分析方面，这些研究采用了深度学习脚注7 方法或主题建模方法。我们检验了从文本中提取的道德修辞是否也具有解释力。我们用道德维度（与 MFT 相对应）对投票结果进行建模，并预期（其中一些）道德维度具有显著性（模型基于公式 A.8-A.10）。

Results

5.1EP party defection