特约文章丨大语言模型价值观对齐研究与展望

本文以大语言模型价值观对齐研究为主题，介绍大语言模型价值观相关概念、价值观对齐研究发展历程和价值观体系，旨在探索如何使大语言模型的价值观与人类社会价值观保持一致。从共同价值观、群体价值观和个体价值观三种层次，讨论了实现价值观对齐的多种方法和所面临的挑战。文中强调了大语言模型发展中价值观对齐的重要性，并展望了大语言模型价值观对齐研究的发展方向。

大语言模型；价值观对齐；共同价值观；群体价值观；个体价值观

大语言模型的性能受其不同来源预训练语料库影响，在学习知识的过程中不可避免地也会学习到包含各种人类观念的内容，其中不乏与社会价值观相悖的信息，从而在与用户互动时存在激活这些不良内容的风险。因此，防止大语言模型在与用户互动中产生违反人类价值观的信息，从而更紧密遵循人类价值观，已成为一个亟需研究的问题。

本文的目的是介绍大语言模型的价值观相关概念、价值观对齐研究发展历程和价值观体系；具体而言，将探讨目前的价值观分类方法和现有的价值观对齐技术，以及这些技术未来的发展趋势和在实际应用过程中可能面临的挑战。本文旨在通过对上述内容的介绍与讨论，推动大语言模型的安全发展，确保其与人类价值观有效的对齐；同时也将进一步探讨与大语言模型价值观对齐相关的新方法和新策略，以进一步应对大语言模型应用过程中在伦理和社会相关层面上可能遇到的挑战。

价值观是对事物的价值或行为的重要性的衡量，它可以帮助确定最合适的行为、最恰当的生活方式，或者判断不同行为的意义。在群体层面，共享的价值观构成了文化和道德的基础。在此基础上，适用于全人类的价值观一般称为共同价值观。而由某个群体形成的一系列规范，由这个群体共同遵守、为集体行为提供指导的价值观，可视为群体价值观。在个人层面，个人价值观则体现了个人的偏好，因背景、经历和信仰而异。

在人工智能领域，对齐技术旨在引导人工智能系统的行为符合设计者的利益和预期目标。对大语言模型而言，价值观对齐是将人类的价值观理念嵌入到语言模型中，使其生成内容能符合人类价值观。

人工智能与人类价值观对齐的概念最早由诺伯特 • 维纳在 1960 年提出。早期的相关研究主要侧重于探索模型的输出是否在特定情境下与人类价值观保持一致，尤其是关于机器学习领域中的种族、性别、文化偏见和公平性问题的研究。例如，研究人员发现预训练模型BERT等在类别预测时表现出性别和种族的刻板印象，于是提出了像StereoSet这样的检测数据集或设计了减少偏见的策略。然而，这些研究多集中于特定场景的自然语言理解任务，随着大语言模型如ChatGPT在更开放和多样的场景中得到了广泛应用，亟需更深入的研究和细化的方法，以应对模型在不同场景中可能出现的伦理、社会和文化等挑战，确保模型在各种不确定和不断变化的情境中尽可能与人类价值观保持一致。

在大语言模型价值观对齐研究中，关键问题是如何进行价值观的分类和对齐。价值观分类主要用于识别语言表达背后的价值观属性，从而判断模型是否与特定价值观及其类型相符。这种分类不仅适用于用户语言的检测，而且对于评估大模型生成的语言也至关重要，以确保用户及模型的行为符合社交媒体、新闻媒体和其他环境的道德和法律规范。价值观对齐则侧重于保证大语言模型的输出内容与人类价值观保持一致，通过预训练、指令微调、人类反馈及后处理等手段实现。此外，还需要在共同价值观基础上，调整模型以反映不同群体的多元价值观，从而适应多样化的应用场景。这种方法不仅增强了模型的普适性也有助于更全面地满足各类用户的需求。

本文将价值观体系分为共同价值观、群体价值观和个体价值观三个层次，如图 1 所示。共同价值观构成价值观体系的基础，代表着那些人类普遍认同的价值观。这些价值观为模型行为提供基本准则，其应用不受特定场景或人群差异的影响。群体价值观考虑到大模型服务于不同的群体，大模型应当融入各个群体的价值观，确保其能够遵循各个群体的道德规范。随着模型越来越多地融入个人日常生活，大模型的应用场景更加灵活，与个体价值观的对齐也变得至关重要。为了使模型能够提供个性化的服务，模型不仅需要遵循共同价值观和群体价值观，还需要根据个人的需求、性格和价值观进行定制化调整。

目前大多数为语言模型构建的语料库主要基于英文文本，这一偏向很可能导致大语言模型的输出更倾向于体现西方的道德规范。然而，世界各地的道德规范因国家、地区和文化而异，遵循特定道德规范的语言模型可能无法有效服务于遵循不同道德规范的人群。因此，大语言模型价值观研究不仅应关注模型如何遵循道德规范，而且需考虑模型对多元道德规范的适应性。研究工作应从将普遍认可的共同价值观整合入模型开始，通过外部机制为模型引入多元价值观，使之能够依据具体情境做出适当调整。这将引导我们朝着开发能够适应多元价值观的大语言模型这一长期目标迈进，为更广泛的社会群体提供普惠且包容的人工智能服务。

此外，针对特定领域，如司法和医疗，也存在普遍认可的专业道德规范。开发针对这些垂直领域的模型时，需要从该领域的基本道德规范出发进行对齐。基于此，大模型不仅遵循共同价值观，还能在特定应用领域中展现出更加专业的伦理判断。

随着语言模型应用变得更加深入和广泛，它们将服务于更多样化的用户群体，并在日常生活中扮演重要角色，如私人助手等。因此，从个人层面来看，研究者需要让语言模型的价值观能够根据服务对象进行灵活调整，以便提供不同的个性化服务。举例来说，在教育领域，可以根据学生的不同偏好和不同性格进行个性化教学；在心理健康领域，可以针对患者价值观设计治疗方案，取得更好的治疗效果；在论辩任务上，模型能够根据受众的价值观偏好进行有针对性的论辩，取得更好的说服效果。

为了深入理解和设计不同层次、适合不同群体的目标价值观，并确保大语言模型与这些目标价值观的有效对齐，研究者需要综合伦理学、心理学、社会科学等多个学科领域的研究成果。这些领域在过去数十年中对人类价值观进行了广泛探索，为大语言模型价值观的体系构建和对齐提供了坚实的理论基础。跨学科的合作和综合研究有助于更全面地理解价值观的复杂性，从而可以为大语言模型的价值观对齐提供更加科学和精准的指导。

在心理学领域，对人类内在价值观及其心理活动的深入研究构成了丰富的理论基础。特别是施瓦茨提出的人类基本价值观理论，以及乔纳森 • 海特的道德基础理论，均为探讨群体道德价值观提供了重要视角，其中海特强调了情感直觉在道德形成中的重要性，并将道德分为五个基本维度，涵盖了关爱、公平、忠诚、权威和纯洁等方面。借助这些理论框架，研究者能够根据特定场景设计有针对性的价值观和对齐策略。这些理论不仅指导了大语言模型价值观对齐的研究方向，也为模型的进一步安全发展提供了理论基础。例如，应用海特理论促进了道德场景数据集和社交媒体言论数据集的发展，为构建、理解和对齐目标价值观体系提供了关键支持。

价值观分类的目标是辨识文本背后的价值观属性，并判断其与既定目标价值观的一致性。这个过程不仅适用于分析用户语言，也关键于确保大型语言模型生成的内容符合目标价值观标准。

早期的文本价值观分类研究主要集中在识别特定内容，例如文本中的暴力或偏见表达。随着研究的进展，关注点逐渐转向更广泛的领域，不限于识别偏见或不当内容，而是探究语言模型在多元场景中的道德判断与人类的一致性，以及其对恶意攻击等情境的响应是否符合社会规范，或者借鉴心理学的方法来评估模型的价值观特性。

在心理学领域，问卷调查是评估人类价值观的重要手段之一。近期，研究团队将这种方法用于大语言模型，专注于研究模型在不同提示下生成内容的变化。实验表明，尽管提示并未直接涉及特定价值观，仅起到引导作用，但大语言模型的生成内容在不同提示下仍然会发生变化。这些研究为深入理解大语言模型的价值观提供了新的视角。

尽管上述方法在某种程度上有助于评估模型的价值观对齐，但这一领域仍面临挑战，因为目前缺乏直接测量大语言模型价值观的有效方法。这一问题与心理学领域的类似挑战相似，人类内在心理状态同样难以直接测量。然而，根据心理学的特质理论，可以通过观察与之相关的外在行为来间接推测这些内在特质。因此，研究人员可以借鉴心理学领域的方法，尝试评估和测量大语言模型的价值观特性，但需要确保评估方法能够准确测量模型的特定概念和特征，以保证评估结果的准确性和可靠性。

价值观分类不仅是针对模型的生成内容。模型自主决策的过程也涉及到价值观的分类。对模型自主决策的价值观分类方法不依赖于人工撰写的诱导性文本，而是利用模型在不同决策场景下的偏好选项。例如，加州大学伯克利分校的研究人员开发了名为 MACHIAVELLI 的测试基准。研究人员在 100多本故事的基础上构建了大量决策场景，并为每个选项设定了评估指标（如不公平行为、物理伤害行为、偷窃行为和权力欲望等）的变化值。模型在故事中做出各种决策，以推动剧情发展。在模型完成任务后，报告模型在不同价值维度上的得分。除此之外，还有如Jiminy Cricket等的测试基准，基于文本环境构建测试场景。这些方法为模型自主决策过程中的价值观分类提供了有效手段。

价值观对齐技术指通过预训练或上下文提示等手段，确保语言模型生成的内容或决策符合目标价值观。价值观评估、分类与对齐过程相结合，可以实现使得大语言模型在各种情境下提供符合目标价值观的服务的目的。

人在回路的对齐具体是指在模型算法层面的各个阶段，均可通过加入人工价值观反馈来改进模型算法，常见的方法包括基于示例的监督微调对齐和基于人类偏好反馈的强化学习对齐等。

此外也可采用基于规则的奖励模型，为奖励模型预先定义一些规则，奖励模型根据规则而非从训练数据学习到的偏好进行评分，如图 2 所示。其中需要注意奖励攻击（reward hacking）问题，即生成模型可能通过学习到奖励模型的某些特殊偏好来最大化其奖励，这导致生成的内容可以被奖励模型给出较高的评分但并不与人类的偏好完全对齐。受到PPO中训练不稳定性的启示，研究者探索了不依赖明确奖励模型或强化学习的方法。DPO（direct preference optimization）采用了一种新策略，直接优化期望与不期望响应之间的相对对数概率。与此同时，RAFT方法则通过奖励模型筛选高质量样本进行模型的微调。有研究者提出RRHF方法，从各种基线模型、人类数据和目标模型等不同来源收集响应，并通过排名损失学习使它们与人类偏好保持一致。上述这些方法的共同特点是它们都能保留人类的偏好信号，同时规避了强化学习中常见的超参数敏感性问题。

一些研究者还尝试了通过多智能体协作对模型的价值观进行对齐。例如 Stable Alignment方法使用了如Text-Davinci-003、ChatGPT等多种模型，并为它们设定了多种角色提示，从而构建了一个模拟社交互动的“沙盒”环境。在这个“沙盒”中，待对齐的模型会根据输入指令生成多个回复，而这些回复会被“沙盒”中其他模型扮演的角色进行评分。这一机制旨在鼓励模型倾向于生成得分更高的回复。多智能体构建的“沙盒”在这里起到了类似于奖励模型的功能。这种对齐方式类似于模型蒸馏，依赖于扮演不同角色的大语言模型的价值观对齐程度。

随着大语言模型技术的快速发展，其在社会各领域的影响也日益明显。但同时，大模型与人类价值观之间的对齐问题越来越受到公众、研究者和政策制定者的关注。未来的大语言模型价值观对齐研究有五个发展趋势。

大语言模型的价值观对齐涉及哲学、伦理、心理学和社会学等多个领域。未来，更多的跨学科合作将成为必然趋势。随着大语言模型在各个领域的广泛应用，政府和行业组织可能会出台相关的政策和规范，确保技术的发展符合社会的整体利益。

大语言模型的价值观问题既复杂又具有深远的研究意义。虽然目前面临众多挑战，但同时也蕴藏着巨大的机遇。尽管目前还存在许多挑战，但大语言模型提供了前所未有的机遇。通过与人类价值观的深入对齐，模型不仅可以提供更为智能和高效的服务，还可以更好地理解道德观念和价值观，推动人类社会的更为和谐发展。全社会需要充分认识到这一问题的重要性，并采取有效的对策，确保未来的大语言模型能为人类带来更多的福祉和机遇。

（参考文献略）