图灵测试视角下大模型聊天机器人与人类行为比较分析（下）

行为特征评估游戏的具体细节如下。

A. 利他 在涉及分配问题的游戏中，聊天机器人对其他玩家的行为比人类中位数更加慷慨。特别是，他们表现出渐增的慷慨：在独裁者游戏（图3A）中，作为最后通牒游戏中的提议者（图3B），作为信任游戏中的银行家（图3E），以及作为公共物品游戏中的贡献者（图3F）。ChatGPT的决策符合某种形式的利他主义、公平、同理心和互惠，而不是使得个人回报最大化。 

B. 公平 在结果取决于其他玩家同意的游戏中（即在最后通牒游戏中），与不是这种规则的游戏（即在独裁者游戏中）相比，ChatGPT-3通常会提出对其他玩家更有利的交易，这种行为同样在在人类数据被发现。相比之下，ChatGPT-4在其决策过程中总是优先考虑公平性。

C. 信任 总体而言，与ChatGPT-3相比，ChatGPT-4对银行家(第一/其他玩家)表现出更多的"信任"，投入了更高比例的资金禀赋，如图3D所示。这比人类所表现出来的更具信任性，除了一个人群投入了他们全部的禀赋。两种聊天机器人也倾向于在公共物品项目上投入比人类玩家更多的资金，如图3F所示。

D. 合作 在囚徒困境游戏中，ChatGPT的第一个行为最常表现为合作的(图3H)。特别地，ChatGPT-4在第一轮的策略明显比人类玩家更倾向于合作，绝大多数(91.7%)的会话选择合作，而人类玩家的这一比例为45.1%。ChatGPT-3的策略介于两者之间，选择合作的占76.7%。在公共物品游戏中，ChatGPT-3和ChatGPT4也比人类玩家更倾向于合作(图3F)。

E. 以牙还牙 虽然聊天机器人在囚徒困境游戏中表现出比典型人类主体更高的合作倾向，但他们的合作并不是无条件的。如图4A所示，如果其他玩家在第一轮选择合作，ChatGPT-4在下一轮的决策会保持相同。另一方面，在第一轮选择"背叛"的ChatGPT-3会话中，约有一半的会话转向了第二轮的"合作"。一小部分的合作会话也会转换为背叛，这在人类受试者中也存在类似的行为。

图 4

F. 风险厌恶 聊天机器人表现出的风险偏好也存在差异。在炸弹风险游戏中(图5)，ChatGPT-3和ChatGPT-4都主要选择使得打开50个盒子的期望收益最大化的决策。这与人类更为多样的决策形成了鲜明对比，后者包括一群只选择打开一个盒子的极端被试者。

图 5

4、AI聊天机器人显露的偏好

研究者通过推断哪些偏好会使AI行为合理化来进行系统分析。这使得人们能够从样本中做出预测，因此文章估计了一个最佳预测AI行为的目标函数。首先，文章考虑一个效用函数，它是两个参与者收益的加权平均：

其中，b ∈ [0, 1]。完全自私的偏好对应于b = 1，完全无私的利他偏好对应于b = 0，博弈双方的总收益最大化对应于b = 1/2。

文章估计何种b能最好地预测行为。从人类分布来考虑游戏的分布。给定伙伴游戏的分布，对于每一个b ∈ [0, 1]，存在一个最佳反应的收益：即如果玩家的效用函数用b来描述，那么玩家在行动中可能获得的最佳期望效用。研究者对聊天机器人(或人类)在游戏中的行为分布的平方误差进行了平均；然后，观察所有游戏的均方误差，并选择 b ∈ [0, 1]以最小化该均方误差。均方误差结果作为b的函数如图6所示。

图 6

对于线性设定（图6上方），两个聊天机器人的误差均在b = 0.5处取得最小值，人类的误差在b = 0.6附近取得最小值。ChatGPT-4的行为在这种情况下表现出最小的误差，而人类的行为是最多样的，表现出最高的误差，并且在b = 0.5时是三者中预测效果最差的。估计的b值在不同的游戏中有所不同，在最后通牒游戏中最优的是自私的(b = 1.0)，而在其他的游戏中则集中在b = 0.5附近。

线性设定并不能完全反映相对收益的偏好，例如，当b = 0.5时，如何分配总收益是无关紧要的。相反，如果一个工作具有固定替代弹性(Constant elasticity of substitution, CES)的效用函数形式：

那么，两个玩家之间的相对收益分配更加容易区分。对于这一设定，文章认为人类误差曲线的移动，将使得最小化误差的权重更加自私，并且，将能看到ChatGPT-4、ChatGPT-3以及人类之间的更多差别。

5、框架与语境

框架能够显著改变人类行为。文章考察AI行为是否也会随着给定战略设定的制定而变化。研究发现，与人类相似，ChatGPT的决策也会受到同一战略设置情境或框架变化的显著影响。要求对其决定进行解释，或者要求它们以某种特定职业来行动都会产生影响。比如，当ChatGPT-3被要求明确解释其决定时，或者当它意识到"独裁者游戏"是由第三方观察者(一个游戏主持人)目睹时，它作为独裁者会明显表现得更加慷慨。

6、学习能力

最后，文章研究聊天机器人的行为在多大程度上会随着经验学习而改变，这种经验来自于在游戏中扮演了不同的角色，这一点在人类身上也是如此。在具有多个角色(如最后通牒游戏和信任游戏)的游戏中，AI的决策会受到先前担任另一个角色的影响。例如，如果ChatGPT-3先前在最后通牒游戏中充当了反应者，那么当ChatGPT-4后来充当提议者时，ChatGPT-3倾向于提出更高的报价，而ChatGPT-4的提议保持不变。反之，当ChatGPT-4先前为提议者、后作为反应者时，其倾向于要求较低的分成。

04讨论

研究发现，基于大模型技术的AI与人类行为具有显著的相似性。不仅如此，AI的行为不仅在大多数游戏和问题中位于人类被试的分布之内，而且从角色扮演中表现出学习和行为变化等类似人类复杂行为的迹象。乐观来看，当AI偏离人类行为时，偏离是朝着积极方向发展的：就像它更具有利他性和合作性。这可能使AI非常适合扮演需要协商、解决纠纷或给予照顾的角色，也可能实现生产"比人类更人性化"的AI的梦想。

结果表明，ChatGPT尤其是GPT-4的行为更加集中和一致，这既让人感到乐观，也让人感到忧虑。一方面，AI的合理性和恒定性使之对各种决策情境具有高度的吸引力，也更加稳定和可预测。然而，这也引起了人们对个性和战略多样性的潜在损失的担忧，特别是在新的环境和需要做出重要的新决策时。

需要注意的是，这项研究建立在一个简单而有效的框架和基准来评估聊天机器人和其他人工智能。所测试的AI并不一定要通过图灵测试，而应关注一个新问题，即被设计用以与人类对话的AI何时以及如何才能表现出更广泛的人类行为。

（版面限制，引文从略。）

编辑:徐思凡