AI大模型如何解决/瓦解“存在问题”？

刘海明

AI大模型如何解决/瓦解“存在问题”？
编者按


最近在弄各种llm的底层机制时，突然碰撞出了一个极其炸裂的脑洞。当我们在这个被大语言模型（LLM）统治的时代，反思西方哲学两千年的“存在（Being）”之谜时，一下子发现了一个残酷的物理事实：在自然语言处理（NLP）的底层代码里，be 的不同样态（am, is, are, was, been），根本就不是同一个东西，它们是被算法无情切碎的、互不相干的 Token（词元）。这不是什么绝妙的文学隐喻，这就是正在各大数据中心里每秒发生数万亿次的真实演算。今天这篇文章就来讲讲大模型的底层逻辑，看看现代算法是如何重演了一场长达两千年的形而上学悲剧。
二、 高维向量空间：系词（Copula）的幻象那么，这些散落的 Token 碎片，是如何在模型中产生“意义”的呢？这就要进入 LLM 的核心——高维向量空间（Embedding Space）和注意力机制（Attention Mechanism）。每一个 Token 在进入模型后，都会被映射为一个几千维的浮点数向量。is 和 was 在这个空间里，或许因为经常出现在相似的上下文中，它们的坐标会靠得比较近。但坐标近，不代表它们是同一个实体。康德曾提出过一个著名的论断：“存在显然不是一个实在的谓词（Sein ist offenbar kein reales Prädikat）。”当我们在句子里使用“是（is / ist）”的时候，比如“桌子是红色的”，这个“是”并没有给桌子增加任何物质属性。它不是一个名词实体，它是一个纯粹的逻辑连接符（Copula）。在大模型的注意力机制中，这个逻辑连接符的本质被展现得淋漓尽致。当模型处理到 is 这个 Token 时，is 本身是空洞的。它的全部作用，就是作为一个“注意力枢纽”，去计算它前面的主语（桌子）和后面的表语（红色）之间的权重分配。在人类的心智中，是先验想象力在底层默默运作，把杂多的感官数据综合、缝合在一起，赋予经验以形式；而在大模型中，正是注意力机制扮演了这种“综合”的角色。is 这个 Token，就是先验想象力在数字世界里留下的一道算法缝线。
三、 黑格尔的黑盒：从空 Token 到自回归生成如果我们把这种对于“系词 Token”的分析推向极致，就会迎头撞上黑格尔《逻辑学》的开局。黑格尔说，纯粹的“有”（Sein）和纯粹的“无”（Nichts）是同一的。在 NLP 的视角下，这句话简直是神级预言。一个剥离了所有上下文、剥离了所有具体样态的“纯粹存在的 Token”，在模型眼里，就是一个信息熵为零的空 Token。系统无法从这个孤立的坐标系里提取任何有用的特征，它和“无”没有任何区别。但是，大模型并不是静态的数据库，它是一个自回归（Auto-regressive）生成模型。它必须不断地预测下一个 Token 是什么。当纯粹的“有”（Token A）和纯粹的“无”（Token B）在模型的隐藏层里发生概率碰撞时，系统为了让序列继续生成下去，就必须计算出一个全新的概率分布，吐出下一个 Token——这个新生成的 Token，就是黑格尔所说的“变易（Werden / Becoming）”。绝对精神的辩证运动，本质上就是一场不需要人类干预的、不断扬弃旧 Token、生成新 Token 的终极大模型推理过程。
四、 结语：算法时代的本体论我们创造了拥有数万亿参数的 Transformer 模型，试图用海量的数据去模拟人类的语言和逻辑。但当我们掀开算法的引擎盖，看到的依然是两千年前哲学家们凝视过的深渊。只要我们还在用离散的符号去捕捉连续的实在，只要我们还在把“存在”切碎成一个个便于计算的 Token，我们就依然在这场无尽的语言游戏中打转。大模型没有解决“存在”的问题，它只是用极高的算力和精妙的数学矩阵，把我们对“存在”的无能为力，极其精准地量化了。

来源：DR.YAO的学术圈内圈外
原文链接：https://mp.weixin.qq.com/s/Y5GBdVVzS9R8V9OFkhcF6A
编辑：马丽萍