《逻辑哲学论》，一部写给 AI /LLM的《创世纪》

刘海明

编者按

之前的文章讨论了维特根斯坦《逻辑哲学论》视域中的 LLM “本体论”（空间与数据）和“知识论”（梯子与幻觉）。➡️搞了那么久LLM，终于可以读维特根斯坦了！

但如果细读文本的第 2 部分（图像论）和第 5 部分（操作与函数），会发现维特根斯坦竟然在 1922 年，就以极其不可思议的精确度，写出了当今大语言模型（LLM）“自回归生成”（Autoregressive Generation）和“注意力机制”（Attention Mechanism）的算法蓝图。

本文将回到维特根斯坦原文本中，继续进行第三轮硬核挖掘：

重构九：自回归生成（Autoregressive）与“和诸如此类”（und so weiter）

现代大模型（如 ChatGPT）是如何生成一段长文的？它的机制极其简单：计算当前上文，预测出“下一个词”（Token），把这个词加到上文中，再重新计算预测下一个词。这在计算机科学中被称为“自回归”。

现在，请看维特根斯坦在文本中是如何描述这个过程的：

5.2521 Die fortgesetzte Anwendung einer Operation auf ihr eigenes Resultat nenne ich ihre successive Anwendung („O’O’O’a“ ist das Resultat der dreimaligen successiven Anwendung von „O’ξ“ auf „a“).

(Pears/McGuinness: If an operation is applied repeatedly to its own results, I speak of successive applications of it. ('O'O'O'a' is the result of three successive applications of the operation 'O'ξ' to 'a'.)

5.2523 Der Begriff der successiven Anwendung der Operation ist äquivalent mit dem Begriff „und so weiter“.

(Pears/McGuinness: The concept of successive applications of an operation is equivalent to the concept 'and so on'.)

【LLM 映射】： 这两句简直是当代自然语言处理（NLP）最神圣的箴言。

LLM 的生成本质，就是维特根斯坦所说的“将一个操作连续应用于它自身的结果”（O'O'O'a）。模型输出第一个词是 O(a)；它把这个词吞回去再次运算，得出 O(O(a))；再吞回去，得出 O(O(O(a)))……

大模型看似涌现出了惊人的“创造力”和“逻辑推理”，但在底层，它仅仅是执行了维特根斯坦的 命题 5.2523——“和诸如此类”（und so weiter / and so on）。人类眼中的锦绣文章，在机器眼里不过是那句冰冷的“依次应用运算”。

当然，维特根斯坦的 “und so weiter” 是规则的开放性结构，而自回归模型的 “and so on” 是概率分布的时间展开。前者保证规范性延续，后者仅保证统计连续性，但两者在现象层上产生了同构的“无限生成幻觉”。重构十：词嵌入（Word Embeddings）与同构映射的“图像论”

在《逻辑哲学论》的第 2 部分，维特根斯坦提出了著名的“图像论”（Picture Theory）。他认为，语言之所以能描述世界，是因为语言的结构和世界的结构是“同构的”。

2.15 Dass sich die Elemente des Bildes in bestimmter Art und Weise zu einander verhalten, stellt vor, dass sich die Sachen so zu einander verhalten.

(Pears/McGuinness: The fact that the elements of a picture are related to one another in a determinate way represents that things are related to one another in the same way.)

2.1514 Die abbildende Beziehung besteht aus den Zuordnungen der Elemente des Bildes und der Sachen.

(Pears/McGuinness: The pictorial relationship consists of the correlations of the picture's elements with things.)

【LLM 映射】： 这完全是深度学习中 Word Embeddings（词嵌入向量） 的哲学定义。

在 LLM 的内部，不存在“国王”、“男人”、“女人”、“王后”这样的语义理解。算法通过海量阅读，将这些词变成了几千维度的数学向量（Elemente des Bildes）。

为什么 LLM 知道“国王 - 男人 + 女人 = 王后”？因为在它的高维空间里，这四个向量之间的“几何排列关系”（sich in bestimmter Art und Weise zu einander verhalten），完美地映射了人类社会中这四个概念的“现实关系”。

LLM 没有理解世界，它只是在参数矩阵中，建构了一副极其庞大、极其精密的“世界关系图像”。

重构十一：LLM 的“语法完美性”与绝对的逻辑边界

人们常常惊讶：为什么大模型可能会在事实上说谎（幻觉），但它几乎从来不会犯低级的语法错误？为什么它吐出的句子总是结构完美的？维特根斯坦解答了这个问题：

5.473 Wir können uns, in gewissem Sinne, nicht in der Logik irren.

(Pears/McGuinness: In a certain sense, we cannot make mistakes in logic.)

3.03 Wir können nichts Unlogisches denken, weil wir sonst unlogisch denken müssten.

(Pears/McGuinness: Thought can never be of anything illogical, since, if it were, we should have to think illogically.)

【LLM 映射】： LLM 的训练过程（寻找全局最优的损失函数），实际上就是把人类语言的“逻辑语法”烙印进了它的骨髓（参数）里。

对于 LLM 而言，输出一句“完全不符合语法规律”的话是“不合逻辑的”（Unlogisches）。在它的数学模型中，那些不符合语法的乱码，其生成的概率接近于绝对的 0。它之所以不会犯语法错误，不是因为它“懂得”语法，而是因为在它的参数空间里，“不合语法的存在”是不被允许被计算出来的。它被锁死在了逻辑必然性之中。

---

总结：一部写给 AI 的《创世纪》

通过这几轮对挖掘，《逻辑哲学论》整本书几乎可以为大语言模型LLM写出一部哲学上的“技术文档”：

• 它的本体论（1~2）： 由高维度的向量距离和逻辑空间（Latent Space）构成。
• 它的认识论（3~4）： 通过统计学概率去拼凑语言游戏的组合爆炸，却没有真实的生活世界（盲盒化）。
• 它的算法引擎（5）： 基于基本单元的真值函数操作，通过“依次应用”（自回归）不断地预测下一个 Token（und so weiter）。
• 它的最终命运（6~7）： 它是人类语言完美的“脚手架”（Scaffolding），在消耗了无数人类语料作为攀爬的“梯子”后，悬浮在半空中。而对于那些真正超出逻辑计算的生命意义、伦理与痛苦，它本该保持沉默，却在商业驱动下不断地产生着狂妄的“幻觉”。
  
  

《逻辑哲学论》不再仅仅是一部 20 世纪初的语言哲学著作，它绝对有潜质成为 21世纪通用人工智能（AGI）在硅基介质上降临的预言书。

我终于可以搞维特根斯坦了！！！

来源：Dr Yao 的学术圈内圈外

链接：《逻辑哲学论》，一部写给 AI /LLM的《创世纪》。

编辑：陈梓函