阿什比论文集集锦

刘海明

【案例】

智能的机制——阿什比论文集（11）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的翻译机制定律这一专题。今天我这给大家本主题的第五篇文章《自繁殖系统》。

自繁殖系统

生命所展示的组织现象中，最有趣的现象之一就是繁殖。我们很自然地会问：一个系统如何自我复制？除非我们谨慎行事，否则我们会一头栽进语义陷阱。事实上，"生物有机体如何自我复制？"这个问题的答案是："它并不自我复制。"

没有有机体自我复制。唯一曾被如此宣称的是凤凰，据说世上只有一只，它一生只产下一个蛋，而从这只蛋中生出了它自己。那么当普通生物有机体繁殖时，实际上发生了什么？我们可以用足够的准确性这样描述这里的事件：

(1) 有一个基质（子宫、一块腐烂的肉、也许是一个细菌培养试管）。 (2) 向其中引入一种形式（一个卵、一个蝇卵、也许是一个细菌）。 (3) 两者之间发生复杂的动态相互作用（在这个过程中，形式可能完全消失）。 (4) 最终，该过程产生更多与原始形式相似的形式。

在这个过程中，我们必须注意基质所扮演的基本角色。这里不存在卵自我复制的问题。我们看到的是整体的一小部分与整体其余部分之间的相互作用。因此，结果是两个系统之间相互作用的功能。其他形式也是如此。细菌需要一个周围基质来提供氧气和食物，并接纳二氧化碳的排泄等。两者之间随后发生相互作用，最终产生与初始细菌有些相似的形式。

因此，在我们开始考虑自我复制系统的问题之前，我们必须认识到没有有机体是自我复制的。如果我们充分理解Rosen[2]最近所表明的观点将是有益的，他证明了自我复制自动机的想法在逻辑上是自相矛盾的。他使用的论证在形式上与我在[1]中用来证明自组织系统严格来说是不可能的论证完全相同。在每种情况下，自我作用机器的想法都意味着一个映射必须能够改变自身——即它被赋予了要改变成什么的信息——这两个基本原理相互冲突。没有具有这种概念的东西。它与一个人绕到自己身后推着自己走的幻想属于同一类。

我说这些，不是为了混淆或阻碍，而只是为了通过消除混乱的来源，确保我们确实找到通往主题的正确途径。尽管"自我复制"这个形容词在语义和逻辑上都是极不妥当的，但我们清楚地知道它的意思，即使我们有时用不恰当的词来描述它。

因此，我提议将问题重新表述如下：一个给定系统是这样的：如果在其中发生某种形式（或属性、模式、一般可识别的特征），那么该系统就会产生，并涉及与系统动态相互作用的、与原始形式相似的其他形式（或属性、模式或特征）。

我问我们能对这样的系统说什么。

1.机器能做到吗？

将问题转化为适当的形式后，我们现在可以转向机器是否可能自我复制的问题。在某种意义上，这个问题是没有意义的，因为我们今天知道，所有"机器能做到吗？"这类问题都可以得到肯定的回答。然而，还有其他原因说明这个问题还有更多关于过程实际细节的内容有待说明。那么我们的问题是：是否存在一种机制，使其像提到的基质那样作用，即给定一个"形式"，两者最终导致产生类似于第一个的其他形式？

我打算主要通过展示实际例子来回答这个问题，让例子自己说话。

我想给出的第一个例子是用类计算机术语进行的正式演示，展示这种可能性。让我们假设一台计算机只有十个存储器，编号为0到9，每个包含一个两位十进制数字，如72、50、07，或也许是00。这个小世界的"动态规律"如下。假设它刚刚对存储器5-1进行了操作。它移动到存储器5，取其中的两个数字，设为a和b，将它们相乘，加上5和存储器编号5，取结果的右手数字，设为c，然后将原始的两个数字a和b写入存储器c。然后它移动到下一个存储器并重复该过程，如此无限继续。

乍一看，没有什么比这更微不足道的了。如果存储器包含诸如3号这样的数字，其中存储着17，它将1和7相乘，将5加到乘积上，得到12，加上存储器编号3，得到15，取右手数字，得到5，并将17放入存储器5。然后它继续到下一个存储器，即4号。

在这个过程中似乎没有什么值得注意的。另一方面，存储器中的28有一个奇特的性质。假设它在存储器8中。它将2和8相乘，得到16；加上5，得到21；加上存储器8。当我们计算下一步时，我们发现28再次进入存储器9，并如此进入一个又一个存储器。因此，一旦28出现在存储器中，它就会传播，直到占据所有存储器。因此，这台机器及其程序是一个动态基质，如果一个"28"进入其中，相互作用将导致产生更多的28。在这个基质中，28可以说是自我复制的。

当然，这是最简单的可能情况。还有许多其他更常见、更像我们在现实世界中发现的情况。例如，假设我们有许多几乎组装好的螺丝刀，它们只差一个螺丝就能完成。我们还有许多必要的螺丝。如果现在提供一个完整的螺丝刀，螺丝刀就可以作为一个"形式"起作用，基质由提供这种形式的情境提供，一个过程被激发，导致产生相同形式的其他例子。

关于这个例子，读者可能会反对说这里假设了大量的预置。当然，这是事实，但这并不影响所演示的原理。发生的预置程度可以在最广泛的范围内变化而不变得非典型；而且必须允许一定程度的预置。毕竟，繁殖的生物不是从原始元素的气态混合物开始的。

当模型制造者声称他"自己制造了所有东西"时，同样的"预置程度"尺度有时会混淆问题。这个短语不能按任何绝对意义来理解。如果他制造了模型螺丝，他必须制造了金属棒（螺丝由金属棒制成），那么他必须找到制造金属的矿石，如此等等。这种向后追溯几乎没有限度，"模型制造者必须自己制造所有东西"这一规则必须伴随着关于允许多少预置的某种本质上任意的决定。

到目前为止给出的两个例子只显示了一步繁殖。生物体重复生产：父辈生儿子，儿子生孙子，孙辈生曾孙，如此等等。这种扩展繁殖的可能性仅仅取决于基质的规模。它可以在不显著影响过程基本原理的情况下存在或不存在。

2.更多例子

自复制这一主题通常在过于狭窄的事实基础上讨论。这些往往一方面是简单的生物有机体，另一方面是最原始类型的机器，如手表和汽车。为了使我们的考虑范围更广，让我们考虑一些进一步的例子。我下面给出的例子有时会显得反常，但我声称，尽管有些例子如此，它们确实符合基本定义——即第一种形式与基质的结合导致产生与第一种相似的后续形式。

例3。一家工厂无法开始生产，因为电源没有接通。唯一能接通电源的是一种特定类型的扳手（spanner）。这家工厂的工作就是生产这种类型的扳手。例4。一台机器在接通时振动非常剧烈，可以通过一个很容易被振动触发的开关来启动。这样一个系统，如果处于静止状态然后受到剧烈振动，就可能继续产生进一步的剧烈振动。因此，在这种基质中，"振动"这一形式是自复制的。

例5。两国A和B处于战争状态。B发现A国是一个独裁统治如此强烈的国家，以至于每份载有独裁者姓名首字母（X.Y.Z.）的文件都必须被服从。B利用这一点，通过向A国投放带有以下信息的纸片来破坏A国的行政体系："制作此文件的十份副本，附上首字母，并发送给你的同事。X.Y.Z."在这种基质中，这种形式是自复制的。

例6。若干变色龙互相注视，每一只都受到周围颜色的影响。如果一只变色龙变暗，它将增加"黑暗"出现在周围的概率。在这种基质中，"黑暗"这一属性倾向于自复制。

例7。在计算机中，如果指令0101010意味着"将后续内容输入随机选取的五个其他存储器"，那么在这种基质中，形式0101010是自复制的。

例8。一台计算机在其各个存储器中有单位十进制数字。它的程序是这样的：随机挑出一对数字，将它们相乘，并将右手数字放入第一个存储器。在这种条件下，由于任何零都会迫使另一个零被存储，零是自复制的。

例9。任何不稳定的动态系统，当它越来越远离不稳定平衡点时。因此，如果平坦山谷中的一条河恰好是直的，一个河曲的出现往往会导致产生更多的河曲。因此，在这种基质中，"河曲"这一形式是自复制的。

例10。当均匀层的某种无条纹冲击材料出现涟漪时，也会出现类似的例子；一个的出现往往导致其他涟漪的出现。在这种基质中，"涟漪"是自复制的。

例11。（源自伯勒博士）牛更喜欢踩进洞里而不是走上山脊。因此，如果牛沿着一条路径行走，而这条路径有一个小凹坑，它们会在一头牛步伐的远处踩出另一个凹坑，从而形成第二个凹坑。而这又往往会在再远一头牛步伐的地方被另一个凹坑跟随。因此，在这种基质中，"凹坑"是自复制的。

例12。化学中众所周知的现象是"自催化"。属于这一类的是乙酸乙酯（在水中）离解为乙酸和酒精。当然，在这里离解无论如何都在稳定发生，但第一次产生酸的离解会增加后续离解的速率。在这种基质中，一个乙酸分子的出现倾向于促进更多同类型分子的出现。

例13。在前面的例子中，形式一直是物质实体，但形式同样可以是一种模式。所必需的只是该实体，无论它是什么，必须能够被明确识别。例如，在过饱和溶液中，人们称之为"结晶"的分子排列是自复制的，在这个意义上，在这种基质中，引入一种结晶形式会导致产生更多相似的形式。

例14。在一个具有足够轻信特质且纸张供应充足的社群中，这很可能导致产生更多此类形式。

例15。在另一个作为基质的合适类型社群中，一个人开始某项特定爱好（作为形式），很可能会被其他人也开始从事这项爱好所跟随。

例16。最后，我可以提及这样一个事实：绞刑架的出现往往伴随着相似形式的出现。在这种基质中，"绞刑架"这一形式是自复制的。

来源：宋胖说事儿

链接：https://mp.weixin.qq.com/s/LaQ_4bxWUbe2MSRgZDZYbQ

编辑：何璇祺

刘海明

【案例】

智能的机制——阿什比论文集（12）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的翻译机制定律这一专题。今天我这给大家本主题的第五篇文章《自繁殖系统》后续部分。

自繁殖系统

4.繁殖作为一种特殊的适应在这些例子之后，我们现在可以更实际地接近这个主题。为了更清楚地看到繁殖这一过程有多么特殊，我们应该认识到，繁殖并不是通过某种奇迹般的联系专属于生物有机体的东西，而仅仅是对一类特殊扰动进行适应的专门手段。关键在于，生物自创世以来所遇到的陆地环境具有某些专门的特性，只有当我们将其与计算机内部可能存在的完全非专门化过程进行对比时，这些特性才容易被注意到。在这些陆地特性中，最主要的是一条极其普遍的规律：如果两个事物相距遥远，它们往往几乎互不影响。无疑还存在成千上万其他此类事实。我们在这里关心的是，当扰动或危险降临到有机体时，它们往往是局部发生的。也许最清楚的例子是这样的：如果地球没有大气层，那么地球上的生物将受到连续不断的高速小弹丸状颗粒的袭击。在这种弹雨下，每一个特定弹丸的威胁都是局部的，因此，如果生命形式能够复制，并且这些形式被制造并分散开来，它就会增加生存机会。这一规律当然具有极其广泛的适用性。银行可能会在某处发生火灾，因此它们制作记录副本并将其分散保存。如果一台计算机容易在随机地点发生突发故障，那么在计算的各个阶段复制重要数字就是有利的。因此我们看到，这种专门的繁殖形式应该被正确地视为与其他复杂动态过程的关系，即仅仅是对一类特殊扰动进行适应的专门形式。仅此而已，别无其他。如果扰动不是局部化的，繁殖就没有优势。例如，假设太阳突然变得致命或仅仅略有干扰。在这种条件下，物种拥有许多不同个体将一无所得。同样的现象也可以在产业界看到。当不存在公司多样性的优势时，无论是影响所有公司的生存还是全部倒闭，垄断都可以像众多小公司一样适应良好。

4.基础理论

经过这一考察，我们至少已经达到了一点，可以从机制逻辑的角度看到"繁殖"的真正本质。我们仅仅将其视为对特定类别扰动的适应。这意味着它立即受到Sommerhoff[3]所明确阐述的理论形式的约束。它是适应这一事实意味着，我们本质上是在处理某个动态过程的不变量。这意味着我们可以获得一个新的起点，适用于机制的新逻辑，一方面清楚地展示其内在逻辑，另一方面将该过程表述为可被机器编程或任何相关过程接管的形式。我们从一个基本概念出发：在动态系统中，系统的状态集以及该状态集到自身的映射f，对应于系统的动态驱动力。那么繁殖就是该系统组成部分f上以及作用于其上的一组扰动上保持的不变量之一。当它是这样的：整体中的某些部分受到单独影响时，"繁殖"在动态驱动力f的诱导变化作用下被泛化。

必须强调，尽管繁殖在生物有机体中似乎是一个严格定义的过程，但它实际上是一个具有如此普遍性的概念，以至于在所有情况下都需要精确的定义，才能清楚我们在谈论什么。因此，在某种意义上，本文呼吁给出定义，使得作用于某物之后，我们在稍后时刻又能重新得到它。这正是凤凰的情况。这也是"自繁殖"的一种基本到无趣的类型，但这仅仅是开始。它向我们发出警告：自繁殖过程可以在广义动态系统中以无数形式发生，这些形式远远超出生物世界的多样性和控制。因为它们是非生物的，生物学家会犹豫是否称它们为繁殖，但逻辑学家一旦给出定义并被迫坚持它，就找不到拒绝给予它们这一名称的理由。一般而言，我们有一套部分，在某一时间段内，属性P是可以理解的。这个属性P，如果概念要有用，必须在系统的各个位置保持（即不变）。如果在系统的事件过程中，如果沿着任何轨迹，P的出现之后，在轨迹的后续状态中，变量"存在的P的数量"具有更大的值。

应该注意的是，因为自繁殖是一种适应，它要求（正如Sommerhoff所示）有机体与环境之间的关系，又因为属性P必须在其在系统中的出现次数上是可计数的，我们必须处理一个以"部分"为组成部分的系统。我提到这一点是因为，动力学研究中的一项重要新发展是将系统实际上视为一个整体，根本不考虑部分。这种新方法不能用于繁殖研究，因为正如我刚才所说，繁殖概念要求我们将系统视为由部分组成的。

新观点涵盖了一条轨迹，立即展示了这一概念有趣扩展的恰当位置。正如我所说，繁殖是不变量的一种形式。一般而言，不变量只是平衡态或循环。到目前为止，我们只考虑了平衡态，但同样重要的考虑是循环。在这里我们得出结论：如果A繁殖B，B繁殖C，C繁殖A，这种循环在生物世界中当然极其常见。不仅有昆虫经历的相当复杂的形式循环——卵、蛹、成虫等，当然还有人类繁殖本身沿着循环规律进行这一简单事实：卵子、婴儿、儿童、成人、卵子，如此往复。

可以对该主题的理论进行进一步的澄清。让我们将"繁殖"定义为：当某属性的出现增加了该属性在其他地方再次出现的可能性时，即发生繁殖；这是正繁殖。我们同样可以容易地考虑"负"繁殖，即当某属性的出现降低了该属性在其他地方出现的可能性时。这类例子通常不会立即浮现在脑海中。当然，我们可以立即在通用计算机上发明这样一个系统；如果指令00000意味着"用1替换所有0"，就会发生这种"负繁殖"。到目前为止，我只在真实系统中找到一个例子——即如果在电沉积过程中，一根金属晶须向电极生长，另一根晶须在附近生长的机会就会减少。因此在这种条件下，这一根或类似的晶须是自消除的。

这一观察为我们提供了一个关于以下问题的明确线索：在大动态系统中，自繁殖形式将是常见的还是稀少的？负自繁殖形式显然没有突出的倾向——它们是自动自消除的。正自繁殖形式则完全不同。在没有对抗因素的情况下，它们将向前推进，直到完全占据系统。

假设现在我们做出一个自然的假设：如果系统部分是随机组装的，系统越大，其中可能的形式数量就越多。再加上如果任何一个形式是自繁殖的，那么自繁殖形式将充满系统这一事实，我们得出结论：有很好的理由预期，所有足够大的系统都将充满自繁殖形式。

这一事实很可能主导大型自组织系统的设计，迫使设计者将大量注意力投入到以下问题上："在我的系统中可能发展出什么样的自繁殖形式？"，并在动态系统设计中投入大量注意力来防止简单的不稳定性。

5.总结

过去，繁殖通常被认为是专属于生物的，并且需要非常特殊的条件才能实现。真相恰恰相反：它是一种范围最广的现象，倾向于发生在所有动态系统中，如果它们足够复杂的话。

大脑很可能将这种倾向（自繁殖形式的发生）作为其正常高级过程的一部分加以利用。大型自组织系统的设计者一旦设计出真正大型且自组织的系统，就会将这一属性作为一个主要因素加以考虑。

参考文献

1.W. Ross Ashby, "Principles of the Self-organizing System," *Symposium on Self-organizing Systems*, University of Illinois, June 7-10, 1960. Pergamon Press, 1962.

2. R. Rosen, "On a Logical Paradox Implicit in the Notion of a Self-reproducing Automaton," *Bull. Math. Biophysics*, Vol. 21, pp. 387-394, 1959.

3. G. Sommerhoff, "Analytical Biology," Oxford University Press, London, 1950.

来源：宋胖说事儿

链接：https://mp.weixin.qq.com/s/uiU9AAtgMCM7lIuE31S_oQ

编辑：何璇祺

刘海明

【案例】

智能的机制——阿什比论文集（13）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的翻译机制定律这一专题。今天我这给大家本主题的第六篇文章《阈值网络中脉冲活动的不稳定性》

阈值网络中脉冲活动的不稳定性

PROFS. W.R. ASHBY, H. Von FOERSTER and C.C. WALKER

（W.R. 阿什比、H. 冯·福斯特 和 C.C. 沃克 教授）

伊利诺伊大学厄巴纳分校电气工程研究实验室

半个世纪以来，阈值在神经细胞和突触活动中的重要性已为人所知，但对于这一普遍存在的特征必然会对整体行为系统施加何种普遍特性，人们却知之甚少。Beurle 在研究活动波在传导网络上的传播时注意到，具有阈值的网络会有明显的不稳定倾向，但他的假设十分复杂，且不稳定的根源难以确定。在此，我们试图证明，类似的不稳定性可以从更简单的根源轻易追溯。

如果我们构建一个人工神经网络，其连接方式未作明确规定但连接丰富，在连接处设有阈值，然后当网络传递脉冲时，试图将其活动保持在适中水平，那么我们所指的不稳定性很快就会显现出来。网络往往会趋向于两种状态之一：要么降至完全无活动的状态，几乎无法使其恢复活动；要么升至完全活动的状态，只有当出现耗竭或其他外部因素时才会减弱。

这种不稳定性的根源可追溯如下。假设整个网络由大量相互连接的单元组成，这些单元处理的信息在任何地方都以某种物理活动的相同脉冲形式表示。每个单元有 *n* 个可识别的输入。一个单元在时间间隔 *t*（到 *t* + Δ*t*）内"发放"——发出持续时间为 δ*t* ≪ Δ*t* 的脉冲——当且仅当在前一时间间隔（*t* — Δ*t* 到 *t*）内至少有 θ 个输入接收到脉冲。以下论证既适用于信息基本单向流动（从网络输入端到网络输出端）的网络，也适用于具有丰富内部交叉连接的网络（前提是没有任何反馈回路是短路的）。

我们将通过首先将概率 *p* 与在特定时间间隔 Δ*t* 内特定输入上出现脉冲的事件相关联，来描述特定单元输入上的活动。我们定义：

其中，N 是在时间 t 内计数的脉冲数量，这些脉冲通过了由 L 个随机选择的输入组成的足够大的输入束。由此我们得到概率 pi 表示特定单元上恰好有i 个输入在时间间隔 Δt 内接收到脉冲：

因此，至少 θ 个输入在此时间间隔内处于活动状态的概率 p′ ，即该单元发放（触发）的概率，由累积二项概率函数²给出：

当允许产生的脉冲频率 f′=p′/Δt 本身成为进一步频率 f′′=p′/Δt 的产生器时，就会产生不稳定性，依此类推。在这些条件下，我们探究随着时间推移网络中将会发生什么。如果每个输入上的脉冲活动等于每个输出上的脉冲活动，即如果满足以下条件，则达到平衡：

如果在输入端活动的增加导致输出端活动的减少，则该活动在 p∗ 处的平衡将是稳定的；也就是说，如果满足：

然而，将表达式(3)对 p 求一次导和二次导表明，对于所有满足 0<p∗<1 且 n>1 的方程(4)的解存在的情况，p′(p) 从原点出发时斜率为零，并在某一点呈现单一拐点：

因此，稳定性判据(5)仅在 p∗=0 或 p∗=1 时得到满足。

图1展示了一个简单情况，其中使用公式(3)将 p′ 对 p 作图，参数取 n=10 和 θ=5 。平衡点 p∗ 是 p′(p) 与 p′=p 相交的三个点：0、0.42和1。位于0和1的平衡点是稳定的；位于0.42的平衡点是不稳定的，其意义在于，偏离该值的微小扰动都会导致系统趋向其极端值之一。（在图1中，p 从初始值0.5的变化用阶梯线表示。）图2显示了各种扰动如何引发向极端值的失控。

因此，大脑中组织更为复杂的区域似乎给我们呈现了一个悖论。它们密集地使用阈值，但通常以某种适中的频率传递脉冲，在生理条件下很少陷入完全无活动状态或最大兴奋状态。显然，必然存在不单独依赖固定阈值的稳定性因素或机制。

一种容易想到的机制是阈值对输出的非线性依赖性，有时称为"耗竭性抑制"。如果这种依赖性具有以下形式：

（λ 、μ 和 m 为常数），若满足以下条件，则稳定性判据(5)成立：

本研究工作得到美国国家科学基金会（编号 G17414）的支持。

参考文献

[1] BEURLE R L. Phil. Trans. Roy. Soc. London, B[J]. 1956, 240: 55.

[2] ORDNANCE CORPS. Tables of the Cumulative Binomial Probabilities[R]. Washington, DC: Office of the Chief of Ordnance, 1952.

来源：宋胖说事儿

链接：https://mp.weixin.qq.com/s/mMiQ_AdpIF779JVdQeOwOg

编辑：何璇祺

刘海明

【案例】

智能的机制——阿什比论文集（14）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的翻译机制定律这一专题。今天我这给大家本主题的第七篇文章《大型动态（控制论）系统的连接度：稳定性的临界值》

大型动态（控制论）系统的连接度：稳定性的临界值

（摘自《自然》杂志第228卷，第5273期，第784页，1970年11月21日）

如今研究的许多系统都是动态的、大型的且复杂的：拥有100架飞机的机场交通、拥有10⁴人口的贫民区，或拥有10¹⁰个神经元的人脑。在这些系统中，稳定性至关重要，因为不稳定通常表现为自我放大的灾难。遗憾的是，目前关于大型系统稳定性的理论知识还很贫乏：本文描述的工作旨在为此增添内容。

这些大型系统通常是生物系统或社会系统，它们具有显著的非线性特征，这增加了相关的研究难度。在此，我们将线性系统仅视为迈向更一般化处理的第一步。

我们试图回答：大型系统稳定的机会有多大？如果大型系统是随机组装（连接）的，或是随意生长的，我们应该预期它是稳定的还是不稳定的？当变量数n趋向无穷大时，这种预期会如何变化？

蒙特卡洛类型的证据,表明，随着n的增加，稳定概率迅速下降，在某些情况下可能快至2⁻ⁿ，即系统稳定的机会呈指数级快速消失。然而，这一结果是针对完全连接的系统，即每个变量对每个其他变量都有直接影响。虽然这种情况在理论上显然很重要，但在现实生活中大多数大型系统并非如此：贫民区中并非每个人都对其他每个人都有直接影响，大脑中并非每个细胞都直接影响其他每个细胞。连接度（"connectance"）通常远低于100%。我们研究了不完全连接度对系统稳定概率的影响程度。

设线性系统的状态由向量x（=⟨x₁, x₂, ..., xₙ⟩）表示，其中每个xᵢ都是一个变量，是时间的函数；其随时间的变化由矩阵方程 ẋ = Ax 描述。

"随机连接变量"是指从某个特定分布中为矩阵A的元素赋值。从xᵢ到xⱼ的"非连接"对应于将元素aⱼᵢ赋值为零。因此，如果特定分布在零点有峰值，从中抽样就等价于得到一个具有许多非连接的动态系统。系统的连接度C可以方便地定义为分布中非零值的百分比。因此，如果系数从99%为零的分布中抽取，且n=1,000，则方程的每一行将包含约十个非零系数，这对应于每个变量直接受约十个其他变量影响的系统。

由于我们的工作本质上是探索性的，我们使用的分布中非零元素均匀分布在–1.0到+1.0之间。主对角线上的元素对应于各部分的内在稳定性，它们均为负值，均匀分布在–1.0到–0.1之间。因此，A的每个抽样值都对应于一个由个体稳定部分组成、每个部分直接受其他约C%部分影响的系统。

在数字计算机上，给定n值和C值。然后对适当分布的随机数进行抽样以提供矩阵A。应用赫尔维茨判据检验A的特征根实部是否全为负（稳定情况），并记录结果。进一步的抽样产生更多的A矩阵，从而可以估计稳定概率(P)。对另一个C值重新估计概率，如此反复，直到P随C变化的关系变得清晰。

结果显示出我们希望在此报告的特征。随着系统规模增大，出现了一种新的简单性。

图1稳定性随连接度的变化

图1展示了部分结果，足以说明主要事实。

当n=4时，系统稳定的概率依赖于C，呈某种复杂曲线（或许可以精确预测）。但随着n增大，曲线形状迅速趋向于阶跃函数，因此即使n仅为10，至少在某些实际用途中也可以这样看待。因此，即使在n=10时，稳定性问题也可以通过询问连接度是否高于或低于13%来简单回答：向任一方向偏离2%就足以使答案从"几乎肯定稳定"转变为"几乎肯定不稳定"。

此事正在进一步研究中，但值得注意的是，这项工作表明，所有大型复杂动态系统都可能具有这样的特性：在达到临界连接度水平之前保持稳定，然后随着连接度增加而突然变得不稳定。这可能具有普遍意义。

本研究工作部分得到美国科学研究办公室的支持。

来源：宋胖说事儿

链接：https://mp.weixin.qq.com/s/S4yuuLm-tjKKlcC5_zYx1g

编辑：何璇祺

刘海明

【案例】

智能的机制——阿什比论文集（15）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的翻译机制定律这一专题。今天我这给大家本主题的第八篇文章《关于某些复杂系统中行为的时间特性》，我们只发布摘要和导言部分。

关于某些复杂系统中行为的时间特性

C. C. 沃克* 和 W.R. 阿什比
美国加州大学洛杉矶分校心理学系
1966年1月17日收稿

摘要：对于具有众多复杂相互作用部分的动态系统的行为了解甚少，对于倾向于以一般性而非细节性方式影响其行为的因素也了解甚少。本文描述了对由计算递归逻辑函数的单元元素构成的此类系统的研究。

每个元素有两个二进制输入和一个二进制内部状态，该状态也是元素的输出状态。（元素的输出可以分支。）递归的引入方式是：令元素在下一时刻(t+1) 的状态成为其两个输入的当前状态以及其在当前系统时间 (t) 的内部状态的函数。因此，存在256种可以计算的不同函数，特定元素的行为由其计算的那一种函数定义。

一百个相同的元素随机连接构成一个系统。本研究通过计算机模拟对256种系统类型进行了研究，这些类型对应于全部256种逻辑函数，使用五组不同的连接，并从十个随机选择的初始系统状态启动系统。在设定初始状态后，每个系统在没有进一步干预的情况下产生其行为。我们特别研究了那些可能决定以下因素的行为效应：(i)系统到达其终末循环所需的时间，以及(ii)终末显示的循环的大小（周期性）。

在所揭示的事实中，以下几点似乎特别值得注意：

（1）此类系统往往以复杂的行为循环结束。极短的循环绝不是常见的结局。

（2）行为的风格，除了细节之外，往往与连接模式惊人地无关。

（3）能够被观察者检测到的、显著影响到达终末循环之前时间长短的因素之一，是元素作为信息传递者的程度。

（4）强烈影响以极短循环结束趋势的一个因素是：在多少种条件下，元素的状态在下一时刻将保持不变。

（5）使用其状态转移高度依赖于元素先前状态的元素，有利于系统在到达长终末循环之前具有较短的初始周期。

这些事实对于生物计算机各种应用的意义将在下文讨论。

引言

复杂系统被方便地定义为（Simon, 1962）由许多以非简单方式相互作用的部分组成的系统。目前对这类系统的行为了解甚少，即使那些具有相对基本特征的系统也是如此。本文报告的工作考察了一族复杂系统中行为的时间特性，这些系统参照其各部分的理论基本属性及相互关系来定义。开展这项工作是为了更好地把握系统一般如何行为，即描绘极端情况，找出通常预期的行为，并考察系统行为风格可能与各部分行为简单特征相关的可能性。

数据将从生物取向的读者最熟悉的观点进行讨论。然而，由于当今需求的控制机制正接近生物复杂性，且由于在传统计算机中启发式程序和蒙特卡洛方法的日益使用表明可能存在对概率机械的需求，本文给出的结果也可能对硬件取向的读者有兴趣。

构成所研究系统的部分是简单的电气装置，在此称为元素，它们可以相互影响。每个系统通过取许多元素并将它们以复杂排列连接而形成；通过系统地变化元素的行为属性产生了一族系统。对整个家族中各个系统的典型行为是实验探究的对象。

主要关注行为的三个方面：(1) 系统终末行为的周期性，即终末行为中重复之间的时间长度；(2) 暂时行为的持续时间，即系统进入其终末行为之前的时间长度；以及 (3) 系统的活动性，即从一个时刻到下一个时刻改变状态的元素的相对数量。

先前的研究结果（Ashby, 1960; FitzHugh, 1963）表明，在结构复杂的系统中，极短循环的产生与各部分在下一时刻保持状态不变的倾向有关；并且，产生极短循环的系统会沿着近似指数衰减的方式达到零活动水平。目前对此类系统中与本研究相关的行为特性知之甚少。

来源：宋胖说事儿

链接：https://mp.weixin.qq.com/s/Newp2cOBAtlAxuFMEKCB4w

编辑：何璇祺

刘海明

【案例】

智能的机制——阿什比论文集（16）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的《系统中的信息流》这一专题。

专题二：系统中的信息流（Information Flows in Systems）

1.专题综述
研究大型复杂系统，如大脑、城市、国民经济等，在任何但最有利的条件下都极其困难。在特殊条件下——所有系统组件的同一性、系统关系的线性、系统可分解为松散耦合的子系统、简化同态的应用等——可以取得一些进展，但一般来说，复杂系统行为中的纯粹信息量有可能压倒并使研究者困惑，即使是配备计算机的研究者。阿什比相信，推广到N维的信息论将成为研究此类系统的有效工具，事实上，自他的工作以来，它已被几位研究者用于该目的。在"自组织系统的原理"中，阿什比指出，系统的组织与其表现出的约束有关。这些约束可以用信息论（或不确定性分析，一个近义词）来测量，因此代表了测量组织的工具。基本思想是，如果变量相关，它们之间存在可以用信息论数量测量的约束；没有"传输"，就没有关系。在这种语境中，信息论仅作为测量多变量相关性的统计工具被引用，尽管不需要度量变量——这是相关系数、方差分析和相关统计设备所要求的。使用信息论的这种方式的收益是，可以研究过于复杂而无法进行详细全面研究的系统中的组织；损失是，关系的所有细节、内容和意义都丢失了，只留下"关系数量"作为调查结果。在最近的工作[102,104,111]中，该理论事实上已被证明是研究多变量系统结构的非常有用的工具，但除非变量数量相当适中（少于约25个），否则它对计算还不实用。在没有诸如可分解性等简化的情况下，阿什比期望信息论允许研究巨大系统——他提到100亿元素——似乎仅因统计原因就永远注定失败，也因计算原因而失败。
在"控制论系统中的目标设定"中，考虑了另一种信息"流"——设计和设定目标中涉及的信息量。就设计可以理解为从集合中进行适当选择而言，选择的量可以被测量，并受信息论定律的约束。这是一个独特的视角；将设计视为创造更为常见，而阿什比， characteristic 地从相反视角看待它，将其视为选择。
在"协调系统内部的信息流"中，阿什比说明了一种基本方法论，其中四变量系统内的约束用各种方式划分，使用熵和传输测量，论文的要点是，对于一定程度的协调，需要一定量的信息"流"。在"日常人类活动中的信息处理"中，他试图估算执行简单家务任务所需的最小信息量。两篇论文都可能使读者对数值结果直接依赖于开头做出的相当任意的数值假设感到不安。这完全正确，但 merely 反映和验证了阿什比在自组织系统论文中的观察，即约束和组织不是系统的绝对属性，而是与系统和观察者之间的关系有关。这些论文假设了这种关系，然后说明了一种方法，而后者代表了这两篇论文的主要着力点。
"测量系统内部的信息交换"提供了信息论中的某些关键恒等式，"两个表..."增加了更多。前者论文对所涉及的数量给出了解释和诠释。当时，阿什比对Q项（称为"交互作用"）非常热衷，因为他相信它们与系统固有复杂性密切相关，而这当然是他一直感兴趣量化、理解和解开的。正如该论文所展示的，这一希望是有充分理由的。然而，随后的工作，主要由Klaus Krippendorff [112]完成，表明Q没有实现这些最初希望，作为我们直观理解的"交互作用"一词的指标，它是严重误导的。问题主要在于Q来自两个相反原因、相反符号的原因，一个代表"真实"交互作用，一个是统计效应；后者污染了Q，使其无法作为前者的指标。Krippendorff设计了一个好得多的指标，读者应该意识到这一最新发展，以避免不加批判地接受阿什比的论文——尽管如此，该论文已被证明非常有影响力。

来源：宋胖说事儿
链接：https://mp.weixin.qq.com/s/pbZfm0yrm5mumd8DiD_jHQ
编辑：王昕越

刘海明

【案例】

智能的机制——阿什比论文集（17）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的《系统中的信息流》这一专题。今天翻译该专题的第一篇文章《控制论系统中的目标设定》的第一部分。

控制论系统中的目标设定

W. ROSS ASHBY（W. 罗斯·阿什比）

博登神经学研究所

英格兰

明确目标问题在控制论中至关重要，因为大多数控制论应用都始于某人说"我想要……"。在此，我并非将控制论视为一种解释事物的方式，而是一门新的科学和技术方法，使我们能够解决那些因其复杂性而原本无法应对的实际问题。协调机场周围的交通、稳定国际银行间的资金流动、使无肾脏患者的血液成分恢复正常——所有这些都必须从"你想要什么？"这一问题开始。过程本身将在目标处终结：控制论学者的思维必须从此处开始。

我想要……"，因此我们都从对意图、目的、需求、欲望的个人意识开始。但当我们问及机器如何能有欲望时，便陷入了困境。如果拥有目标的系统甚至不是一台机器，而是机器与人的混合体，且目标仅涉及整体而非部分，这一困难就变得更加巨大。这样的系统如何能有目的或欲望？

我建议，解决这第一个困难的方法是效仿心理学家一个世纪以来所做的事：抛弃内省方面，转向行为方面。不要再问"这个系统是否感到需求？"，而应问"它如何表现？"

那些主要通过内省来了解这些问题的人可能会犹豫是否放弃他们的主要信息来源。但心理学一个世纪的工作表明，内省方法虽然生动且表面上无可置疑，实际上却极不可靠。例如，看一张无色的（白色）纸：如果说有什么是明显且可信的，那就是其中没有红色。然而物理学家已使我们确信，我们所见的并非纸张本身，而是来自视网膜的信息，告诉我们三原色"平衡"。内省观察者只能看到自己的视网膜，无法超越它。

基于内省的报告实际上只是大脑最终言语化阶段的输出。这种报告只能对过程中更早发生的事情提供编码版本；按字面理解编码显然是一种错误。精神分析研究已在无数案例中表明，当一个人描述自己的动机或目标时，他可能错得多么离谱。简言之，内省方法在科学中迄今为止已被证明要么毫无用处，要么具有积极的误导性。

但如果目标不是需求，那它是什么？自麦独孤以来，心理学家们就已理解，它可以被等同地视为一种行为方式。"以一只胆小的动物为例，"他写道，"比如一只豚鼠，从它的洞穴或巢穴中取出，放在草地上。它不是保持静止，而是跑回它的洞穴；把它推向任何其他方向，一旦你把手移开，它就会转身返回洞穴。"同样的行为特征也适用于导弹：它持续向红外线源移动，如果被偏转就会重新确定方向，如果光源移动就会改变方向。

心理学一个世纪的经验和自动控制系统三十年的经验表明，就实际目的而言，我们可以通过用稳定动态系统中的焦点概念来替代被感知的需求概念，从而获得清晰性。

当系统本质上像"寻找"红外线的导弹一样简单时，这一论点可能不会引起争议。但更复杂的系统呢？例如自然进化，生物体似乎在发展自己的目标？人类呢？他难道不能选择自己的目标吗？控制论学者难道不能制造一台能选择自己目标的机器吗？

制造一个寻找目标的系统"是轻而易举的：随机形成一个状态决定的动态系统（例如，用抛硬币来指定它）。然后你几乎肯定会有一个系统，像豚鼠一样，表现出它在积极寻找某个偏好状态。诚然，该偏好状态对设计者而言可能毫无意义或毫无用处，但我们应该在此注意到，让机器拥有某个目标根本不是问题。

来源：宋胖说事儿
链接：https://mp.weixin.qq.com/s/fMCZ7jz0bsMQ7MJfg4g13Q
编辑：王昕越

刘海明

【案例】

智能的机制——阿什比论文集（18）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的《系统中的信息流》这一专题。今天翻译该专题的第一篇文章《控制论系统中的目标设定》的第二部分。

控制论系统中的目标设定

W. ROSS ASHBY（W. 罗斯·阿什比）

博登神经学研究所

英格兰

实现既定目标

排除了这个伪问题后，我们现在可以考虑真正的、困难的问题。当设计者不仅希望系统具有目标导向性，而且希望它追求某个已经明确指定的目标时，这个问题就会出现。空中交通控制系统被要求将碰撞降至最低而非最高，血液成分的生理稳定器必须将人类认为正常的那些数值作为其目标。在这里，随机组装可能产生的大多数稳定状态都是不可接受的。

当系统规模较小（例如设计一个房间恒温器）时，设计者不需要进一步的一般性理论；他直接进入具体细节。但当系统具有"控制论"规模时，他可能仍不确定下一步该如何进行。我想在本文中提出，如果我们应用信息论中已有的知识，这种情况的本质可以被阐明得更清楚。

当设计者面对一堆他将要用来构建机器的组件时（但当他面对一张将要编写程序的纸张时也是如此），这种情况最为明显。关键在于，通过从包含他想要的和不想要的所有选项中选出他想要的组装或程序，他向最终产品传递了一条信息，所有通信法则都适用。设计一个保持72°F的恒温器，就是向机器传递数值"72"。考虑一个不那么简单的例子：设计者希望为四个系数a、b、c、d分配数值—2、—1、0、+1或+2，用于以下方程：

以使系统稳定。在这种情况下，必须从设计者传递到系统的信息数量是可以计算的。共有5⁴种可能类型，其中114种的潜在根实部均为负值。在最坏情况下（如果所有值等概率），这种选择意味着传递log₂(625/114)比特的信息，即略低于2½比特。因此，在这个例子中，图1所示的通道必须能够传递至少2½比特（每次设计行为）。

这个例子是平凡的：重要的是该原理是否成立。如果是，它将使我们对那些绝非平凡的问题有更深刻的洞察。

然而，在进一步讨论之前，我们必须注意一个可能容易混淆的问题。假设某个复杂的调节器接受m个输入Xᵢ（i=1,…,m），可能是关于机场飞机的数据，并发出命令，即关于n个变量Yⱼ（j=1,…,n）的数值，发送给飞机。然后设计者被要求将其设计成一个"好的"交通管制员。基本情况可以用图2表示。输出如何依赖于输入是一种关系F，即系统的"传递函数"（广义上）。设计者的任务是采取行动，使得从机场可能发生的所有事件（好的和坏的）中选出的期望目标，被传递并有效地作为"好的"F发挥作用。应该注意的是，这个好的F来自所有可能的F的集合（而非来自Y值的集合），因此由选择所暗示的、沿通道C的传递，本质上独立于从X到Y的传递。本文将关注通过诸如C这样的通道所传递的信息量。

如果将设计者的任务表述为向那堆组件传达"成功机场"这个短语的含义，以操作模式使这堆组件在被组装时能够分离出"好的"集合及其补集，这种情况或许可以变得更直观生动。类似地，设计一个模式识别器（例如识别真美元钞票）的问题，一般可以被视为试图在机器的未开发状态下告诉它"真的、美元和钞票"是什么意思。再次强调，这种设计信息的流动与后来当完成的机器扫描实际纸张并发出判决时发生的流动是根本不同的。类似地，在信息检索中（例如从图书馆获取与"大学中的社会反馈"相关的文件），困难本质上可以被视为向机器传达"社会、反馈和大学"是什么意思的问题。总的来说，将设计过程视为告诉机器你想要什么，有助于更清楚地显现设计行为所固有的信息流动。

来源：宋胖说事儿
链接：https://mp.weixin.qq.com/s/I9EfIldvKtJ91kIQLuo2Fg
编辑：王昕越

刘海明

【案例】

智能的机制——阿什比论文集（19）

大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

我们现在翻译的《系统中的信息流》这一专题。今天翻译该专题的第一篇文章《控制论系统中的目标设定》的第三部分。

控制论系统中的目标设定

W. ROSS ASHBY（W. 罗斯·阿什比）

博登神经学研究所

英格兰

如果接受这个论点，我们将不可避免地推导出：在先前阶段（如图3所示）存在着完全相同的情况。

设计者传递给F的特定目标从何而来？设计者本人很少是发起者；更常见的情况是，如空中交通管制系统的例子所示，目标来自我将通称为发起者（sponsor）的一方。我再次强调，如同之前所述，结果必须有原因。在F之间的选择可归因于在先的设计者可能目标之间的选择。而这种选择又必须归因于在先的发起者可能目标之间的选择。此外，根据信息论（尽管很少被明确表述），这是不证自明的：复杂的结果作为"接收到的信息"，需要至少与"发送的信息"同样复杂的因果关系。所谓"同样"指的是比特数，或更简单地说，可能的消息数量。因此，根据这一公理，我们可以断言：从发起者到设计者必须有足够的信息传递，以使发起者（在其可能的目标中）做出的选择能够传达给设计者。

通常这个要求是如此明显，以至于这些论述看起来似乎多余。但实际情况往往并非如此，这一要求常常得不到充分满足。很可能在本次会议上，有些设计者获得的发起者目标信息（通过通道B）远远不够，却被期望在系统F中实现高度恰当的选择。发起者必须学习足够的初级控制论知识，才能明白什么时候他们在要求不可能的事。事实上，发起者必须认识到，他与其他所有想当调节者的人一样，受制于科南特定理（Conant's First Theorem）。只要他心中有某个目标，并试图让可能设计各种东西的设计者接受他的特定目标（以传递到系统F），他就是一个调节者。如果设计者误解了意思，为G'而不是G进行设计，发起者必须纠正他，并持续行动直到设计者将发起者的G作为指导。这是一种调节行为，因此完全受制于科南特定理——该定理断言：相应数量的信息传递（通过B）是绝对不可避免的。凭借这一定理，设计者可以要求发起者充分传递信息。

在这一领域似乎唯一清楚理解并阐述这些要求的是老毛奇（von Moltke），他于1858年创立并组织了德国总参谋部。他赋予其的关键原则是"指令"（directive）。在这种方法中，上级（对应于此处的发起者）不给下级下达命令。命令被规则取代：上级应花费所有必要时间，从自身的角度向下级解释他想要什么；然后让下级自由运用所有个人主动性和本地知识来实现目标。显然，毛奇对这些定量流动有着最清晰的直觉理解。

然而，有时发起者并不需要传递所有信息。必要的是向设计者传递足够的信息（作为决定因素），使他能够充分选择其目标。但这种决定性因素不必全部来自发起者。发起者可以详细规定一部分，然后说"我将剩余部分委托给______"。他可以委托给下级，由后者提供其余部分；也可以委托给设计者本人。设计者本人还可以进一步委托，比如抛硬币决定。但在所有情况下，来到设计者的决定总量必须不少于选择其目标所需的数量。

这种补充可以采取各种形式。一种著名的形式是：基因设定生物体的目标。但在高等生物中，目标过于复杂，无法通过遗传通道传递，因此部分决定性因素被委托给环境。基因结构对小猫说："我已经告诉你一些关于老鼠的事——现在出去从老鼠本身那里获取更详细的细节。"我们称这种补充为"学习"。而学习机器就是仅由其设计者部分规定的机器，设计者将规定的剩余部分委托给某种"教学"环境。

信息量

一旦这些支配目标的一般原理清楚了，其余的就是特殊情况下的特殊技术问题。但我想提一个方面，因为我相信它具有核心重要性。它涉及目标具有极高复杂度的情况，如人工智能、高阶模式识别和高阶调节。

无需停下来仔细考察"复杂性"的概念，我假设复杂目标具有许多部分，且部分之间所需的关系显示出高度的部分对部分的依赖性：也就是说，整个目标是许多变量的不可约函数。我想强调，简单（可约）目标与复杂（不可约）目标之间的信息含量差异是巨大的。基本论证可以用集合论清楚给出。如下：如果n个变量中的每一个都可以取k个不同值，那么它们之间可约（即矩形）关系的数量就是矩形子集的数量。在kⁿ点的空间中，它是2nk 。但一般情况下（不限于可约的）关系的数量是2kn 。因此，指明这些关系之一（作为可接受为达成目标的事件集合）在可约情况下需要kn比特，在不可约情况下需要kⁿ比特。

这个差异对印刷工人来说可能微不足道，但在数值上却是超乎想象的。例如，假设机场交通仅涉及100个变量（可能是低估），且每个变量只需区分5个程度（同样是非常适度的要求）。如果目标是可约的，指明它可能需要多达500比特；如果是不可约的，数量则上升到1070 比特，相当于宇宙中每个原子对应一个比特！这种惊人的飞跃绝非例外；相反，我过去几年所做的一切都表明这完全是典型的。允许相互作用通常会使信息含量增加巨大数量级。

面对这些巨大的数量，我们可以通过记住布雷默曼极限（Bremermann's limit）来获得一个有用的固定参照点，并保持某种比例感。由于物质的量子粗粒度，由物质构成的任何东西，无论是机器还是大脑，处理信息的速度都不能超过约1047 比特/质子/秒。即使动用成吨的计算机和数十年的时间，任何可行的计算能处理的信息也不超过约1020 到1030 比特。因此，就在刚才给出的非常适度的机场例子中，一个一般性的复杂目标已经提出了完全超出可实现范围的要求。我认为，今天我们与复杂系统斗争中的许多困难——特别是那些试图推进到真正宏大而新颖领域的研究——基本上可归因于这样一个事实：我们常常试图处理的信息量，根据布雷默曼极限，实际上是不可管理的。

信息论的思想和方法至少可以在两个方面提供帮助。首先，即使是粗略的近似也足以警告我们正在尝试不可能的事。其次，它可能为问题的各种战略方法提供意想不到的启示。下面是我最近遇到的一个例子。

假设如图2所示，设计者必须在这个具有m个输入X1,…,Xm 的系统中选择正确的函数F。现在这个系统有一个从X到Y的明显传递，但信息论中的传递不仅仅意味着沿导线驱动电子。本质上，信息论是关注偏离统计独立性的科学。如果Y的值不独立于X的值，那么普通的"通过传递"发生，但其他偏离也是可能的。因此X之间可能显示出偏离独立性（比如相关性）；然后可以在X之间定义和测量传递。在参考文献5中，T(X1:…:Xm) 将不为零。这种相关性将对设计者必须处理的信息量产生什么影响？

假设T(X1:…:Xm)=20 比特。表达这一事实的另一种方式如下。

现在，"2的指数次方，熵"实际上相当于独立值的数量，也就是无相关性的值的数量。因此，该表达式表明，传递20比特的信息将输入端的有效状态数削减到2−20 的分数。

接下来，考虑这样一个事实：将p 个输入状态映射到q 个输出状态的数量（即设计者必须从中选择的F 的数量）是qp 。要选择一个F 可能需要多达plog2q 比特。如果q 是固定的，比特数与p 成正比。但p 已经被削减了2−20 ，即削减到了百万分之一。

因此，在X 之间传递20比特信息，并不仅仅是从设计者的工作中减去20比特：而是将他的工作量削减到百万分之一。

考虑到这个例子以及我过去五年的其他经验，我认为可以合理断言：我们在人工智能（以及高度复杂系统的类似研究）中最紧迫的需求，是必须时刻意识到信息含量是依赖于乘数还是依赖于指数。尽管这种区别粗糙且基础，但没有它，研究者可能拼命争取10%的效率提升，却浑然不觉由于错误的基本策略，他正在一个高出百万倍的水平上工作。

参考文献

1. W. McDougall. *Psychology*. New York: Holt, 1912.

2. W. R. Ashby. "The Set Theory of Mechanism and Homeostasis." In *Automaton Theory and Learning Systems*, ed. by D. J. Stewart. London: Academic Press, 1967, pp. 23-51.

3. R. C. Conant. "The Information Transfer Required in Regulatory Processes." *IEEE Transactions* SC-5 (1969): 334-338.

4. H. J. Bremermann. "Quantal Noise and Information." *5th Berkeley Symposium on Mathematical Statistics and Probability* 4 (1967): 15-20.

5. W. R. Ashby. "Two Tables of Identities Governing Information Flows within Large Systems." *Communications of American Society for Cybernetics* 1 (1969): 3-8.

来源：宋胖说事儿
链接：https://mp.weixin.qq.com/s/nBIAXqvaSrT8ArABU3YdiQ
编辑：王昕越

刘海明

智能的机制——阿什比论文集（20）

[color=rgba(0, 0, 0, 0.9)]大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。

[color=rgba(0, 0, 0, 0.9)]我们现在翻译的《系统中的信息流》这一专题。今天翻译该专题的第二篇文章《协调系统中的信息流》第一部分。

协调系统中的信息流*W. 罗斯·阿什比美国伊利诺伊大学，伊利诺伊州厄巴纳摘要每一项协调活动，无论是走钢丝者肢体的运动，还是大城市的交通流，都需要在被协调的各部分之间进行内部信息流传递。一旦协调关系被明确界定，内部信息流的最小数量就可以用数值方法确定。文中给出了一个例子来说明这一原理。这个数量可以按多种方式划分，对应于管理协调的各种组织方式。因此，可以将一个城市或大脑中提出的组织方式与其内部通信资源进行关联，以检验它们是否匹配。具有延迟的效应（"记忆"）可以在不改变基本框架的情况下纳入表述。协调活动对记忆的需求可以通过多种定量不同的形式来满足；因此设计者可以在其中选择最合适的形式。文中给出了一个例子作为说明。我们拥有大脑主要是为了协调我们的身体活动：使我们的左手能够与右手协同动作。协调与整合长期以来在生理学中被认为是大脑的最高功能，但今天的控制论同样关注其他类型系统中的协调。大城市需要协调其交通流；预防烟雾需要协调许多预防和补救行动，以免一种补救措施被另一种抵消；在社会问题中，福利机构的活动也需要协调。本文的目的是表明，所有协调都需要在系统内部传输信息（这一命题可能被认为是显而易见的），但特别要表明这些传输可以用定量方法测量。每一个明确定义的协调都规定了一个基本的总传输量，少于这个数量就绝对不可能实现该协调。本文还将表明，这个总量可以用各种方式进行分析（划分），从而可以看出在组成部分之间需要多少传输。例如，在调节交通流时，它可以显示在点与点之间需要多少传输。在大脑中，它可以显示在细胞与细胞之间，或中枢与中枢之间需要多少传输。协调本质上是一种整体现象，只能在整个系统中被识别。这里提出的信息分析方法也是这种类型。它并不是说在X₁和X₂点之间必须发生这么多传输：它将所有传输视为一个复杂的相互关联的集合，并允许（比如说）X₁和X₂之间的传输取几乎任何值，前提是在其他内部传输中做出适当的调整。这种方法可以用形式化的抽象符号来表述，让读者自己去寻找应用。我宁愿用一个例子来说明，也许是过于简化的，以展示这种方法的运作。读者应该不难将这个例子改编以适应自己的需要。这个例子是人为的；我本想分析真实数据，但似乎还没有人收集到足够广泛的关于协调的数据来进行这种类型的分析。也许当这种方法的存在被更好地了解后，实验者们会提供适当的数据。

来源：宋胖说事儿

原文链接：https://mp.weixin.qq.com/s/X9wDrle8JLYCihN_vhZmmw

编辑：马丽萍