【案例】
智能的机制——阿什比论文集（29）
大家好，接着由我来为大家翻译控制论先驱阿什比的论文集《智能的机制》。全书共有8个专题40多篇论文，基本把阿什比（除了名著《大脑设计》《控制论导论》之外）主要代表作都囊括了。除了个别零散论文（比如《智力放大器设计》）外，大多没有被翻译为中文。我想尝试翻译出来，与群友共享。也许在今天AI浪潮几乎让人疯狂的背景下，聆听一下这位控制论先驱对智能的思考对我们有帮助，能让我们冷静下来，对AI如实观照。 我们现在翻译的《信息的极限》这一专题。今天翻译该专题的综述和第一篇文章《信息处理系统面临布雷默曼极限的一些后果》。 专题三：信息极限（Informational Limits）1.专题综述 在许多阿什比（Ashby）的论文中简要提及了一种信息极限，而在《布雷默曼极限的某些后果》一文中阐述得最为明确。这是由物理定律对实际可计算性施加的极限，其后果是：需要超过约 1070 比特的问题解答程序实际上是不可回答的。阿什比通过类似的推理表明，具有超过一定程度组合特性的适应系统，可以远远超出这一极限。更重要的是，他说这一极限具有哲学意涵——其中之一是："我们已实现的科学将永远只是关于世界较简单相互作用的科学。如果存在复杂的自然法则，我们永远无法认识它们。" 特别是在后期的论文中，阿什比反复强调了这一主题。然而，对于布雷默曼极限（Bremermann's Limit）存在一种常见的、 unnecessarily pessimistic（过于悲观）的解读，即："如果一个问题涉及从 21070 个或更多元素的集合中选出一个元素，那么回答它需要1070 比特的信息，因此布雷默曼极限告诉我们这个问题是不可回答的。"这种解释是错误的[105]。如果使用的方法是 1070 次二分法（每次1比特），那确实不可能，但可能存在其他方法来进行选择。 第二种信息极限是施加于决策者身上的限制，其可用信息量有限。阿什比在《机遇眷顾有准备的头脑》（致《科学》杂志编辑的一封信）中通常提到这一点，在《计算机与决策制定》中则有更详尽的阐述。他有力地指出，选择过程受到可用信息的限制。这是他著名的必要多样性定律（Law of Requisite Variety）的一种表述，但之所以特别放在本节而非下一节，是因为它们被清楚地展示为施加于信息信道或信息极限上的限制。阿什比说，基本规则是：利用你所知道的一切尽可能缩小范围；然后随心所欲。当信息极限已经达到时，机遇（chance）与其他任何决策方法一样理性。 注释： 布雷默曼极限（Bremermann's Limit）：由Hans Bremermann提出，指物理定律对计算速度的理论上限（约 1070 bits/gram/sec 量级），超过此极限的计算在物理上不可实现。 必要多样性定律：只有多样性才能吸收/控制多样性（Only variety can absorb variety），即控制系统必须具有至少与被控系统同等程度的多样性才能有效控制。 1070 bits：约等于整个宇宙质量在宇宙年龄内所能处理的信息量上限。 信息处理系统面临布雷默曼极限的一些后果 W·罗斯·阿什比
伊利诺伊大学，厄巴纳，伊利诺伊州 在先进计算的道路上存在着诸多限制。其中一些限制，如预算限制，可以随时消除；另一些限制，如科学家相互交流所用语言结构造成的限制，也许可以通过足够的努力来消除。然而，本文希望探讨的是布雷默曼（Bremermann, 1962, 1965）所确立的特定极限的后果： "任何封闭信息传输或处理系统的容量不超过 mc2/h 比特每秒。" （其中m 为系统质量，c 为光速，h 为普朗克常数）。若令m 等于1，并代入 c 和h 的已知数值，该极限在数值上约为每秒每克1048 比特。 几个世纪的时间和成吨的计算机仅能将这一数值提高到约1070 比特。超过这一数量，任何我们所知的物质构成的东西都无法达到。 这一极限允许高达约1070 比特的事实，乍看之下似乎实际上没有任何限制。然而，事实上，我们希望用于先进（类脑）计算的过程很快就会遇到这一极限。为证实这一点，我举两个典型例子： 例1： 一个由20×20共400盏灯组成的屏幕，每盏灯只有亮或不亮两种状态，呈现出各种图像。我们希望将这些图像分成具有某种属性的和不具有该属性的两组。假设我们问："什么是最佳分组？"这个看似朴素的问题要求从一组可能中选择一个。如果有400盏灯，可能的图像就有 2400 ，即10120 种，而可能的分组方式则有2的 10120 次方种。因此，从这个集合中选出特定分组（除非有其他限制介入）至少需要10120 比特。这个表面上简单的问题提出了一个远超该极限的需求。 例2： 一个人工视网膜有一百万个敏感单元，每个单元只有兴奋或不兴奋两种状态。它通过一个网络产生输出，输出只有1比特：移动或不移动。假设我们问："输入和输出之间的关系是什么？"这个问题本质上要求的是从输入状态集合（共 21,000,000 种）到输出状态集合（共2种）的映射。映射的数量等于输出数量的输入数量次方。因此，从 21,000,000 种映射中选出特定映射（除非有其他限制介入）至少需要10300,000 比特。又一次，一个表面上简单的问题要求的信息处理量远超该极限。 这些例子足以说明，我们多么容易就能提出远超布雷默曼极限的问题或计算过程。它并非遥不可及的、几乎只是想象力的好奇之物，而是一旦我们尝试更先进的信息处理形式，它立即就会挡在我们面前。 极限在仿生学中的后果 这一极限的后果是多方面的。在此我只提及几个在我看来在仿生学背景下尤为突出的后果。 由于"调节与控制"具有最高的实践重要性，让我们首先在此应用这一极限。一个简单的例子有助于阐明基本概念。假设一支舰队正要离港执行现役任务，却发现其通讯系统失效；结果，现在只能通过旗语进行船对船协调，且只有一些配备手操作闪光灯的人工信号员可用。我们这里有一个动态系统，其目标由当前海军战略明确定义，且受制于内部可发生通信量的限制，这一限制由信号员的容量决定。现在很清楚，海军上将可以用各种方式部署舰船，可能没有任何对整个舰队的单一机动是不可宣布的，然而常识告诉我们，敌方海军上将在一段时间后会注意到这一点。 "在机动中实现协调"意味着所有可能的运动组合（包括导致碰撞的组合）的总集合必须被限制为组合的一个特殊子集（经海军战略批准的组合）。实现这一限制需要相应的传输量（根据香农第十定理或必要多样性定律）。因此，为更明确起见，假设有100艘舰船，机动的唯一要求是所有舰船必须向同一方向转向，且信号员作为信道的总容量每次通信提供200比特（99条指令，3小于200）。在没有信号员分布或编码安排的情况下，无法通过增加"半右舵"和"半左舵"来细化方向选择（99条指令，5大于可用的200比特）。因此，可传输信息总量的极限存在，对可实现的调节或控制量设置了绝对限制。 这个例子的算术表明，布雷默曼极限在直接调节的情况下是一个直接的威胁。一百万艘舰船，每艘都必须精确移动到百万分之一，每次航向设置需要106log2106 比特，即约2×107 比特——远未达到极限。但这种小量并不意味着当我们转向仿生科学时可以忘记这一极限。在这里，调节和控制通常针对某种复杂模式的事件，各部分之间存在强烈的内部作用（或所有陈述高度条件化）。在这种情况下，当组件数量增加时，信息量往往以爆炸性的指数速率而非温和的多项式速率增长。 复杂目标效应的一个著名例子是机械象棋程序。目标（"将死"）看起来简单，但要明确界定其在每一步棋中的含义，目前唯一可靠的方法是写下所有可能的走法，并将每一步标记为"好"或"坏"。如果走法数量至少有 10120 种，布雷默曼极限就是一道不可逾越的屏障。由于象棋游戏比生活之战简单，我们可以预期这一极限远非仅仅是数值上的好奇，而是将在真实而实际的情境中频繁地自我显现。 舰队所用的温和信息量与象棋所要求的过度信息量之间的突然跃升，当然是由于象棋的组合特性：一个棋子的位置是好是坏，取决于其他棋子的位置。这种条件性使多样性以组合方式（通常是指数级）增长，而较简单的形式仅以加法或简单乘法速率增长。由于在仿生学和先进计算中，我们特别关注这些组合过程，因此在我们的科学中，我们很可能在工作的早期就遇到这一极限。那些特别可能意味着各部分之间存在高度相互作用的主题，尤其涉及以下概念： 所有这些都与"先进信息处理"和"机械大脑"高度相关。因此，在我们的研究中，尤其是在仿生学和人工智能领域，我们很可能在很早期就遇到这一极限。但这一主题在哲学上具有更为广泛的意涵，我想在此略作探讨。 最明显的事实是：我们自身以及我们的大脑都是由物质构成的，因此绝对服从于这一极限。不仅作为个体的我们如此，整个世界科学的合作组织也是由物质构成的，因此也受制于这一极限。因此，无论是个人能够使用的总信息量，还是世界科学能够使用的信息量，在任何常规尺度上都被限制在约1040 比特左右。无论我们未来的科学将发展到何种程度，所有的一切都将低于这一上限。 我们无法因为自己在生物界中的卓越地位而声称享有任何特殊优势。我们之所以成为现在的样子，是自然选择过程塑造和选择的结果。作为一种选择，这一过程可以用信息量来衡量：因此它也受制于其极限。在任何行星条件下的任何选择类型中，由物质构成的行星表面无法以超过某一有限速率的速度产生适应性。无论我们自认为多么优秀，1070 比特衡量的是我们大脑无法超越的界限。未来的科学将由大脑构建，而这些大脑在其运作中使用的比特数不可能超过1040 。因此，它们自身的进步也只能在远低于1070 的范围内进行。这就是我们的信息宇宙：超出此范围者，不可知。 我们多少能看出些什么将是不可知的。有时自然法则具有简单的信息结构。例如，引力定律被发现只关联两个粒子之间的吸引力，比如i 和 j ；这种关系不以其他粒子 k,l,m 等的位置为条件。这种无条件性意味着，随着更多粒子的加入，复杂度的增长是适度累加的（势能以简单的加法方式组合）。将这种情况与（比如）社会系统相对比，在社会系统中，两个变量 i 和 j 之间的关系可能依赖于其他变量。如果引力中 i 和 j 之间的吸引力定律会因 k 的取值而改变，这就会成立。在这种情况下，复杂度以某种近似指数的方式增长。因此，这一极限的存在告诉我们：我们已实现的科学将永远是关于世界较简单相互作用的科学。如果存在复杂的自然法则，我们永远无法认识它们。 因此，这一极限在复杂科学中可能特别具有阻碍性。其中之一就是社会学，刚才已作为例子提及。另一个就是我们自己的仿生学科学，尤其是当我们着手解决人工智能问题时。我们该怎么办？ 对这一极限的一种反应就是简单地忽视它，只在必须注意到它时才注意到它。但科学史反复表明，当一种棘手的限制出现时，科学往往会变得停滞，直到它将这一限制纳入其工作概念结构的一部分为止。我必须以显微镜为例：起初，人们将光和波长所施加的限制视为纯粹的麻烦。眼见为实，直到阿贝（Abbe）和亥姆霍兹（Helmholtz）发展出新的显微技术，在其中衍射和干涉的波动特征成为理论的内在工作部分。微观物理学也陷入了日益增长的困境，直到它重塑其基本理念，构建了一个将基本限制（由于量子限制和不确定性）内置其中的新理论。因此，有充分的理由建议，面对这一极限，我们最好的方式是研究它，并使其成为我们工作理念的一个组成部分。 如何实现这种整合？我在这里只能提供一个粗略的建议，希望它将来能被证明是有用的。这项工作的大部分在于未来的研究。 首先，我们知道数学家和工程师从"线性"过程（矩阵代数、拉普拉斯变换等）的发展中获得了巨大优势。有了这些过程，他们可以在线性世界中进行广泛的工作，而无需担心在每一次操作中都陷入复杂得多的非线性世界。 这个例子表明，可以发展出一套广泛的操作集，使得在集合内可以完成大量有价值的工作，而操作本身自动防止工作者误入"禁区"。布雷默曼极限正是规定了这样一个禁区。 明斯基（Minsky, 1963）总结了"人工智能"问题的本质，对此我完全同意："真正的问题在于找到能够显著延缓明显不可避免的搜索树指数增长的方法。"只要所研究的指数系统是真正组合性的，指数增长就是不可避免的，而布雷默曼极限就以最大强度起作用。我们仿生学中的问题很大程度上实际上受制于强内部约束（其中大多数最终源于原子层面表现出的强烈冗余和重复性）。最普遍、最广泛的约束之一是系统在某种程度上是可约化的，即可以分块研究。当情况如此时，一个看似需要过量信息处理的系统，实际上可能允许用较少的信息完成其研究。（根本原因在于，如果一个量按 an 指数增长，可以分 k 个阶段处理，分支数就会按 ak 的量级下降。当n 很大时，k 对指数的分割作用远比其作为乘数的作用强大。）"分而治之"的方法如此普遍且强大，因此很值得尝试发展所有那些不会破坏可约性的操作。当我们知道这套操作时，其中的操作将形成一种微积分，类似于线性系统的微积分——使我们在集合内可以随心所欲，而无需担心将问题转化为在极限下无法求解的问题。朝这个方向的开创性工作是通过"柱度"（cylindrance）的公式化（Ashby, 1966）实现的，它衡量任意 n 个变量之间的关系可以在多大程度上被视作由子关系构成，每个子关系只涉及变量的某个子集。它自然地处理了关系由 k 个完全独立的子关系组成的相当明显的情况，但也处理了更有趣的情况：整个关系在实际上仍然连接的同时，具有某种 k 重划分的简单性。（一个基本例子是一个国家的电话通信：尽管所有用户在潜在上都可以相互连接，但实际上几乎所有的通信都是成对进行的。） 约1070 比特的极限意味着我们永远无法研究超过约270个变量之间的完全一般性关系；270个二元变量就提供了这个数量。由于柱度（一种内在复杂度的度量）不可能超过变量数，这一极限意味着我们永远无法研究其内在复杂度（如果用柱度衡量）超过270的完全一般性关系。 因此，如果我们打算研究一个系统（比如一个活脑），其中的关系不具有超过270的柱度，我们就有一个潜在可研究的系统。但如果我们不明智地提出问题或执行操作，将柱度提高到这个数字以上，每一种研究方法都会使它变得不可研究。现在已经知道，柱度在交集操作下是安全的（当关系被视为积空间的子集时），但在并集操作下很容易升高。 这项工作仍在进行中，但它已经表明可能存在特别适合研究复杂系统的方法，其使用看似将我们引向一种令人尴尬的处境：我们发现，正是我们自己的方法将一个潜在可研究的系统变成了一个在极限下现在本质上不可研究的系统。 结论 物质构成的东西每秒每克传输或处理信息的速度不能超过1048 比特，这一点看似实际意义不大。事实上，许多为具有人工智能的机器提出的过程所需的信息传输远远超出这一极限。文中给出的例子表明，大规模的组合丰富性过程极容易触及这一极限。 不仅我们的机器受到如此限制，科学家的大脑（由物质构成）也受到同样限制。因此，我们的个人知识、哲学和科学也在同等程度上受到限制。 文中讨论了其在科学中的一些后果。如果我们的科学要具有现实性，我们的理论必须被构建成使这一极限成为其组成部分。文中就如何实现这种整合提出了一种建议。 参考文献 【1】ASHBY W R. Constraint analysis of many-dimensional relations[M]//WIENER N, SCHADE J P. Progress in biocybernetics. Amsterdam: Elsevier Publishing Co., 1965: 10-18. 【2】BREMERMANN HJ. Optimization through evolution and recombination[C] //YOVITS M C, et al. Self-organizing systems 1962. Washington, D.C.: Spartan Books, 1962: 93-106. 【3】BREMERMANN H J. Quantum noise and information[C]//Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability. Berkeley: University of California Press, 1965. 【4】MINSKY M L. Steps towards artificial intelligence[C]//FEIGENBAUM E A, FELDMAN J. Computers and thought. New York: McGraw-Hill Book Co., 1963: 406-450.
来源：宋胖说事儿 编辑：赵牧云
| 
楼主: 刘海明
楼主
2
ᵢ）将是概率⅙、⅙、⅙、⅙、⅙、⅙的熵，因此为2.5比特。H(X)具有相同的数值。H(X:Y)在两组频率下为3.0比特。配对限制所隐含的传输量则为2.5+2.5−3.0，即每和弦2.0比特。同样，两个变量之间的任何其他限制或条件都意味着这些变量之间存在最小量的传输。应当注意，问"一个人最少能传输多少？"与问"实现给定协调所需的最小传输量是多少"绝不是一回事。后者可以类比于一个人（发送者）必须发送的最小词汇量才能转动钥匙、开门等。后一数量在任何能量问题中都是基本的：我们的数量在任何协调问题中具有类似的地位。