“内在进路”的思路，即加强“面向科技本身的人工智能伦理”[2] 研究与教育思路。通常，传统“伦理”指的是“人与人相处应该遵守的道德准则”。[3] 随着科技的大规模应用，各种机器层出不穷，开始介入“人与人”关系并形成“人与机”关系。“伦理”，原本是体现人与人之间关系的术语，现在已经可以在工程和人工智能领域中刻画“人与机器”之间的关系。因此，“工程伦理”主要指工程活动中“人与机器之间以及他们作为整体与外部环境之间相处应该遵守的道德准则”，“人工智能伦理”主要指“人与智能机器之间以及他们作为整体与外部环境之间相处应该遵守的道德准则”。本文首先分析机器“质变”对“人与机”关系变迁和人工智能伦理的影响，然后探讨人群变迁对人工智能伦理类型的影响，最后形成一种人工智能伦理谱系，展望其对未来工程教育的意义。
二、机器“质变”与人工智能伦理的层级
人工智能伦理的核心是“人与机”关系，本质上是一种由机器应用而引发的伦理问题。我们认为，机器发展分为四个阶段：传统机械、现代机器、弱人工智能机器和强人工智能机器。前两个阶段是非智能机器，后两个阶段是智能机器，从非智能向智能的跨越是质的变迁。
在传统机械时期，伦理主要是人与人之间的伦理，即传统伦理，这是伦理1.0版本(见图1)。18世纪中叶以前，传统机械已经发明，但是，传统机械本身发展缓慢，如传统纺纱机发明之后长期没有实质性改进。尽管传统机械在人类生产生活中也有应用，对个人能力和社会生产能力有一定的增强作用，但增强幅度十分有限。总体上，机械对传统农业社会的作用并不像机器对现代工业社会发展的作用一样突出。因此，传统机械游离于“人与人”关系之外。由于传统机械未与人形成稳定的“人与机”关系(见图1中虚线箭头)，进而产生与机械相关的伦理问题，传统社会中总体上是人与人之间的伦理关系。
图 1 伦理1.0版本中的人与机关系
进入现代机器时期，“人与机”关系建立，伦理进入2.0版本（见图2）。第一次工业革命期间，现代意义上的机器陆续出现，机器“首次崛起”，如约翰·淮亚特发明的纺纱机（1735年）、詹姆斯·哈格里沃斯发明的珍妮纺纱机（1764年）和詹姆斯·瓦特改良的蒸汽机（1768年）。现代机器迅速增强了人类生产能力，逐渐介入传统社会的“人与人”关系。“人与机”关系初步形成，具体表现为“人—人—机”三角关系，“人与机”关系（见图2中人与机之间的空白箭头）整体上属于“人与人”关系的下一级关系（见图2中人与人之间的实体箭头）。这时的人机关系是明显的“主奴关系”，人作为“主人”位居上层，机器作为“奴仆”位居下层。相应的，体现在伦理关系上，以传统伦理为主，工程伦理为辅。
图 2 伦理2.0版本中的人与机关系
机器“首次崛起”就引发了严重的伦理问题，表现为机器换人、机器异化和人机冲突等。当时的工人们一度认为机器是导致他们失业的罪魁祸首，爆发了以捣毁机器为主要目标的“卢德运动”。然而，“机器换人”并不是机器“有意图”地替换人类，而是有人借助机器重构了“人与人”关系，即当时社会的强势群体（企业家和技术精英等）有意通过机器替换另一方弱势群体（产业工人），“人与人”关系从原来封建的、宗法的关系转为资本主义生产关系。由于机器从属于人，“人与机”之间的伦理问题其实是一种表象，其根本仍然是“人与人”之间的伦理问题。因此，“学会把机器与机器的资本主义应用区别开来”[4] 是非常必要的。
弱人工智能机器阶段的伦理是3.0版本（见图3）。当前的第四次工业革命是以弱人工智能为主要驱动力的工业革命，是机器“二次崛起”[5] 时代。与机器首次崛起相比，以深度学习为基础的智能机器有了“质”的不同：机器具备了某些类人的“智能”，有了一定的“自主”选择权和决策权。尽管这是很细微的“自主”权力，但在机器历史上却是“从0到1”的跨越，意味着机器从“非智能”变为“智能”。机器“质变”导致“人与机”关系发生了重大变迁。
图 3 伦理3.0版本中的人与机关系
第一，在“人与机”关系中，智能机器的“自主”性动摇了人的绝对“主导”地位。非智能的机器，无论如何先进，都完全听命于人，人完全掌控主导权。即便现在已经进入人工智能时代，人们对“人与机”关系的理解仍然是“主奴关系”，强调人工智能发展应“以人为本”，人类必须掌控对机器的最终决定权。然而，由于人工智能深度学习的运行机制不透明，人类无法完全理解和掌控智能机器及其行为，即智能机器的“自主”能力成为人类认知的“黑箱”。因而，在人与智能机器关系中，人的绝对“主导”地位出现松动。
第二，在“人与机”关系中，机器地位上升，人的地位相对下降。人们短期内难以承认和接受人与智能机器之间相对地位的调整。事实上，智能机器的自主性已经出现，并有继续增强的趋势，这就使得传统“人与机”关系中人的地位出现相对下降。总体上，“人与机”关系趋于平等，机器不再完全从属于人。但是，某些极端的反转情况已经出现——机器占据主导地位且人“被服从”。例如，2018年和2019年波音飞机737MAX连续两起坠机事故中，自动驾驶系统“抢夺”了人类飞机驾驶员的飞行控制权，最终引发事故。随着人工智能的快速发展和大规模应用，未来类似的人机地位调整甚至反转的问题将越来越多。
第三，“人与机”关系重要性提升，未来将上升到和“人与人”关系同等重要的位置。传统的“人与机”关系处于“人与人”关系的下一级，主要原因是机器完全从属于人。当智能机器出现“自主”能力，机器地位上升使得“人与机”关系的地位随之整体性上升。从社会整体上看，不仅制造业，越来越多的服务业也出现了规模性的机器换人。于是，人与人之间的沟通交流，除了通过传统的“人与人”关系之外，还有另外一条回路——“人—机—人”关系。在智能机器出现之前，机器只是作为人与人交流的一种中介（见图2），根本的还是人与人之间的交流。但是，在特定应用场景的“人与机”关系中，智能机器的“自主”选择和决策能力足够强大，以至于越来越多的问题只需通过人与机交流就可以解决。人与机之间的交流开始大规模替换人与人之间的交流。例如，在客服电话中，客服机器人以拟人化的语音、文字和表情等方式与人进行流畅的交流，人可以不再与客服人员交流就能解决问题。因此，从长远看，“人与机”关系越来越重要，不断逼近与“人与人”关系同等重要的位置，在同层级上形成一种“人—人—机”关系。届时，传统伦理、工程伦理与人工智能伦理将并行。
强人工智能机器阶段的伦理关系是4.0版本（见图4）。强人工智能是人们对未来人工智能的能力总体上接近、达到甚至超过人类能力的一种设想。届时，智能机器的能力不仅在特定应用场景中超过人类，还在通用场景中出现人类特有的创造能力等。“人与机”关系将再次出现结构性变迁。一种可能是“人与机”关系出现颠覆性的“主奴互换”风险——机器“奴役”人类。理论上，人工智能最终可能会出现“奇点”——人工智能产生自我意识。部分公众将奇点理论与科幻作品联系起来，表现出对人工智能的恐惧。但是，对于绝大部分人工智能专家而言，“哲人们担心的事情，一百年都不会发生”。另一种可能是强人工智能机器建立新的“机与机”关系和伦理规范。当强人工智能与物联网、区块链、量子计算、生物科技和5G等技术结合后，智能机器之间的“自主”联系增多并形成一种稳定的网络结构——类似人类社会的机器社会。“人与机”关系进一步从三角关系演变为四角关系，表现为同层级的“人—人—机—机”关系——人与人关系、人与机关系和机与机关系的集成（见图4）。
图 4 伦理4.0版本中的人与机关系
未来“机与机”关系的重要性，可能超过“人与人”“人与机”关系。甚至，“机与机”关系可以把后两者完全包裹进去。如果“人与人”“人与机”关系是人类社会可明显感知的社会关系——明关系，那么，“机与机”关系是人类社会难以直接感知的却是更基础的社会关系——暗关系。在未来的强人工智能社会中，明关系只占少数，暗关系却占绝大多数。在耗费算力资源方面，关于“人与人“”人与机”关系的计算量可能只占小部分的算力，大部分的算力将用于满足“机与机”关系的计算量。“机与机”关系构成的空间将逐步凸显出类似于“自然空间”的性质，将“人与人”和“人与机”关系包裹其中，构造成一种“人工自然世界”。例如，随着网络和虚拟现实技术的发展，越来越多的生活场景，如购物、旅游和面试等，将在虚拟的“人工自然世界”中进行，无论在单个“人与机”关系或整体性的“人与机”关系，以及“人与人”关系，都建立在“机与机”关系基础上。届时，强人工智能伦理不仅包括“人与机”关系的伦理，还将包括“机与机之间相处应该遵守的道德准则”。[6] 在伦理关系上，人工智能伦理为主，传统伦理和工程伦理为辅。
综上所述，伦理3.0和4.0版本广泛涉及人工智能伦理（见表1）。人工智能伦理的根源是机器方面出现了“自主”的选择和决策能力，使得机器在“人与机”关系中的地位上升，“人与智能机器之间相处应该遵守的道德准则”随之变迁导致人工智能伦理问题不断涌现。从当前机器的发展程度来看，人工智能处于“弱人工智能机器”阶段，相应的人工智能伦理主要属于伦理3.0版本。接下来，我们将从“人群变迁”角度进一步细化分析人工智能伦理谱系。
表 1 机器“质变”与伦理谱系
三、人群变迁与人工智能伦理类型
在人工智能发展史上，人工智能诞生（1956年）、深度学习算法的发明（2006年）和阿尔法狗(AlphaGo)事件（2016年）是具有深远影响的重大事件。它们促使人工智能科技发展共同体中的参与人群出现明显的变迁（见表2）。
表 2 人工智能重大事件对参与人群的影响
随着人工智能的发展，科技专家、企业人员、政府人员和公众等先后加入其中形成不同的人工智能发展共同体，“人与机”关系分化出不同的类型。由于各种人群的立场不同，利益和价值诉求不同，“人与智能机器之间相处应该遵守的道德准则”也各有不同，催生了不同类型的人工智能伦理问题。例如，数据跨境传输会引发多种伦理问题。数据被看作是数字经济的“石油”，是全球化数字经济发展的基石。但是，科技专家会担心传输过程中的数据篡改问题，企业人员担心数据泄密问题，政府人员担心数据安全问题，公众担心个人隐私问题等等。
从人工智能诞生到深度学习算法发明之前，人工智能发展共同体中的“人群”主要是科技专家。这阶段，人工智能的研究场所主要集中于高校、科研机构等实验室中，被称为“学院科学”[7] (AcademicScience)。学院科学的主要特征是科学研究由“好奇心驱动”且“与实用无关”。因此，这阶段人工智能发展的主要目标是解释世界而非改造世界，尤其是探索如何用机器模拟人类智能的理论和方法。人工智能科技专家坚持传统的科学精神和科研伦理：普遍主义、共有主义、无私利性和有条理的怀疑主义。[8] 这虽然人工智能有过两次发展高潮，但由于科技不够先进以至于难以满足社会发展的需求而陷入低潮。因此，人工智能及其科研伦理的影响范围局限于内部科技专家小圈子，对社会和公众的影响非常有限。
深度学习算法发明之后，企业人员加入人工智能科技发展共同体，并逐渐占据主导地位，人工智能成为了一种“产业科学”[7] (IndustrialScience)。阿尔法狗事件之后，政府人员和公众加入共同体。当政府人员占据主导地位时，人工智能成为了一种“大科学”[9] (BigScience)。当公众参与人工智能发展，进而影响科技专家、企业人员和政府人员的选择和决策时，人工智能成为了一种“公共治理科学”(Public Governance Science)。
相对于传统的“学院科学”，上述三种科学的共同特征是人工智能的发展受到科技专家之外的新人群影响，我们称之为“后学院科学”[7] (Post-academicScience)。此时，人工智能的主要目标不是解释世界而是改变世界，尤其是满足经济和社会中的实用需求，同时获得自身发展必须的资源。因此，作为后学院科学，人工智能伦理超越传统学院科学的科研伦理，与传统伦理交错共同形成一种新的人类发展伦理。
产业科学阶段的人工智能是典型的“科技+资本”发展模式，人工智能发展的主要目标也发生了变迁，即为了获得经济效益而进行科学研究和技术开发。以“深度学习算法”为代表的技术突破，使得人工智能达到了商业应用门槛，企业人员，如企业家、投资者和金融专家，高度关注人工智能的进展及其可能的商业价值。于是，企业界及产业界、金融界从业人员和科技专家结盟，形成“产学研”共同体。
“产学研”共同体是人工智能发展的“乐观派”。一方面，企业替换大学科研机构成为人工智能科技发展的主力军。企业人员投入了巨大的人力、物力和资本，参与甚至主导人工智能发展，期盼人工智能引领经济发展并带来更多的经济效益。因此，资本在人工智能发展中占据主导地位，推动人工智能科技满足社会需求以形成生产力，即科学力量、社会力量和机器力量产生的生产力都表现为资本的属性。[10] 另一方面，企业界主动提出人工智能伦理准则。随着人工智能在数字经济领域的广泛应用，诸如大数据杀熟、数据过分收集、数字平台垄断和资本无序扩张等人工智能伦理问题已经引起社会广泛关注。上述人工智能伦理问题主要受企业和产业追求经济利益影响而产生，属于“商业伦理”(Business Ethics)范围。“科技向善”是人工智能“产学研”共同体的主要口号。例如，国外有谷歌(Google)公司倡导“不作恶”，国内有腾讯公司倡导“用户为本，科技向善”，还有人工智能专家提出“向善”与“求真”作为人工智能伦理最基本的标准。[11]
大科学阶段的人工智能是政府主导的发展模式。“大科学”起源于二战时期美国的“曼哈顿计划”，成熟于战后国家高科技创新体系，主要特征是“官产学研”结合，即国家力量主动出场推动科技发展，其首要目的是满足国家发展的战略需要。阿尔法狗事件展示了智能机器超越人类的学习能力以及自主选择和决策能力，引起了各国政府和社会公众的广泛关注。国家力量开始介入人工智能发展，各国政府相继出台人工智能发展战略，力求在世界新一轮科技革命和产业变革中抢占有利位置。站在各国政府的角度，人工智能伦理是一种“国家发展伦理”，更多关注人工智能安全、可靠、可控以及是否满足国家发展的战略需求。
公共治理科学阶段，公众成为影响人工智能发展的重要力量，主要特征是“官产学众研”[12] 结合。阿尔法狗事件不仅让国家、产业和高校科研机构看到了人工智能巨大的潜力，同时让公众震惊以至于产生危机感。公众开始意识到人工智能革命性的学习能力和进化能力可能带来大规模的失业、隐私泄露和公平等伦理问题。传统上，公众是科技发展的被动接受者。但在人工智能时代，公众的主动发声与强烈反响影响着各国政府、企业和高校科研机构对人工智能的理解和态度，推动了人工智能道德准则的制定。例如，“人脸识别第一案”[13] 这就是公众对人工智能科技说“不”的典型事件，由此推动科技研发、企业和政府对个人隐私保护重视。因此，人工智能伦理也是一种“公共治理伦理”，人工智能发展除了考虑政府、产业和科研机构的利益，还应考虑公众的利益以及接受程度。
综上所述，人工智能科技进步吸引了新的人群加入人工智能发展，不同人群的利益和价值诉求的碰撞催生了不同的人工智能伦理类型（见表3）。
表 3 参与人群与人工智能伦理类型
四、人工智能伦理谱系对未来工程教育的意义
人工智能伦理的核心在于“人与机”关系，我们以此为根目录建立了一个人工智能伦理谱系（见图5）。机器“质变”是划分人工智能伦理谱系层级的根本因素。传统机械对应伦理1.0版本，如传统伦理。现代机器对应伦理2.0版本，如工程伦理。弱人工智能机器对应伦理3.0版本，强人工智能机器对应伦理4.0版本，两者都是人工智能伦理。当前，人工智能处于弱人工智能机器阶段，对应的伦理属于伦理3.0版本；同时，在伦理3.0版本中，由于不同人群加入人工智能发展，带来了不同的利益诉求和价值诉求，因而产生了不同类型的人工智能伦理问题。
图 5 人工智能伦理谱系
上述人工智能伦理谱系阐明了人工智能伦理与工程伦理、传统伦理之间的联系和区别，对未来人工智能时代的工程教育和工程人才的培养有重要意义。
首先，这有助于发展一种“面向科技本身的人工智能伦理教育体系”，与工程伦理教育体系相辅相成。人工智能伦理谱系强调产生人工智能伦理最根本的原因是人工智能发展出“自主”的选择和决策能力。因此，人工智能伦理问题包括两大部分：一部分是人工智能不合理应用引发的伦理问题；另一部分是由于人工智能科技本身引发的伦理问题。前者可以归入工程伦理范围，并借助于现有工程伦理教育体系培养和训练学生的伦理素养。后者则是人工智能专有的伦理问题，是由于人工智能的“自主”能力而引发的伦理问题。随着人工智能的发展和应用，后者将成为人工智能伦理的主体。甚至，在人工智能时代，工程教育中的伦理教育就是特指人工智能的“自主”能力而引发的伦理问题。因此，未来工程教育需要发展一种“面向科技本身的人工智能伦理教育体系”，以更有针对性地培养人工智能时代工程人才的伦理素养和解决伦理问题的技能。
其次，这有助于探索一种“专业课+必修课”的人工智能伦理课程体系，与工程伦理“通识课+选修课”课程体系相辅相成。人工智能伦理谱系阐明了人工智能伦理与工程伦理、传统伦理之间的并行关系，因而人工智能伦理教育不能用工程伦理教育模式或传统伦理教育模式替代。通过比较爱丁堡大学、卡耐基梅隆大学人工智能专业和斯坦福大学计算机科学专业的课程设置，浙江大学在人工智能专业论证方案中明确“在人工智能专业教育中要开设人工智能伦理等方面的课程”[6] ，而不仅仅是在通识教育中开设伦理相关课程。因此，浙江大学在人工智能核心课程群中设立人工智能导论、人工智能伦理与安全课程。这样的课程设置不同于国内外通行的“通识课+选修课”伦理课程体系，而是将人工智能伦理作为人工智能专业教育必须的内容，以“专业课+必修课”伦理课程体系的方式培养学生的伦理意识和伦理素养，同时训练学生解决伦理问题的技能。
再次，这有助于推动人工智能科技专家参与或主导编撰人工智能伦理教材，与伦理专家主导的工程伦理教材相辅相成。人工智能伦理谱系展示了人工智能科技本身及智能机器对伦理版本划分的决定性作用。因此，人工智能科技专家参与甚至主导人工智能伦理研究和教育，能够最大程度消除人工智能伦理研究和教育过程中的“知识鸿沟”。目前已经有少数人工智能科技专家参与或主编人工智能伦理教材，如《人工智能伦理导引》。[14] 但是，未来工程教育需要更多人工智能科技专家参与或主导的伦理教材。国家新一代人工智能战略咨询委员会和高等教育出版社联合组织了“新一代人工智能系列教材”。其中，规划了两本人工智能伦理教材：《人工智能伦理与安全》和《人工智能伦理》。前者由人工智能科技专家与科学技术哲学专家联合撰写，后者由人工智能科技专家独立撰写。这两本教材主要面向人工智能专业伦理教育，授课对象主要是人工智能专业学生、“人工智能+X”专业学生和相关从业人员。
最后，这有助于培育一种新型人工智能伦理教育观。未来工程教育是人工智能时代的工程教育，人工智能是工程教育的“地基”。人工智能伦理谱系有助于推动人工智能伦理教育体系、课程体系和教材体系的发展，有助于培育一种人工智能伦理教育观，不仅覆盖人工智能专业本身，还可以覆盖“人工智能+X”工程类专业，以及人文社会科学类专业。
来源：高等工程教育研究
编辑：何晓琴
楼主: 刘海明
楼主
