“世界最美机器人-佳佳之父”陈小平：人工智能伦理体系之基础架构与关键问题

世界最美机器人-佳佳之父 陈小平

（图片来源：陈小平）

随着人工智能第三次浪潮带来的重要进展，人工智能伦理挑战已成为当前国内外普遍关注的一个焦点，一些组织和机构开展了相关议题的研讨，发布了一批人工智能伦理准则的建议。中国人工智能学会对人工智能伦理问题高度重视，于2018年年中开始组建人工智能伦理专委会。在2019全球人工智能技术大会上，5月26日举行了“全球视野下的人工智能伦理”论坛，在国际上首次提出了人工智能伦理体系规划问题，这意味着人工智能伦理建设开始进入第三阶段，而人工智能伦理体系的关键问题研究提上了议事日程。正如中国人工智能学会理事长李德毅院士在论坛致辞中指出的那样，本次论坛具有里程碑意义。

1 人工智能伦理建设：

从伦理准则到伦理体系

人工智能伦理建设已经历了两个阶段。第一阶段是人工智能伦理必要性的讨论，从专业角度说，耶鲁大学Wendell Wallach等美国学者起了带头作用，在国际上引起了普遍重视；从更广泛的背景看，尤瓦尔·赫拉利的《人类简史》发挥了重要的推动作用。第二阶段是人工智能伦理准则的讨论，欧盟走在前面，中国和其他一些国家也积极参与其中。

在第二阶段，欧盟人工智能伦理高级专家组提出了人工智能伦理的7条准则[1]，包括：确保人的能动性和监督性、保证技术稳健性和安全性、加强隐私和数据管理、保证透明度、维持人工智能系统使用的多样性、非歧视性和公平性、增强社会福祉、加强问责制。我国清华大学人工智能与安全项目组提出了6条准则[2]：福祉原则、安全原则、共享原则、和平原则、法治原则、合作原则。据不完全统计[3-15]，迄今已有40多个机构或组织提出了各自的人工智能伦理准则建议。总体上看，所有这些准则建议是基本一致的。

因此本文认为，人工智能伦理准则讨论阶段已达成共识而基本结束了。在这些共识的基础上，人工智能伦理建设需要进入第三阶段，即人工智能伦理体系的讨论。

那么，“人工智能伦理体系”与“人工智能伦理准则”有什么不同？展开人工智能伦理体系的讨论有什么必要性和紧迫性？我认为，以下4个关键问题，是伦理准则无法回答，人工智能伦理体系建设无法回避的。不解决这些问题，就不可能建立完整、有效的人工智能伦理体系。

第一，人工智能伦理体系的运作机制问题。任何伦理准则都不可能自我执行，都必须借助于伦理体系中的一系列相互配合的运作机制才能得到落实。这就如同法律条文制定得再好，也不可能自我执行，必须在完整的法制体系中才可以得到落实，而法制体系是由立法、司法、执法等机制组成的。没有完整的法制体系的支撑，必然出现有法不依的问题。当然，伦理体系与法制体系是十分不同的，不可能完全照抄法制体系的“模板”，所以必须开展人工智能伦理体系的讨论，尤其是运作机制的讨论。

第二，人工智能伦理准则的场景落地问题。已经提出的人工智能伦理准则，大部分属于反映普世价值的原则。当把这些准则应用于具体的实际场景，就需要细化为可操作的具体规定，否则必然停留在口号的层面上无法落地。例如，无人驾驶可以有两种本质不同的应用场景。一种是完全无人驾驶交通系统，这种交通系统中只有无人驾驶汽车，没有有人驾驶汽车，行人必须严格遵守与普通道路交通完全不同的规则。另一种应用场景是混合交通系统，其中无人驾驶汽车和有人驾驶汽车同时存在，行人遵守普通道路交通规则。这两种交通系统虽然都是无人驾驶的应用场景，它们所面临的技术和伦理风险却是非常不同的。在混合交通系统中，人工智能技术面临着难度和复杂度更大的挑战，而其中大部分最难的挑战在无人驾驶交通系统中是不存在的。因此，在人工智能伦理体系中，需要为两种交通系统制定非常不同的监管规定，即使这两种交通系统符合相同的人工智能伦理准则。

第三，人工智能伦理风险的预测判别问题。世界上所有民航局都规定了禁带物品清单，同时强制实行登机安检，以检测乘客和乘务人员是否携带了禁带物品。在人工智能伦理体系中，也需要有对应于“禁带物品清单”的某种“违禁物清单”，以便有针对性地进行风险监督和管控。显然，人工智能伦理准则只是一些原则，并不包含人工智能的“违禁物清单”，比如“安全原则”不可能具体指出哪些人工智能技术是不安全的，“公平性原则”不可能具体指出哪些人工智能技术是不公平的。同时，人工智能处于不断发展之中，不可能一劳永逸地列出完整的“违禁物清单”。所以，只能在人工智能伦理体系中建立某种常态化机制，该机制能够预测、判别任何一项人工智能技术有什么风险、风险多大、是否应该禁用等等。这种机制过去并不存在，这是人类面临的一个全新课题。

第四，重大社会问题综合创新的动力机制问题。伦理学的基本落脚点围绕着“正确的和错误的行为”[16-17]；也就是说，伦理并非只关心“不做错事”，也关心“要做好事”。可是在迄今人工智能伦理的讨论中，防范风险的一面得到了普遍重视和广泛讨论，而推动社会进步和经济发展的一面却没有受到足够重视，这已成为人工智能伦理体系建设的最大短板。有一种观点认为，推动经济发展、社会进步的问题，应该并且已经由人工智能研究和产业化承担了，无需人工智能伦理的介入。这种观点是不符合当今社会现实和未来发展态势的。例如，根据民政部等部门的统计，中国有2.5亿个家庭需要家政服务，而现有家政服务人员不到1700万。根据中国老龄办2016年调查，中国失能和半失能老人总数已达4000万，而且每年增加800万。类似问题在发达国家也不同程度地存在着。目前，这些问题难以找到有效的解决办法，因为现存科技和产业创新（innovation）的主要动力机制是商业化，而商业化机制应对老龄化等社会问题的效力是严重不足的，未来这种情况将越来越严重。因此，有必要在商业化机制之外，增加一种新型的综合创新机制，即借助于人工智能技术的伦理性创新。

2 人工智能伦理体系的基础架构

人工智能伦理体系的一种基础架构如图1所示。这个架构并不包含人工智能伦理体系的全部内容，而是重点回答上面指出的4个关键问题。

图1 人工智能伦理机制构架

（图片来源：陈小平）

按照流行观点，人工智能创新生态包含3个主要环节，即“社会需求”“研究”与“应用”，它们形成一个循环演进的闭环，即需求推动研究，成熟的研究成果经过商业化途径实现实际应用，而实际应用又可引发新的需求。这个闭环正是人工智能伦理体系的作用对象，而人工智能伦理体系建立之后，整个人工智能生态的构成和运作机制也将大大改变和升级。

人工智能伦理通过3个层次发挥作用：上层为人工智能伦理的基本使命；中层为人工智能伦理准则；下层为针对具体应用场景的可操作的监督治理规定。

在图1所示的人工智能伦理体系基础架构中，我们将人工智能伦理的基本使命定义为“为增进人类福祉和万物和谐共存提供伦理支撑”。这个使命本身也是一条伦理准则，但相对于其他准则，它的价值具有更大的普遍性和稳定性，它的内涵概括了其他伦理准则的内涵，而其他伦理准则未必能概括基本使命的内涵。因此，基本使命可用于指导人工智能研究与应用，以及中层伦理准则的制定、改进和完善，而其他伦理准则未必可以或未必需要用来指导伦理性研究。另外，人工智能伦理性研究不太可能改变基本使命的内涵，却可以影响和改变其他伦理准则的内涵。总之，人工智能伦理的基本使命可以视为“伦理准则的准则”，也就是人工智能的基本价值观。

中层的伦理准则即在人工智能伦理建设第二阶段中达成共识的那些价值原则。这些伦理准则是基本使命的具体体现，并为实施细则的制定和科技研究实践提供引导。

为了将伦理准则落实到一个个具体的应用场景中，需要制定针对性、强制性、可操作的实施细则，即一套完整的监督治理规定。每一个应用场景都由一套对应的规定加以约束，不同的应用场景可以有不同的规定。针对一个具体的应用场景，一套规定往往包含下列多方面的具体要求和规范：产品标准（企业标准）、技术标准（团体标准/国家标准/国际标准）、行规、产业政策、法规等。这些不同方面的规定是由不同的机构制定和监管的，包括企业、标准化组织、行业组织、政府部门和法制机构，这些规定之间存在复杂的相互关系。例如，企业制定的产品标准的指标不得低于标准化组织制定的技术标准的指标。产品标准和技术标准是针对一类具体产品或服务的，而行规和产业政策是针对整个行业的，所以它们是互补的。法规是从法律层次做出的规定，具有最高的强制性和权威性，通常不是针对特定产品和服务的，甚至可以不针对具体行业。

从作为伦理实施细则的规定的构成可以看出，人工智能伦理建设不可能由某一领域的专家完成，而是必须涉及一系列相关方，从企业、大学和科研机构、标准化组织、行业组织、政府机构到法律部门，需要所有这些相关方的相互协调和共同努力。在相关方的协调中，不仅需要遵守共同的伦理准则，而且需要遵守伦理体系基础架构对各自角色的定位和相互关系的约定。

3 人工智能的风险预测判别机制

实现人工智能伦理基本使命的一项必要前提是确保人工智能的伦理底线，即确保人工智能研究和应用的风险处于可控范围内。综合看来，人工智能有以下3种风险。第一，技术误用：由于人工智能技术不够成熟、不够人性化或缺乏足够的伦理约束等原因，给使用者带来直接的损害，比如数据隐私问题、安全性问题和公平性问题等。第二，技术失控：即人类失去对人工智能技术的控制而出现严重的后果。例如，现在不少人担心，将来人工智能会全面超过人类的智慧和能力，以至于统治人类。第三，应用失控：人工智能技术在某些行业的普遍应用带来严重的负面社会效果，如导致很多人失业。

目前全球不存在相关机构和充分的研究力量，能够对这3种风险进行预测和判别。因此，有必要在人工智能创新生态中，增设一种新型研究模式和部门——人工智能伦理性研究，这种研究的一个核心职能是承担对3种风险的预测和判别，也就是担任人工智能风险底线的守护者。因此，在未来人工智能创新生态中，“研究”将被划分为两个相对独立的部门，一个是传统的科技研究/技术性研究部门，一个是伦理性研究部门，它们之间存在相互支持的关系。

人工智能风险预测判别研究与传统的科技研究之间存在本质区别。技术学科的研究历来以“潜在应用”为目的，自然科学研究则以“求知”为目的，而人工智能风险预测判别研究的基本职能是依据伦理准则，通过科学手段，探明某项技术的风险及其严重性，从而为是否应该禁用该技术提供可靠依据。因此，风险预测判别研究以“潜在禁用”为主要目的。由此可见，建立人工智能伦理研究部门是绝对必要的。在图1中，有一个从伦理研究到伦理准则、到实施细则、到应用场景再到伦理研究的闭环，这个闭环反映了人工智能伦理研究在整个创新生态中的作用。

针对3种风险，人工智能风险预测判别研究的主要任务及其必要性概述如下。

关于第一种伦理风险，事实上已经在现有人工智能和其他技术的应用中存在着，这种情况的严重性被普遍低估了，也没有受到有效的监督与管控。因此，针对数据隐私、安全性、公平性等伦理问题，亟需加强人工智能和相关技术的伦理体系建设，加强专业队伍的建设，加强针对具体伦理问题的研究，设置更高标准的相关规定，实行有效的监管和治理，这些应成为当前人工智能伦理研究与治理的重点任务。

第二种风险的近期紧迫性不强，但长期严重性绝不可低估。传统技术都不是自主的，而人工智能可以具有完全自主性。完全自主性意味着，人工智能可以完全独立于人类而实现现实世界中复杂任务的感知、决策和行动。有分析认为，具有类似于人的自我意识的完全自主的人工智能系统一旦研制出来，就会独立地自我繁殖和自我进化，并突破任何伦理规范和人类控制[18]。果真如此，允许这样的人工智能系统被研发出来，就意味着人类将被人工智能统治，也就意味着任何人工智能伦理准则都沦为空谈。当然，现有哲学分析还不是充分的科学论证，所以这种可能性尚未得到证实，但有必要认真对待。对于这种风险进行预测和判别，是一项极其艰巨、复杂且无先例的工作，关系到人类长期生存的安全底线。

第三种风险目前没有严重表现，但潜在风险肯定是有的。以工业生产为例，一些劳动密集型产业已经在部分地区普遍出现了“用工难”现象，但这种现象并不是由于人工智能、机器人等新技术的应用引起的，而是由于大量岗位的工作性质已经变成了简单操作的机械性重复，这种作业是不符合人性的。未来的必然趋势是，愿意承担这种工作的人将越来越少，因而对人工智能、机器人技术产业应用的需求将越来越强，于是在一些行业中人工替代率将越来越高。如果无法解决再就业问题，就可能引起应用失控，产生极其严重的社会后果。由此可见，对这种风险的预测和判别是极其复杂、极其困难的，需要多学科合作和长期努力。

4 面向重大社会问题的伦理性创新

人工智能的根本价值在于增加人类的福祉。在本文建议的人工智能伦理体系中，这条原则被列为基本使命，而且所有已经提出的伦理建议都包含这条准则。人类福祉的一个集中体现，是帮助解决社会面临或将来面临的重大问题，例如：气候变暖、环境污染、人口老龄化、资源分布不均、经济发展不均衡、产业少人化等。

这些重大社会问题有三个基本特点：第一，从本性上看，现有商业化机制不适合解决这类问题；第二，目前也不存在其他有效的应对手段；第三，这类问题的解决方案往往不是纯技术性的，而是综合性的，并且人工智能技术可以在其中发挥重要作用。那么，人工智能伦理如何为解决重大社会问题发挥重要作用？目前，对这个问题的研究是整个人工智能伦理建设中最为薄弱、最为欠缺的一环[19]。

本文认为，在人工智能伦理体系中的“伦理性研究”部门，应该包含两项基本职能。一项是上文提出的“风险预测判别”，另一项是“伦理性创新”。作为一种全新机制，伦理性创新将为重大社会问题的应对提供研究支撑，其主要工作任务如下。

第一，社会变化主客观数据的采集分析。在科技和产业创新飞速发展的时代，民众的生活、工作和心理状态也在快速变化，而且不同群体的主观感受、教育观念、就业倾向、消费观念、生活态度和人机关系认知等等也处于不断变化之中。目前，社会对这些信息的把握是十分有限的，这种状况对于社会的健康发展是十分不利的，亟需加以改变。因此，开发相应的人工智能和大数据等技术，及时充分地收集反映这些变化的指标数据，并与传统的产业和社会统计数据相结合，通过系统性分析得出社会状况的科学判断，对于维持社会平稳运行，更加合理地进行政策决策和规划制定，具有极其重大的现实意义，同时也为更好地应对重大社会问题奠定了必要基础。

第二，社会发展可能态势的分析预测。在未来某个时段，完全可能出现大量工作被机器取代、大批工作年龄人口无工可做的情况。这种情况下的社会结构、经济运行机理和社会发展动力，与当下社会是根本不同的。因此，在应对某些重大社会问题的过程中，未来人类很可能进入一个全新的社会文明阶段。为了保证这种社会演化符合人类的根本利益，保证宇宙万物的和谐共存，人类完全有必要未雨绸缪，而不应被动地随波逐流。对未来社会发展可能态势进行分析预测，是社会长期发展规划的必要基础。这种分析预测是非常困难的，需要多学科合作，而人工智能技术可以在其中发挥重要作用。

第三，重大社会问题解决方案的创新设计。人类面临的重大社会问题，往往难以就事论事地得到解决，需要通过综合性创新找出化解之道[20]。然而面对如此高维复杂的问题，单纯依靠人工智能技术和其他相关技术手段，是不可能自动求解的。因此，有必要探索人机合作的求解模式，而人工智能技术可以显著提升人机合作问题求解的水平和性能。例如，利用人工智能“暴力法”[21]中的“假设推理”方法，可以进行人机合作式问题求解，而且在高维复杂应用场景中已有成功案例，假设推理发现了单纯依靠人或机器都无法发现的有效的解决方案。因此，针对重大社会问题，借助人工智能技术，通过人机合作方式，完全可能发现以往无法发现的综合创新方案。在未来科技和产业革命时代，这将是人工智能伦理体系为人类做出的巨大贡献。

5 结束语

在人工智能伦理准则达成的基本共识的基础上，本文提出人工智能伦理体系规划问题，重点讨论解决伦理准则无法解答而伦理体系必须解决的4个关键问题——运行机制问题、场景落地问题、风险预测判别问题和发展动力问题，并对这些问题提出了初步解决方案。

人工智能伦理体系的运行机制由它的基础架构决定，该架构规定了伦理体系的主要部门以及它们之间的相互关系，其中包括场景落地的机制。本文建议，在人工智能创新生态中增设一个新型研究部门——伦理性研究，它有两项基本职能：人工智能风险预测判别和应对重大社会问题的伦理性创新。根据这些分析和建议，在未来人工智能时代，社会进步和经济发展将进入“双轮驱动”模式，以传统的商业化创新和新设立的伦理性创新作为两个不同而相互关联的动力机制。

总之，人工智能伦理建设面临一系列挑战，不是将一般伦理学原则、方法和规则具体化到人工智能就可以奏效的。如何建立这样的人工智能伦理体系，仍需要相关各方紧密合作，进行长期、艰苦的探索。（本文转载自《智能系统学报》2019年第4期）

参考文献：

[1]    The High-Level Expert Group on AI. Ethics guidelines for trustworthy AI[EB/OL]. (2019-04-08). https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai. (1)   

[2]    傅莹. 人工智能对国际关系的影响初析[EB/OL]. (2019-04-10). https://pit.ifeng.com/c/7lkmTsTwMD2. (1)    

[3]    裴钢. 科技伦理建设应由全人类共同参与[EB/OL]. http://st.zjol.com.cn/kjjsb/201905/t20190508_10075117.shtml. (1)    

[4]    LEI Ruipeng, ZHAI Xiaomei, ZHU Wei, et al. Reboot ethics governance in China[J]. Nature, 2019, 569: 184-186. DOI:10.1038/d41586-019-01408-y (3)    

[5]    陈磊. 人工智能让人类尴尬: 伦理道德法律框架设计滞后[N]. 科技日报, 2017-11-21. (3)    

[6]    蓝江. 人工智能的伦理挑战[N]. 光明日报, 2019-04-01(15). (3)    

[7]    李艳. 人工智能该怎么管? 八项原则来了！一文读懂[N]. 科技日报, 2019-06-18. (3)    

[8]    熊争艳, 董瑞丰. 加快推动人工智能伦理研究[N]. 新华每日电讯, 2019-03-11(06). (1)    

[9]    杨骏. 超越" 机器人三定律” 人工智能期待新伦理[EB/OL]. (2019-03-18). http://www.xinhuanet.com/tech/2019-03/18/c_1124249611.htm. (1)    

[10]    袁勇. 人工智能伦理三问: 如何对待机器和自身的关系?[EB/OL]. (2018-07-12). http://ip.people.com.cn/n1/2018/0712/c179663-30142763.html. (1)    

[11]    The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems (IEEE) [EB/OL]. https://standards.ieee.org/industry-connections/ec/autonomous-systems.html. (1)    

[12]    杨弃非. 每经专访太和智库欧洲中心主任托斯登•耶里尼克: 跨国构建人工智能伦理治理框架势在必行[N]. 每日经济新闻, 2019-05-22. (1)    

[13]    BOSTROM N, YUDKOWSKY E. The ethics of artificial intelligence[M]//FRANKISH K, RAMSEY W. Cambridge Handbook of Artificial Intelligence. New York: Cambridge University Press, 2014. (1)    

[14]    SMITH R. 5 core principles to keep AI ethical[EB/OL]. (2018-04-19). https://https://www.weforum.org/agenda/2018/04/keep-calm-and-make-ai-ethical/. (1)   

[15]    HAO Karen. Establishing an AI code of ethics will be harder than people think[R]. Cambridge: MIT Technology Review, 2018. (1)    

[16]    万俊人. 义利之间: 现代经济伦理十一讲[M]. 北京: 团结出版社, 2003. (1)    

[17]    Wikipedia[EB/OL]. https://en.wikipedia.org/wiki/Ethics. (1)   

[18]    赵汀阳. 人工智能的自我意识何以可能?[J]. 自然辩证法通讯, 2019, 41(1): 1-8.
ZHAO Tingyang. How could AI develop its self-consciousness?[J]. Journal of dialectics of nature, 2019, 41(1): 1-8. (1)    

[19]    陈小平. 人工智能伦理全景动态观[EB/OL]. (2019-05-27). http://https://www.china-scratch.com/news/5403. (1)    

[20] 人民论坛理论研究中心. 全局性综合创新: 国内外实践经验与未来启示[EB/OL]. (2017-10-17). http://www.rmlt.com.cn/2017/1017/500123.shtml. (1)    

[21]    陈小平. 人工智能的历史进步、目标定位和思维演化[J]. 开放时代, 2018(6): 31−48. (1)    

作者：中国科技大学教授  陈小平

来源：《智能系统学报》2019年第4期

编辑：马晓晴