编者按：4月21日，欧盟发布了《关于人工智能的统一规则(人工智能法)并修正某些联合立法行为》的提案，这是继2020年2月19日欧盟《人工智能白皮书》之后的又一重量级法案。该提案从“维护欧盟的技术领先地位，并确保欧洲人民可以从按照欧盟价值观、基本权利和原则人工智能中受益”的原则出发，采取基于风险的监管思路，在区分“禁止类AI”和“高风险类AI”的基础上，提出了如下具体目标： （1）确保投放到欧盟市场并使用的AI系统是安全的，并尊重现行法律中的基本权利和欧盟价值； （2）确保法律上的确定性，以促进对人工智能的投资和创新； （3）加强对适用于AI系统的基本权利和安全要求的现有法律有效执行和治理； （4）促进针对合法、安全和可信赖的AI应用的开发，促进欧盟单一数字市场的发展。 鉴于该提案对于我国人工智能和算法治理的重要价值，我们特编译提案正文，以飨读者。因原文较长，我们将分两期刊发，敬请期待。 ——对外经济贸易大学数字经济与法律创新研究中心执行主任 许可 布鲁塞尔21.4.2021 COM(2021)206最终版 制定关于人工智能的统一规则(人工智能法)并修正某些联合立法行为 (a) 在欧盟中投放市场，投入服务和使用人工智能系统（“ AI系统”）的统一规则； (c) 高风险AI系统的具体要求以及此类系统的操作员的义务； (d) 旨在与自然人互动的AI系统、情感识别系统和生物特征分类系统以及用于生成或操纵图像、音频或视频内容的AI系统的统一透明度规则； (a) 在欧盟中投放市场或将AI系统投入服务的提供商，无论这些提供商是在欧盟内部还是在第三国建立的； (c) 位于第三国的AI系统的提供者和用户，该系统产生的输出在欧盟中使用； 2. 对于属于产品或系统安全组件的高风险AI系统，或者本身属于产品或系统的高风险AI系统，属于以下行为的范围内，仅适用本法规的第84条： 3. 本法规不适用于专门用于军事目的而开发或使用的AI系统。 4. 本法规不适用于第三国的公共当局，也不适用于根据本条第1款属于本法规范围内的国际组织，在这些机关或组织在与执法机关进行国际执法和司法合作的国际协议框架内使用AI系统的情况欧盟或一个或多个成员国。 5. 本法规不得影响欧洲议会和理事会第2000/31 / EC号指令60 第II章第IV节中所规定的中介服务提供者责任规定的适用[将由欧盟《数字服务法》的相应条款。
（1）“人工智能系统”（AI system）是指使用附件I中所列的一种或多种技术和方法开发的软件，并且对于给定的一组人类定义的目标，可以生成诸如内容、预测之类的输出，影响与其互动的环境的建议或决策； （2）“提供者”是指开发AI系统，或者拥有已开发的AI系统并将其投放市场或以自己名义（商标）投入使用的自然人、法人、公共机构或其他机构，无论是付费还是免费的； (3) “小型提供商”是指委员会建议2003/361/EC61所指的小微企业的提供商； (4) “用户”是指在其授权下使用AI系统的任何自然人、法人、公共机构、代理机构或其他机构，除非在个人非专业活动中使用了AI系统； (5) “授权代表”是指在欧盟中建立的任何自然人或法人，均已从AI系统的提供者处获得书面授权，分别代表其执行和执行本法规所规定的义务和程序； (6) “进口商”是指在欧盟中建立的任何自然人或法人，其在市场上投放或投入使用的AI系统均带有欧盟外所建立的自然人或法人的名称或商标； (7) “发行人”是指供应商中除了供应商或进口商之外的任何自然人或法人，可以在欧盟市场上提供人工智能系统而不影响其属性； (8) “运营商”是指提供者、用户、授权代表、进口商和分销商； (9) “投放市场”是指在欧盟市场上首次提供AI系统； (10) “在市场上可用”是指在商业活动过程中以联合市场的形式分发或使用的AI系统的任何供应，无论是付费还是免费； (11) “投入使用”是指直接为用户提供的AI系统，或为其预期目的在欧盟市场上供其自己使用的AI系统； (12) “预期目的”是指提供者针对AI系统的用途，包括提供者在使用说明，促销或销售材料和声明中提供的信息中指定的特定上下文和使用条件，如下所述：以及技术文档中的内容； (13) “合理可预见的滥用”是指以不符合其预期目的的方式使用AI系统，但可能是由于合理可预见的人类行为或与其他系统的交互作用而导致的； (14) “产品或系统的安全组件”是指为该产品或系统执行安全功能，或者其故障或功能失常危及人员或财产的健康和安全的产品或系统的组件； (15) “使用说明”是指提供者提供的信息，用于告知用户特别是AI系统的预期目的和正确使用，包括打算将高风险AI系统纳入其中的特定地理，行为或功能设置用过的; (16) “召回AI系统”是指旨在向用户提供AI系统提供商返还的任何措施； (17) “退出AI系统”是指旨在防止AI系统的分发，显示和提供的任何措施； (18) “AI系统的性能”是指AI系统达到其预期目的的能力； (19) “通知机构”是指负责建立和执行必要的程序以评估，指定和通知合格评定机构并进行监督的国家机构； (20) “合格评定”是指验证本法规第二章第三章第三节中关于人工智能系统的要求是否得到满足的过程； (21) “合格评定机构”是指执行第三方合格评定活动（包括测试，认证和检查）的机构； (22) “通知机构”是指根据本法规和其他相关的欧盟协调法规指定的合格评定机构； (23) “重大修改”是指在AI系统投入市场或投入使用后对AI系统进行的更改，这会影响AI系统对本法规第2章第III节中规定的要求的遵从性，或者导致对AI系统的修改。评估AI系统的预期目的； (24) “CE合格标记”（CE标记）是指提供者表明AI系统符合本法规第二章第III节和协调市场营销条件的其他适用的欧盟法规所规定的标记。（“统一法规”）； (25) “上市后监控”是指由AI系统提供者进行的所有活动，以主动收集和审查从他们投放市场或投入使用的AI系统获得的经验，以识别是否需要立即应用任何必要的东西。纠正或预防措施； (26) “市场监督机构”是指根据（EU）2019/1020法规开展活动并采取措施的国家机构； (27) “统一标准”是指第1025/2012号法规（EU）第2（1）（c）条所定义的欧洲标准； (28) “通用规范”是指除标准以外的包含技术解决方案的文件，该技术解决方案提供了一种手段来满足本法规规定的某些要求和义务； (29) “训练数据”是指用于通过拟合其可学习的参数（包括神经网络的权重）来训练AI系统的数据； (30) “验证数据”是指用于对经过训练的AI系统进行评估，调整其不可学习的参数及其学习过程等数据，以防止过拟合；验证数据集可以是单独的数据集，也可以是训练数据集的一部分，可以是固定拆分或可变拆分； (31) “测试数据”是指用于对经过培训和经过验证的AI系统进行独立评估的数据，以便在该系统投放市场或投入使用之前确认该系统的预期性能； (32) “输入数据”是指提供给AI系统或由AI系统直接获取的数据，并以此为基础产生输出； (33) “生物特征数据”是指通过与自然人的身体，生理或行为特征相关的特定技术处理而得到的个人数据，这些数据允许或确认该自然人的唯一标识，例如面部图像或手指镜检查数据； (34) “情感识别系统”是指用于根据自然人的生物特征数据识别或推断自然人的情感或意图的AI系统； (35) “生物分类系统”是指一种AI系统，用于根据生物特征数据将自然人分为特定类别，例如性别、年龄，头发颜色，眼睛颜色，纹身，族裔或性别或政治取向； (36) “远程生物特征识别系统”是指一种AI系统，其目的是通过将人的生物特征数据与参考数据库中包含的生物特征数据进行比较来在远处识别自然人，而无需AI系统用户的事先了解该人将在场并且可以被识别; (37) “实时”远程生物特征识别系统是指一种远程生物特征识别系统，在此过程中，生物特征数据的捕获，比较和识别均没有明显的延迟。这不仅包括即时识别，还包括有限的短暂延迟，以避免规避。 (38) “发布远程生物特征识别系统”是指除“实时”远程生物特征识别系统之外的远程生物特征识别系统； (39) “公众可进入的空间”是指公众可进入的任何物理场所，无论是否适用某些进入条件； (a) 负责预防，调查，侦查或起诉刑事犯罪或执行刑事处罚（包括防止和预防对公共安全的威胁）的任何公共当局；或者 (b) 成员国法律授权的其他任何机构或实体，为了预防，调查，侦查或起诉刑事犯罪或执行刑事处罚（包括保护和防止对公众的威胁）而行使公共权威和权力； (41) “执法”是指执法机构为预防，调查，侦查或起诉刑事犯罪或执行刑事处罚而开展的活动，包括防范和预防对公共安全的威胁； (42) “国家监督机构”是指成员国将实施和实施本法规，协调委托给该成员国的活动，作为委员会的单一联系点并在欧洲人工智能委员会成员国代表成员国的职责分配给的机构； (43) “国家主管机关”是指国家监管机关，通知机关和市场监督机关； (44) “严重事件”是指直接或间接导致，可能导致或可能导致以下任何事件的任何事件： (a) 人的死亡或对人的健康，财产或环境的严重损害， (b) 对关键基础架构的管理和运营的严重且不可逆转的破坏。 委员会有权根据第73条采取授权行动，以修改附件一中所列的技术和方法清单，以便根据与该技术和方法类似的特征将该清单更新为市场和技术发展在其中列出。 (a) 在市场上投放、投入使用或使用AI系统，该AI系统以个人无法认知的方式部署潜意识教化技术，以某种方式严重扭曲一个人的行为，从而导致或可能导致该人或他人的身体或心理伤害; (b) 投放市场、投入使用或使用AI系统，该系统利用特定人群的年龄、身体或精神残疾等特定人群的任何脆弱性，实质性地扭曲与该人群有关的行为，以导致或可能造成该人或他人的身体或心理伤害的方式； (c) 公共机构或其代表在市场上投放、投入使用或使用人工智能系统，用以根据自然人的社会行为或已知或预测的个性特征或性格，在一定时期内对自然人的信誉进行评估或分类，且该社交评分则导致以下一项或两项： (i) 在与原始数据生成或收集的场景无关的社会场景中，对某些自然人或整个群体的有害或不利待遇； (ii) 对某些自然人或整个群体的社会行为或其严重不合理或不相称的有害或不利待遇； (d) 出于执法目的在公共场所使用“实时”远程生物特征识别系统，除非出于以下目的之一使用且绝对必要时： (i) 有针对性地寻找特定的潜在犯罪受害者，包括失踪儿童； (ii) 预防对自然人的生命或人身安全或恐怖袭击的具体、实质性和迫在眉睫的威胁； (iii) 侦测、定位、识别或起诉理事会第2002/584 / JHA62 号决议第2（2）条所述的犯罪行为的犯罪嫌疑人或嫌疑人，并在有关成员国以监禁刑罚或根据该成员国的法律确定的最长拘留期限，至少为三年。 2. 为了第1款d）项中提到的任何目标的执法目的，在公共场所使用“实时”远程生物特征识别系统时，应考虑以下因素： (a) 导致可能使用的情况的性质，特别是在不使用该系统的情况下造成的损害的严重性，可能性和严重程度； (b) 使用该系统对有关所有人的权利和自由产生的后果，特别是这些后果的严重性，可能性和严重性。此外，出于执法目的，在公共场所使用“实时”远程生物特征识别系统以实现第1款d）项中提到的任何目标的目的，应符合与之相关的必要且相称的保障措施和条件，尤其是在时间，地理和个人限制方面。 3. 关于第1款第（d）项和第2款，为在公共场所使用“实时”远程生物特征识别系统的执法目的而进行的个人使用，均应事先获得司法当局或政府的批准。根据合理的要求并根据第4段所述的国家法律的详细规则发布的，将在其中进行使用的成员国的独立行政当局。但是，在有充分理由的紧急情况下，使用可能未经授权而启动系统，并且仅在使用期间或使用之后才可以请求授权。 司法或行政主管部门应仅在基于其客观证据或明确指示而感到满意的情况下，授予使用有争议的“实时”远程生物特征识别系统的必要性并与之成比例地授予该授权。请求中确定的第1款（d）项中指定的目标之一。在决定请求时，主管司法或行政当局应考虑到第2款所指的内容。 4. 为保持灵活性，成员国可以决定以完全或部分授权在公共场所使用“实时”远程生物特征识别系统，在第1段（d）点，第2和第3段中列出的限制范围内执法。该成员国应在其本国法律中制定必要的详细规则，以请求、签发和行使与上述许可有关的授权，并对其进行监督第3款。这些规则还应具体说明第1款第（d）项中列出的目标，包括第（iii）项中提到的哪些刑事犯罪，主管当局可以被授权使用这些系统出于执法目的。 1. 无论AI系统是独立于（a）和（b）点提到的产品投放市场还是投入服务，都应同时满足以下两个条件的AI系统视为高风险： (a) AI系统旨在用作附件II中所列的欧盟协调法规所涵盖的产品或本身就是产品的安全组件； (b) 安全组件为AI系统的产品或AI系统本身为产品的产品，必须经过第三方合格评定，以根据欧盟统一标准将该产品投放市场或投入使用附件二中列出的立法。 2. 除第1款所指的高风险AI系统外，附件三所指的AI系统也应视为高风险。
1. 委员会有权根据第七十三条采取授权行动，通过增加满足以下两个条件的高风险人工智能系统来更新附件三中的清单： (a) 人工智能系统旨在用于附件三第1至第8点所列的任何领域； (b) AI系统存在危害健康和安全的风险，或对基本权利造成不利影响的风险，即就其严重性和发生的可能性而言，等于或大于由附件三中已经提到的高风险AI系统所构成的危害或不利影响风险。 2. 为第1款的目的，评估人工智能系统是否会对健康和安全造成危害的风险或对基本权利的不利影响的风险等于或大于委员会已经在附件三中提及高风险人工智能系统所造成的风险时，应考虑以下标准： (c) 如报告所表明，使用人工智能系统已在多大程度上对健康和安全造成损害或对基本权利的不利影响，或已引起与这种损害或不利影响的实现有关的重大关切，提交给国家主管部门的书面指控； (d) 这种损害或不利影响的潜在程度，特别是在其强度和影响多个人的能力方面； (e) 可能受到伤害或受到不利影响的人的程度取决于人工智能系统产生的结果，特别是因为出于实际或法律原因，不可能合理地选择退出该结果； (f) 相对于AI系统的用户而言，潜在受到伤害或受到不利影响的人员处于脆弱状态的程度，尤其是由于权力，知识，经济或社会环境或年龄的不平衡所致； (g) 人工智能系统产生的结果易于逆转的程度，因此对人的健康或安全有影响的结果不应被视为容易逆转； (h) 欧盟现有法规在多大程度上规定：(i) 针对人工智能系统带来的风险的有效补救措施，但不包括损害赔偿要求；(ii)采取有效措施来预防或大幅度降低这些风险。 2. 确保遵守这些要求时，应考虑到第9条中提到的高风险AI系统和风险管理系统的预期目的。 1. 应建立、实施、记录和维护与高风险AI系统有关的风险管理系统。 2. 风险管理系统应包括在高风险AI系统的整个生命周期中运行的连续迭代过程，需要定期进行系统更新。它应包括以下步骤： (a) 识别和分析与每个高风险AI系统相关的已知和可预见的风险； (b) 评估和评估高风险AI系统按照其预期目的并在合理可预见的滥用条件下使用时可能出现的风险； (c) 根据对第61条所述的上市后监测系统收集的数据的分析，对其他可能产生的风险进行评估； (d) 根据以下各段的规定，采取适当的风险管理措施。 3. 第2款（d）项中提到的风险管理措施应适当考虑合并应用本第2章中规定的要求所产生的影响和可能的相互作用。这些措施应考虑到公认的风险状态和条款，包括相关的协调标准或通用规范中反映的内容。 4. 第2款（d）点所指的风险管理措施应使得与每种危害相关的任何剩余风险以及高风险AI系统的总体剩余风险均被判定为可接受，但前提是高风险AI系统是根据其预期目的或在合理可预见的误用条件下使用的。这些剩余风险应传达给用户。 (a) 通过充足的设计和开发，尽可能消除或降低风险； (b) 在适当的情况下，针对无法消除的风险，采取适当的缓解和控制措施； (c) 根据第13条提供足够的信息，尤其是有关本条第2款（b）项中提到的风险的信息，并在适当情况下对用户进行培训。在消除或减少与使用高风险AI系统相关的风险时，应适当考虑用户的技术知识，经验，教育，培训以及打算使用该系统的环境。 5. 为了确定最适当的风险管理措施，应对高风险的AI系统进行测试。测试应确保高风险的AI系统按预期目的一致运行，并且符合本章规定的要求。 6. 测试程序应适合于实现AI系统的预期目的，并且不需要超出实现该目的所必需的范围。 7. 高风险AI系统的测试应在整个开发过程中的任何时候适当地进行，并且无论如何要在投放市场或投入使用之前进行。应针对适合高风险AI系统预期目的的预先定义的度量标准和概率阈值进行测试。 8. 在实施第1至第7段所述的风险管理系统时，应特别考虑高风险的AI系统是否可能被儿童使用或对其产生影响。 9. 对于受指令2013/36 / EU监管的信贷机构，第1至第8段中所述的方面应是这些机构根据该指令第74条建立的风险管理程序的一部分。 1. 利用涉及对数据进行模型训练的技术的高风险AI系统，应在满足第2至5段所述质量标准的训练，验证和测试数据集的基础上开发。 2. 培训、验证和测试数据集应遵守适当的数据治理和管理规范。这些实践应特别关注： (c) 相关的数据准备处理操作，例如注释，标记、清洗、充实和汇总； (d) 制定有关假设，特别是有关数据应衡量和代表的信息的假设； (e) 事先评估所需数据集的可用性、数量和适用性； (g) 确定任何可能的数据空白或不足，以及如何解决这些空白和不足。 3. 培训、验证和测试数据集应是相关的、有代表性的、没有错误且完整的。它们应具有适当的统计属性，包括（如果适用）与打算使用高风险AI系统的人员或人群有关的属性。可以在单个数据集或其组合的级别上满足数据集的这些特性。 4. 培训、验证和测试数据集应在预期目的要求的范围内考虑到打算使用高风险AI系统的特定地理、行为或功能设置所特有的特征或要素。 5. 在一定程度上，出于确保与高风险AI系统相关的偏差监视、检测和更正的目的，此类系统的提供者可以处理第9条第1款所指的特殊类别的个人数据法规（EU）2016/679，指令（EU）2016/680的第10条和法规（EU）2018/1725的第10（1）条。但是，当匿名化可能会极大地影响所追求的目的时，要对自然人的基本权利和自由采取适当的保障措施，包括技术限制重用和使用最新的安全性和隐私保护措施，例如假名或加密。 6. 适当的数据治理和管理实践应适用于高风险AI系统的开发，而不是使用那些涉及模型训练的技术的系统，以确保这些高风险AI系统符合第2款的规定。 1. 高风险AI系统的技术文档应在该系统投放市场或投入使用之前起草，并应保持最新状态。技术文件的编制应证明高风险AI系统符合本章规定的要求，并向国家主管部门和指定机构提供所有必要信息，以评估AI系统的合规性满足这些要求。技术文件至少应包含附件四中列出的要素。 2. 如果与产品相关的高风险AI系统（适用附件II A节中列出的法律行为）投放市场或投入使用，则应草拟一份单独的技术文件，其中应包含本文档中列出的所有信息。附件四以及这些法律法案所要求的信息。 3. 委员会有权根据第73条采取授权行动，在必要时对附件四进行修订，以确保根据技术进步，技术文件提供所有必要的信息，以评估系统是否符合这一章中规定的要求。 1. 高风险AI系统的设计和开发应具有能够在高风险AI系统运行时自动记录事件（“日志”）的功能。这些记录功能应符合公认的标准或通用规范。 2. 记录功能应确保AI系统在其整个生命周期中的功能可追溯性水平，该水平应适合于系统的预期目的。 3. 特别是日志记录功能应能够针对可能导致AI系统呈现第65条第1款所指的风险或导致实质性损失的情况的发生进行监视，并且修改并促进第61条所指的上市后监管。 4. 对于附件三第1段（a）点所指的高风险AI系统，日志记录功能至少应提供： (a) 记录系统每次使用的时间（每次使用的开始日期和时间以及结束日期和时间）； (d）根据第14条第5款的规定，确定参与结果验证的自然人的身份。 1. 高风险AI系统的设计和开发方式应确保其操作足够透明，以使用户能够理解系统的输出并适当地使用它。为了确保遵守本标题第3章中规定的用户和提供者的相关义务，应确保适当的类型和程度的透明性。 2. 高风险的AI系统应随附以适当的数字格式或以其他方式使用的说明，其中包括与用户相关，可访问和可理解的简明、完整、正确和清晰的信息。 (a) 提供者及其授权代表（如适用）的身份和联系方式； (b) 高风险AI系统的性能特征、功能和局限性，包括： (ii) 高风险AI系统已针对之进行测试和验证且可以预期的第15条中提到的准确性、鲁棒性和网络安全级别，以及可能对该预期精度水平产生影响的任何已知和可预见的情况，健壮性和网络安全性； (iii) 与按照预期目的或在合理可预见的滥用条件下使用高风险AI系统有关的任何已知或可预见情况，可能会导致健康，安全或基本权利的风险; (v) 在适当的情况下，考虑到AI系统的预期目的，在使用的训练，验证和测试数据集方面确定输入数据的规范或任何其他相关信息。 (c) 提供者在初次合格评定时已预先确定的高风险AI系统及其性能的更改； (d) 第14条所述的人为监督措施，包括为方便用户解释AI系统的输出而采取的技术措施； (e) 高风险AI系统的预期寿命以及确保该AI系统正常运行（包括软件更新）的任何必要维护和保养措施。 1. 高风险的AI系统的设计和开发，包括使用适当的人机界面工具，应使其在使用AI系统期间可以由自然人有效地进行监督。 2. 人为监督的目的应是，防止或最大程度地降低高风险人工智能系统在其设计意图或在合理可预见的误用条件下可能产生的健康、安全或基本权利风险，尤其是当存在此类风险时，尽管此时本章规定的其他要求依然适用。 (a) 在技术可行的情况下，识别并在提供商将其投放市场或投入使用之前，将其内置到高风险的AI系统中； (b) 由提供商确定，然后再将高风险的AI系统投放市场或投入使用，并且应该由用户实施。 4. 第3款所指的措施应使被指派进行人工监督的人员能够根据情况进行以下操作： (a) 充分了解高风险AI系统的功能和局限性，并能够对其运行进行适当监控，以便尽快发现并解决反常，功能异常和意外性能的迹象； (b) 意识到自动依赖或过度依赖高风险AI系统产生的输出的可能趋势（“自动化偏差”），特别是对用于为自然人决策提供信息或建议的高风险AI系统而言； (c) 能够特别考虑系统的特征以及可用的解释工具和方法来正确解释高风险AI系统的输出； (d) 能够在任何特定情况下决定不使用高风险AI系统或以其他方式无视，手动控制或逆转高风险AI系统的输出； (e) 能够干预高风险AI系统的运行或通过“停止”按钮或类似程序来中断系统。 5. 对于附件三第1点（a）所指的高风险AI系统，第3款所指的措施应确保，在此之外，用户不根据系统产生的身份验证采取任何行动或决定，除非至少有两个自然人对此系统进行了验证和确认。 1. 高风险AI系统的设计和开发方式应使其能够根据其预期目的达到适当的准确性、鲁棒性和网络安全性，并在其整个生命周期内在这些方面保持一致。 2. 高风险AI系统的准确性等级和相关准确性度量应在随附的使用说明中声明。 3. 高风险的AI系统应具有复原性，可以应对系统或系统运行所处的环境内可能发生的错误，故障或不一致，特别是由于其与自然人或其他系统的相互作用所致。高风险AI系统的鲁棒性可以通过技术冗余解决方案来实现，其中可能包括备份或故障安全计划。在投入市场或投入使用后仍会继续学习的高风险AI系统的开发方式，应确保适当处理用作未来操作输入的输出而产生的可能有偏差的输出（“反馈循环”）并且采取适当的缓解措施。 4. 对于未经授权的第三方通过利用系统漏洞来更改其使用或性能的尝试，高风险AI系统应具有复原性。旨在确保高风险AI系统的网络安全的技术解决方案应适合于相关情况和风险。解决AI特定漏洞的技术解决方案应在适当情况下包括预防和控制试图操纵训练数据集的攻击（“数据中毒”）的措施，旨在导致模型出错的输入（“对抗性示例”）或模型缺陷。 (a) 确保其高风险AI系统符合本标题第2章中规定的要求； (d) 在他们的控制下，保留由其高风险AI系统自动生成的日志； (e) 确保高风险的AI系统在投放市场或投入使用之前经过相关的合格评定程序； (g) 如果高风险AI系统不符合本标题第2章规定的要求，则采取必要的纠正措施； (h) 将不遵守情况和采取的任何纠正措施告知提供或启用人工智能系统的成员国的国家主管当局，并在适用的情况下通知指定机构; (i) 根据其第49条，在其高风险AI系统上贴上CE标志，以表明其符合本法规的规定； (j) 应国家主管部门的要求，证明高风险AI系统符合本标题第2章中规定的要求。 1. 高风险AI系统的供应商应建立质量管理体系，以确保遵守本法规。该系统应以书面政策，程序和说明的形式系统地，有条理地形成文件，并且至少应包括以下几个方面： (a) 监管合规性策略，包括合规性评估程序和高风险AI系统修改管理程序； (b) 用于高风险AI系统的设计，设计控制和设计验证的技术，程序和系统动作； (c) 用于高风险AI系统的开发，质量控制和质量保证的技术，程序和系统动作； (d) 在开发高风险AI系统之前，之中和之后要进行的检查，测试和确认程序，以及执行这些程序的频率； (e) 要应用的技术规范，包括标准，以及在未完全应用相关的统一标准的情况下，用于确保高风险AI系统符合本标题第2章中规定的要求的方法； (f) 数据管理的系统和程序，包括数据收集、数据分析、数据标记、数据存储、数据过滤、数据挖掘、数据聚合、数据保留以及与放置之前和出于放置目的执行的任何其他有关数据的操作高风险AI系统的市场投放或投入使用； (h) 根据第61条建立，实施和维护售后监测系统； (j) 处理与国家主管当局，主管部门（包括部门主管部门）的通信，以提供或支持对数据，指定机构，其他运营商，客户或其他有关方面的访问； (l) 资源管理，包括与供应有关的措施的安全性；(m) 一个问责制框架，其中规定了管理层和其他员工在本段中列出的各个方面的责任。 2. 第1款提及的方面的实施应与供应商组织的规模成正比。 3. 对于是受指令2013/36/EU监管的信贷机构的供应商，应通过遵守根据该指令第74条制定的内部治理安排，流程和机制的规则，视为已履行建立质量管理体系的义务。在这种情况下，应考虑本规章第40条提及的任何统一标准。 1. 高风险AI系统的供应商应按照附件IV的规定起草第11条中提到的技术文档。 2. 作为受指令2013/36/EU监管的信贷机构的供应商，应根据该指令第74条的规定，维护技术文件，作为有关内部治理，安排，流程和机制的文件的一部分。 1. 高风险AI系统的供应商应确保其系统在投放市场或投入使用之前，已按照第43条进行了相关的合格评定程序。如果在进行合格性评估后证明AI系统符合本标题第2章中规定的要求，则供应商应根据第48条起草欧盟合格声明，并在合格性标志上粘贴CE合格标志。与第49条相同。 2. 对于投放市场或由指令2013/36/EU监管的信贷机构的供应商投入服务的附件III第5（b）点所指的高风险AI系统，应按照以下规定进行合格性评估：该指令第97至101条中提及的程序的一部分。 1. 高风险AI系统的供应商应保留其高风险AI系统自动生成的日志，只要这些日志受与用户之间的合同安排或法律的约束而受其控制。根据高风险AI系统的预期目的以及欧盟或国家法律规定的适用法律义务，应将日志保存适当的时间。 2. 作为受指令2013/36/EU监管的信贷机构的供应商，应保留其高风险AI系统自动生成的日志，作为该指令第74条下文件的一部分。 高风险AI系统的供应商认为或有理由认为已投放市场或投入使用的高风险AI系统不符合本法规的规定，应确保采取必要的纠正措施使该系统符合要求，在必要的时候撤回或召回该系统。在系统存在风险的情况下，分销商应将此情况告知供应商或进口商（如适用）。 如果高风险AI系统存在第65条第（1）款所指的风险，并且该风险已被系统供应商知晓，则该供应商应立即通知建立该系统的成员国的国家主管部门，以及在适用的情况下，通知为高风险AI系统颁发证书的指定机构，尤其是有关违规行为和采取的任何纠正措施的证书。
高风险AI系统的供应商应应国家主管部门的要求，向该机构提供证明高风险AI系统符合本标题第2章所规定要求的所有必要信息和文件，并且使用有关成员国确定的官方正式语言。根据国家主管部门的合理要求，供应商还应允许该部门访问由高风险AI系统自动生成的日志，但前提是此类日志受与用户或其他方面的合同安排或根据法律在他们的控制范围内。
凡与附件二a节所列法律行为适用的产品相关的高风险AI系统，以产品制造商的名义与根据该法律行为生产的产品一起投放市场或投入使用时，产品制造商应对AI系统符合本条例的规定承担责任，并就AI系统而言，负与本条例下供应商所负义务相同的义务。
1. 无法识别进口商的情况下，在将其系统投放到欧盟市场之前，欧盟以外的供应商应通过书面授权，任命在欧盟内设立的授权代表。 2. 授权代表应执行从供应商那里收到的授权命令中规定的任务。授权命令应授权受权代表执行以下任务： (a) 保留一份欧盟合格声明和技术文件的副本，供国家主管当局和第63(7)条所指的国家主管当局使用； (b) 应合理要求，向国家主管当局提供所有必要的信息和文件，以证明高风险AI系统符合本标题第2章的要求，包括查阅由高风险AI系统自动生成的日志，只要这些日志由供应商根据与用户的合同安排或其他法律所控制； (c) 在合理要求下，与国家主管当局合作，针对后者对高风险AI系统采取的任何行动。
1. 在将高风险的AI系统投放市场之前，该系统的进口商应确保： (a) 该AI系统的提供者已经执行了适当的合格评定程序； (c) 该系统带有要求的合格标记，并随附要求的文件和使用说明。 2. 进口商认为或有理由认为高风险AI系统不符合本条例的情况，进口商不得不得将其投放市场直到AI系统符合规定。如果高风险AI系统存在第65条第（1）款所指的风险，进口商应将此情况通知AI系统的提供者和市场监督机构。 3. 进口商应在高风险AI系统上注明其名称、注册商品名称或注册商标，以及可以联系到他们的地址，如不可能，则在其包装或随附文件上注明。 4. 进口商应确保，当高风险AI系统由其负责，在适用的情况下，储存或运输条件不会危及其符合本标题第二章规定的要求。 5. 应合理要求，进口商应向国家主管当局提供所有必要的信息和文件，以证明高风险AI系统符合本标题第2章规定的要求，所用语言应为国家主管当局易于理解，包括查阅由高风险AI系统自动生成的日志，只要这些日志在提供商根据与用户的合同安排或其他法律的控制下。进口商还应就国家主管当局就该系统采取的任何行动与当局合作。 1. 在高风险AI系统上市之前，经销商应验证高风险AI系统具有要求的CE符合性标志，并附有所需的文件和使用说明，以及系统的供应商和进口商(如适用)，是否遵守本规例所订明的义务。 2. 经销商认为或有理由认为一个高风险AI系统不符合本标题下第二章的要求,其不得让高风险的AI系统在市场上可用,直到系统已经符合这些要求。此外，如果系统在第65(1)条的含义范围内存在风险，则经销商应将该系统的相关信息告知供应商或进口商。 3. 经销商应确保，若其负责高风险AI系统，在适用情况下，存储或运输条件不会危及该系统与本标题第2章规定的要求的符合性。 4. 经销商认为或有理由认为一个已在市场适用的高风险AI系统，不符合本标题第二章项下的要求，应当采取必要的纠正措施使系统符合这些要求，撤回或召回，或应确保供应商、进口商或任何相关经营者酌情采取纠正措施。当高风险的AI系统展现出了一种规定在第65条(1)中的风险,经销商应立即通知使产品生效成员国的国家主管当局，提供细节，特别是不合规处及任何纠正措施。 5. 根据国家主管部门的合理要求，高风险AI系统的发行人应向该机构提供证明高风险系统符合本标题第2章所要求的所有必要信息和文件。经销商还应还应就国家主管当局就该系统采取的任何行动与当局合作。
1. 就本条例而言，任何经销商，进口商，用户或其他第三方均应被视为提供者，并应在下列任何一种情况下，遵守第16条规定的提供者的义务： (a) 他们以其名称或商标将高风险AI系统投放市场或投入使用； (b) 他们修改了已经投放市场或投入使用的高风险AI系统的预期目的； (c) 他们对高风险的AI系统进行了实质性的修改。 2. 如果发生第1款第（b）或（c）项所述情况，最初将高风险AI系统投放市场或投入使用的提供者，出于本条例的目的不再被视为提供者。 1. 高风险AI系统的用户应根据系统附带的使用说明（根据第2和第5款）使用此类系统。 2. 第1款中的义务不影响欧盟或国家法律规定的其他用户义务，也不影响用户自行组织其资源和活动以实施提供者指示的人为监督措施的自由裁量权。 3. 不影响第1款的前提下，在用户对输入数据进行控制的范围内，该用户应确保输入数据是与高风险AI系统的预期目的相关的。 4. 用户应根据使用说明监视高风险AI系统的运行。当他们有理由认为按照使用说明进行使用可能导致AI系统存在第65条第（1）款所指的风险时，他们应通知提供商或经销商并中止使用该系统。当用户发现任何严重事件或第六十二条所指的任何故障并中断AI系统的使用时，他们也应通知提供商或经销商。如果用户无法联系提供者，则应比照适用第62条。对于受指令2013/36/EU规范的信贷机构的用户，根据该指令第74条的规定，通过遵守内部治理安排、流程和机制的规则，第一款规定的监督义务应被视为已履行。 5. 高风险AI系统的用户应保留该高风险AI系统自动生成的日志，只要这些日志受其控制。根据高风险AI系统的预期目的以及欧盟或国家法律规定的适用法律义务，应将日志保存适当的时间。作为受指令2013/36 / EU监管的信贷机构的用户，应根据该指令第74条的规定保存日志，作为有关内部治理安排，流程和机制的文件的一部分。 6. 高风险AI系统的用户，在适用的情况下，应使用第13条提供的信息来履行其根据条例（EU）2016/679第35条或指令（EU）2016/680第27条进行数据保护影响评估的义务。 1. 每个成员国均应指定或建立通知当局，负责建立和执行必要的程序，以进行合格性评估机构的评估，指定和通知以及对其进行监督。 2. 成员国可以指定（EC）765/2008号条例所指的国家认可机构为通知当局。 3. 通知当局的建立，组织和运行应与合格评定机构不发生利益冲突，并应确保其活动的客观性和公正性。 4. 通知当局的组织方式应使与合格评定机构通知有关的决定由不同于对这些机构进行评定的主管人员作出。 5. 通报机构不得提供合格评定机构从事的任何活动或任何商业或竞争性的咨询服务。 7. 通知当局应配备足够的工作人员，以适当地执行其任务。 8. 通报当局应确保以相称的方式进行合格评定，避免给供应商造成不必要的负担，并确保受通知机构在开展活动时适当考虑企业规模、业务所在的行业、其结构和AI系统的复杂程度。
1. 合格评定机构应向其成立的成员国的通知机构提交通知申请。 2. 通知申请应附有合格评定机构声称具有能力的合格评定活动、合格评定模块和AI技术的说明，以及由国家认可机构发出的、证明合格评定机构符合第33条规定的要求的合格评定证书(如有)。应增加与任何其他欧盟统一法规所规定的申请人指定机构的现有指定有关的有效文件。 3. 如果合规评定机构不能提供认可证书，则应向通知当局提供必要的书面证据，以验证，确认和定期监测其是否符合第33条的要求。对于任何根据其他协调法规欧盟指定的指定机构，与该指定相关的所有文件证书均可酌情用于支持其在本法规下的指定程序。 1. 通知当局只能通知已满足第33条规定的合规评定机构。 2. 通知当局应使用委员会开发、管理的电子通讯工具通知委员会和其他成员国。 3. 该通知应包括合规评定活动，合规评定模块与有关人工智能技术的完整详细信息。 4. 只有在委员会或其他成员国通知后的一个月内未提出异议的情况下，有关合规评定机构才能执行指定机构的活动。 5. 通知当局应将通知的任何后续相关变更通知给委员会和其他成员国。
1. 指定机构应按照第43条规定的合规评定程序对高风险AI系统的合规性进行验证。 2. 指定机构应满足完成其任务所必需的组织，质量管理，资源和程序要求。 3. 指定机构的组织结构，职责分配，报告机构和运作应确保对其实施的合规评定活动的绩效和结果充满信心。 4. 指定机构应独立于进行合规评估活动的高风险AI系统的提供者、与该系统具有经济利益的任何其他运营商，以及提供者的任何竞争对手。 5. 指定机构的组织和运作应保证其活动的独立性，客观性和公正性。指定机构应形成文件并执行结构和程序，以保证公正性，并在其整个组织，人员和评估活动中促进和应用公正性原则。 6. 指定机构应有成文的程序，以确保其人员，委员会，子公司，分包商和任何相关机构或外部机构的人员对进行合规评定活动时知悉的信息保密，但法律要求披露的除外。指定机构的工作人员必须对依据本规章执行任务时所获得的所有信息专业保密，但与成员国的通知当局进行其活动有关的除外。 7. 指定机构应制定执行活动的程序，并适当考虑到企业的规模，其经营的部门，结构，所涉AI系统的复杂程度。 8. 指定机构应为其合规评定活动购买适当的责任保险，但是依据国内法应由有关成员国承担责任或者成员国直接对合规评定负责的除外。 9. 指定机构应能够以最高的职业操守和特定领域的必要能力来执行本法规规定的应由其实施的所有任务，无论这些任务是由指定机构本身执行，还是由其代表或在其责任下执行。 10. 指定机构应具有足够的能力，以便能够有效地评估外部机构代表其执行的任务。为此，对于任何合规评定程序以及与之相关的每种类型的高风险AI系统，指定机构应始终有足够的行政、技术和科学人员，他们应该具有相关AI技术、数据和数据计算、本法规第二章规定的条件相关的经验和知识。 11. 指定机构应参加第38条所述的协调活动。它们还应直接或被代表参加欧洲标准化组织，或确保它们了解相关标准的最新动态。 12. 指定机构应提供所有相关文件，并应要求将所有相关文件（包括提供者的文件）提交给第30条规定的通知机构，以使其能够进行评估，指定，通知，监督活动，并促进本章概述的评估。 1. 指定机构分包与合规评定有关的特定任务或求助于附属机构时，应确保附属机构或分包机构符合第33条规定的要求，并相应地告知通知机构。 2. 无论建立在何处，指定机构均应对附属机构或分包机构执行的任务承担全部责任。 3. 仅在提供者同意的情况下，任务可以分包或由附属机构进行。 4. 指定机构应将有关附属机构或分包机构的资格评估及其根据本规章开展工作的有关文件交由通知机构处理。
1. 委员会应为指定机构分配一个标识号。即使在根据若干欧盟法案通知了机构的情况下，也应分配一个号码。 2. 委员会应公开提供根据本规章通知的机构的清单，包括已分配给它们的标识号和已通知的活动。委员会应保持更新该清单。
1. 通知机构怀疑或被告知指定机构不再符合第33条规定的要求，或未能履行其义务时，应立即尽最大努力调查此事。在这种情况下，它应将提出的反对意见通知有关的指定机构，并使其有机会发表意见。如果通知当局得出结论，指定机构的调查不再满足第33条的要求或未能履行其义务，则应视情况的严重性，酌情限制，中止或撤回通知。它还应立即通知委员会和其他成员国。 2. 在限制，中止或撤回通知时，或在指定机构停止其活动的情况下，通知当局应采取适当措施，以确保该指定机构的档案被另一指定机构接管或应负责的通知当局请求供他们使用。
1. 在必要时，委员会应对有理由怀疑指定机构是否符合第33条规定条件的案子，进行调查。 2. 应请求，通知机构应向委员会提供与有关指定机构的通知相关的所有信息。 3. 委员会应确保对根据本条进行调查期间获得的所有机密信息进行保密。 4. 如果委员会确定指定机构不符合或不再符合第33条的要求，则应通过合理的决定，要求通知成员国采取必要的纠正措施，包括在必要时撤回通知。该实施法案应根据第74条第2款所述的审查程序通过。
1. 委员会应确保就本法规所涵盖的领域，按照本法规开展AI系统合规评定程序的活跃的指定机构之间进行适当的协调与合作，并以指定机构部门小组的形式进行适当的运作。 2. 成员国应确保其指定机构直接或通过指定代表参加该小组的工作。
根据与欧盟达成协议的第三国法律建立的合规评定机构，可以被授权从事根据本法规进行的指定机构的活动。 链接：https://mp.weixin.qq.com/s/7Twi98_h_7D-5Ajd3COkkw | 
楼主: 刘海明
楼主
一)制定个人信息保护具体规则、标准；(二)针对敏感个人信息以及人脸识别、人工智能等新技术、
