引言

人工智能 (AI) 的快速发展给世界带来了重大变革，但也带来了需要我们关注的伦理挑战。这些挑战涉及广泛的领域，从技术鸿沟到人类控制的丧失。

四个维度的人工智能伦理挑战

人工智能的伦理挑战主要体现在以下四个维度：

1. 自主性

人工智能系统越来越自主，这引发了对欺骗、控制和失业的担忧。人工智能可以更好地理解人类，并操纵信息来控制我们的思想和行为。它还可以取代人类的工作，导致大规模失业。

2. 非透明性

人工智能模型往往是黑箱，其决策过程难以解释。这使得发现和解决潜在问题变得困难。例如，生成式人工智能可能会产生带有偏见或错误信息的输出。

3. 拓展性

人工智能技术可以被广泛使用，包括用于军事目的。这带来了对系统故障、战争升级和人工智能武器失控的担忧。

4. 复杂性

人工智能系统变得越来越复杂，涉及多个相互关联的组件。这使得评估和管理风险变得困难。人工智能决策的长期影响可能难以预测。

对人工智能伦理挑战的回应

2023 年，全球各国政府和国际组织开始关注人工智能的伦理问题。已发布了许多声明、愿景和政策，旨在规范人工智能的发展。 在确保技术领先地位之前，许多国家不愿对人工智能进行严格限制。这导致了治理风险，因为技术发展超出了监管的步伐。

结论

人工智能带来的伦理挑战是重大的，需要立即关注。通过解决这四个维度的担忧，我们可以确保人工智能造福社会，同时避免其潜在风险。各国政府、企业和个人必须共同努力，制定负责任的人工智能发展和使用准则。

---

人工智能的道德，谁来塑造？｜对话

人工智能伦理的下一步是什么？| 图源

导 读

2021年11月，经过两年时间的准备，联合国教科文组织（UNESCO）发布关于人工智能伦理的建议书，这是首个全球性的人工智能伦理标准，参与国家多达193个。

建议书呼吁各国采取数据保护行动，提出人工智能系统不得用于 社会 评分或大规模监控目的。

《知识分子》就该建议书的内容对话UNESCO专家组成员 曾毅 ，他认为：

人工智能曾经是一个科学畅想，但在当下是一个“伞概念”，包括各种涉及算法的技术；

“相称性”应当是人工智能应用时的重要原则；

人工智能原则上不应应用于大规模监控和 社会 评分，但也应有例外情况；

伦理规则不应只在人工智能产品的设计阶段起作用，只有在全生命周期真正做技术落地，才有可能真正实现治理；

人工智能在研究过程中不需要太多限制的说法是误区，学界应当在人工智能技术发展和伦理治理中发挥引领作用；

只有人工智能的发展和治理的深度协同，才能最终实现人工智能的可持续稳健发展；

未来人工智能特别应当在推进生物多样性与生态发展、气候治理、文化交互等领域发挥赋能作用，助力全球可持续发展目标的实现。

撰文 | 王一苇

责编 | 陈晓雪

“欧盟在制定相关标准时，不会考虑亚洲的关切…… 不同国家的文化背景使得他们对于技术阵痛的观察视角不同。” 中国科学院自动化研究所人工智能伦理与治理中心主任、国家新一代人工智能治理专委会委员曾毅说，“而UNESCO包含了几乎所有的主权国家和相关地区，应当说是最广泛的共识。”

他指出，没有任何一个国家能预知到所有可能的潜在风险，各个国家根据自己国家的价值观、 社会 伦理和技术发展阶段来考量。这就需要大家同步互补的观点，互相学习和交流。

UNESCO的建议书以尊重、保护和促进人的尊严、人权和基本自由，环境和生态系统的蓬勃发展，确保多样性和包容性和和谐与和平共处为价值观，提倡公平非歧视、可持续、隐私等原则。

建议书认为，“人工智能” 这一概念随发展而变化，因此不给出唯一定义，只将其视为 “有能力以类似于智能行为的方式处理信息的技术系统”，其中，包含模型和算法是其主要特征。

曾毅在中国科学院大学和清华大学任职，既是类脑智能模型的研究者，也 “跨界” 钻研人工智能伦理与治理。他是起草教科文组织建议书的24位全球专家之一，同时也是中国参与协商该建议书的代表。多个国家讨论出一个共同的伦理标准并非易事，他坦陈 “这是一个求最大公约数的过程”。

第一版草稿形成后，联合国自2020年开始组织区域性的对话，同时教科文组织也把第一版草稿发到各个会员国，正式征求国家建议。2021年6月份左右，193个会员国派出代表，进行政府间磋商，对文本当中的每一个段落做逐字逐句的修改。

针对这份建议书，《知识分子》与曾毅聊了聊他参与起草的过程和对人工智能伦理现状的观察。

为了表述的简洁和清晰，访谈稿略有编辑。

知识分子 ：建议书称 “无意对人工智能作出唯一的定义”，只探讨 “人工智能系统中具有核心伦理意义并且在国际上已形成广泛共识的特征”，为什么？我们现在说的 “人工智能” 到底指的是什么？

曾毅： 每个机构、国家，在人工智能战略里对人工智能的定义都不一样，在这上面达成一个全球共识并不必要。它本身就是一个与时俱进的概念，是快速迭代的。人工智能的定义本身也需要适应时代发展。

一开始，人工智能是一个科学畅想。1956年的达特茅斯会议 （作者注：普遍认为是人工智能领域的发起会议） 上，发起人 John McCarthy 说，这个会议的目的是 “从一个猜想出发，即原则上，智能每个方面的学习方式和特征都能被精确描述，使得机器能够模拟它们”。 [1]即在计算机系统上重现人类的心智。这种重现不仅仅是行为上的，更是机制上的。

人工智能最开始的目标是推进科学进展，使人们生活得更好，从很多领域内，尤其是体力劳动中，把人解脱出来。现在人工智能的应用在替代劳力的方面确实比较相关。

但几十年后，人工智能变成了一个 umbrella term （伞概念，指概括性的术语） ，特别是面向产业的时候，不管是自然语言处理、数据挖掘、机器视觉等，都叫人工智能。

现在的人工智能已经不仅仅是一个科学 探索 的领域。现在一个学生做了一个新算法，比如用户上传图片，人工智能就画一个类似的铅笔画出来，谁都可以用。这个图像可能就存在一个大学实验室的机器上，机器获取了你的数据，却不一定有人仔细思考如何去保护你的数据。但个人信息一次的丢失就意味着终身的风险，你甚至都不知道这样的信息丢失在10年20年后对你来说意味着什么。你没有想过，做应用的人也没有想过。别有用心的人就有可能通过各种途径收集数据，对我们产生负面影响。

尽管我非常不喜欢，但现在大家把这些东西叫做人工智能，它的服务出现在我们生活中。而创造程序的人几乎没有经过任何伦理学培训。

2018年开始，我在中国科学院大学开设了一门人工智能哲学与伦理的课。当时开课很困难，大家说你又不是伦理学者，凭什么讲这样的课？诺贝尔奖和图灵奖获得者、卡耐基梅隆大学的司马贺 （Herbert Simon） 写文章[2]讨论过一个观点，好的交叉学科研究，一定是领域A的专家变成半个领域B的专家。人工智能伦理也是这样的。

80%来上我的课的学生都是工学相关专业，20%来自人文学院。对于技术研究者，人工智能创新几乎每走一步，都可能涉及 社会 关怀、 社会 伦理，他们需要知道注意哪些 社会 伦理问题，需要了解未来二三十年人工智能作为一个道德主体可能对 社会 造成的挑战；而从事科学技术哲学研究的学生，未来将会是中国人工智能 社会 相关领域重要的意见领袖，他们需要知道人工智能真正的进展。

知识分子 ：怎么看待建议书中 “人工智能不能用于大规模监控和 社会 信用评分” 的表述？

曾毅： 人工智能不能用于大规模 社会 监控和 社会 信用评分，是政府间磋商时德国的学者提出、列进去的。

说到这个，就要提及我们讨论的一个概念叫proportionality （相称原则） ，意思是，不是什么时候人工智能都好，不需要的时候就不要用。现在很多技术创新者会提出 making AI everywhere （让人工智能无处不在） ，我看到的时候就觉得，有必要吗？

以城市治理为例。舒可文先生的著作《城里：关于城市梦想的叙述》指出，城市的规划，一半是野蛮生长，一半是规划，这才叫做城市。因为城市中除了技术还有人际关系，它的形成方式是多样的。人工智能也不是什么地方都要去介入，应当适度使用。

不过我有一点保留意见，即使在欧盟的人工智能法中，大规模 社会 监控这件事也是有例外的。比如抓逃犯、寻找丢失的小孩、威胁国家和 社会 安全的特殊情况，是可以去应用相关的技术的。中国也在这些领域应用了这些技术，如寻亲打拐，效果也很好。但在教科文组织的规范中，并没有明确给出例外情况，我觉得不是特别合适。

社会 评分当中是否要使用人工智能，我觉得确实需要慎重思考。

社会 信用系统现在是一个精确匹配的自动控制系统，不是人工智能，没有学习能力。很多规则都是清晰的、人类定义的规则，比如违反交规的扣分和罚款你不交，但有钱去买机票，这个就说不过去。但如果基于大规模的数据去学，学到规则后应用到 社会 信用评分中，我作为普通公民也会比较担忧，因为学到的这个规则里，很可能有人类的偏见，如果没有人类来辨别，直接应用很可能有潜在风险。

例如，推荐工作的人工智能系统，给40多岁的男性推荐高管职位，给28岁的女性推荐服务员职位，这就是系统学到了 社会 的偏见。谁说28岁的女性不能当高管呢？人工智能现在没有真正理解的能力，它甚至不知道什么是男女，不知道什么是不公平，也不知道什么是身体和心理的伤害，那么怎么可能对这种偏见去做处理？

曾毅在看一本讲全球公平的图书，他说，“未来使机器人真正理解公平”是AI伦理的核心| 图片由曾毅提供

有些人说，技术是中立的，我不同意这个说法。我觉得说技术中立是一个借口。技术学到了偏见，但没有去处理，它还是中立的吗？推荐算法没有加入干预的过程，而推说这些都是 社会 的问题，这都是在找借口， 社会 的问题不代表你没有解决的办法。

正是因为有这样潜在的问题，在没有人为筛选和有意监督的情况下，把人工智能应用到 社会 评分领域，可能会造成巨大的负面效应。目前我还没有看到这样的例子，希望在哪里都不要发生。

知识分子： 由于新冠疫情，各个国家都开展了不同规模的 社会 监控和信用评分，这和上述原则不是背道而驰吗？

曾毅： 2020年3月份， MIT Technology Review做了一个工作，分析了各个国家 contact tracing （密接追踪） 的软件[3] ，评价上，如果强制收集信息就很糟糕，不强制就好一点；国家运营的话也很糟糕，私营的就好一点。可以看到，中国的评分很糟糕。我认为它的评分很不客观，它只考虑了伦理方面。

选择性地向用户要求信息，实际上降低了这个系统的有效性。如果系统使用过程中采取并非强制而是完全自愿的原则，有可能导致密切接触网络的关键数据缺失，使得系统的数据分析无效，或者效果很差，那么我们为什么要用它？去用一个伦理设计上更道德、但应用层面效果很差的系统，还不如不用。Wired杂志后来有个报道[4] ，说西方国家的contact tracing似乎没有亚洲国家那么有效。有效性到很后期的时候才被西方国家提上日程讨论。

在这个过程中，我们要学到的是如何平衡。这种平衡不是妥协。接受为了疫情而采集温度和人脸信息的数据，不意味着让渡隐私。2020年底，在 健康 码上输入身份证就可以获取到明星的素颜照，这就是开发 健康 码系统的机构没有很好地保护个人数据。 （作者注：2020年12月29日，对于北京 健康 宝“代查他人 健康 状态功能，有时不需要进行人脸识别”的情况，开发北京 健康 宝的单位北京市经济和信息化局大数据建设处（智慧城市建设处）回复称：“此问题已解决。” 事件中未见问责。）

如果相关的机构不能有效保护这些数据，是应当负责任的。2021年11月1日起施行的《中华人民共和国个人信息保护法》，规定个人信息处理者应制定内部管理制度和操作规程，加密，安全培训，制定安全事件预案等方式确保其收集的个人信息的安全，而如果违规违法，则将面临从警告、罚款、停业到刑事处罚的惩罚。此外，2019年起施行的《儿童个人信息网络保护规定》专门针对不满14岁的未成年人信息保护作出规定，违反者由网信部门和其他有关部门依据职责，根据《中华人民共和国网络安全法》《互联网信息服务管理办法》等相关法律法规规定处理；构成犯罪的，依法追究刑事责任。此外，国家互联网信息办公室近期刚结束征求意见的《移动互联网应用程序信息服务管理规定》修订版规定，应用程序的发行者和发布平台应接受 社会 监督、设立举报机制，对于存在数据安全风险隐患、违法违规收集使用个人信息行为的，或者损害个人、组织合法权益的应用程序，应当停止提供服务。

即使这样的系统是必要的，这不代表用户以任何形式让渡了隐私。它其实提出了更严格的要求，在满足隐私保护约束的前提下，才可以采集信息。

政府对于技术发展的管理和治理有一个学习的过程，而基础设施研发团队如果伦理意识淡薄、安全意识缺位，就会使得购买了服务的政府要为可能出现的纰漏背书。政府一定开展了质量评估，但是由于AI伦理专家的缺位或者设计的缺陷，并不是所有的伦理问题能够在评估阶段发现。政府应该为此负责，但是由于部分信息不透明，有时候我们可能无法了解后续处理情况。在这种情况下，在 社会 舆论监督的影响和政府的督促下及时调整系统设计与实现，是底线。

知识分子： 纸面上的伦理规则，如何落到现实中？

曾毅： 伦理原则即使在设计阶段发挥了一些作用，但在算法实现、产品服务和产品部署的过程中如果不注意，都可能带来各种各样的问题。只有在人工智能产品的全生命周期 （包括它的上下游客户） 真正做技术落地，才有可能真正实现治理。

举个例子，2019年杭州野生动物世界的案子 （作者注：杭州市民郭兵于2019年购买杭州野生动物世界双人年卡，并确定指纹识别入园方式，但野生动物世界此后强制要求激活人脸识别，否则无法入园，郭兵因此提起诉讼，该案以郭兵胜诉告终，被称为 “全国人脸识别第一案”） ，其实就包括使用和部署环节的问题，知情同意没有做好。此外，采集的数据到底是保存在动物园还是相关企业，企业的保密和数据加密资质是什么样的？这一切都不清晰。

而在伦理原则还未落地、还不是法律的时候，如何实施？换脸软件ZAO和教室表情识别看学生是否认真听讲，是两个具体的例子。ZAO在上线后三四天下线，被工信部约谈；而教室表情识别的事发生后，教育 科技 司表态，在不必要的场合就不需要引入人工智能，建议不要使用，那时就基本上叫停了相关服务的发展。当时绝大多数人脸识别企业都有做类似尝试，有些可能已经形成应用，甚至规模化应用。据我所知，很多企业的这条产品线基本也都停掉了。

法律讲的是底线，红线。 科技 发展过程中法律的守护底线红线作用永远不可替代。而 科技 伦理问题是法律之上的 科技 发展与 社会 之间的软性约束和契约。不触犯法律并不代表没有道德伦理问题。伦理道德对 科技 发展的考量和反思是确保 科技健康 发展不可或缺的要素。 科技 发展与 科技 伦理形成双螺旋结构， 科技 才能稳健地助力人类文明的繁荣。

企业创新者要做全生命周期的伦理落地，要自律自治。有些企业有专门的伦理委员会和伦理研究组，但有一些小企业或者初创企业没有这个能力，学术界和政府应该给他们提供伦理相关的服务，以公共服务的方式，避免这个问题，后面的监管会省很大力气。

我们现在也在和政府相关部门合作推进人工智能治理的公共服务平台。[5]

知识分子： 人工智能是不是安全和人工智能是不是道德，有关系吗？

曾毅： 人工智能安全和人工智能伦理是两回事，但它们不是不相关的事。安全是AI伦理的一个必要属性。

技术风险会引起 社会 问题。举例来说，现在的深度神经网络做看似智能的信息处理，但经常会犯人不会犯的错误。去年11月，世界公众科学素质促进大会在北京举办的时候，一个做新冠病毒感染肺炎筛查的企业说他们的准确率已经超过了医生，完全可以替代医生。那时候还没轮到我发言，但我当时不得不打断，我说毕竟这是一个科学素养大会，做的是公众科普 （传达的信息要准确） 。人工智能永远不应该代替人类决策，说完全替代医生，这是完全错误的。因为现在的人工智能系统很容易造成误诊。比如一个皮肤癌筛查的系统，一个角度照手上的小包就是99.99%的可能性，换一个角度就检测不到。这种错误医生是不会犯的。人工智能说是99.99%的准确率，但一张图像加一点噪声，就可能被识别为其他东西。

有人说，识别错了又怎么样呢？我举一个例子，谷歌的3D物体识别系统，有80%的概率将一个3D打印的乌龟识别为一把来福枪，20%的概率识别为其他东西，但没有一次识别为乌龟。设想这样一个场景，10岁的小孩拿着一个3D打印的乌龟站在马路边上，但监控系统把它识别为10岁的小孩拿着一把来福枪站在马路边。如果有人刻意制造这样的事件，对于 社会 的治安将是很大的挑战。

又例如未来的自动驾驶无人车，如果被黑客操控了，如果 （被威胁方） 不交钱就直接开到悬崖下，甚至用于攻击 社会 ，这种风险都是技术本身的风险。

人工智能的风险要分等级，应当对应用紧迫、高风险的领域做合理的分级管理。例如自动驾驶的风险不仅仅在全自动驾驶的时候有，辅助驾驶时，如果视觉系统被攻击，检测不到图像，前面一片白，它就冲过去了。

最麻烦的事情不是技术解决不了这些问题，而是伦理意识的缺失。本来容易解决、可以防患于未然的事情没有人重视，在产品研发过程中没有解决，这才是现阶段我们最大的风险。所以为什么说号召大家把伦理原则嵌入整个产品的生命周期，就是这个意思。

知识分子： 企业对于这份建议书有什么样的反馈？

曾毅： 有一些企业会说，它似乎符合其中70-80%的原则，非常自豪。我就说，其实后面的20-30%才是最关键的。如果其中70-80%都不符合，可想而知你做的是一个什么样的产品。

如何去解决后20-30%的问题，我觉得是一个共同挑战。企业与学术界有距离，很可能不知道如何落地，或者有些问题现在大家考虑都比较少，就需要学界和业界共同努力。比如，大家都谈用户隐私，用户授权后，不满意了要撤销，不想用这个服务了，那么你得把我的数据删掉。在数据库里删掉用户数据很容易做到，但人工智能模型中，把用户的特征数据删掉，对于每个模型都很难。除非你重新训练人工智能模型。但对很多企业，重新训练要两个礼拜、一个月甚至半年才做一次，很难做到真正意义上的实时用户授权撤销。

真正可持续的发展，责任不光在政府，很多时候是一个生态共同体。按联合国规划，我们总共有不到十年时间实现这些可持续 （发展） 目标。如果仅仅是政府在推动，这个目标很难在十年内实现。

知识分子： 学界在开展人工智能研发活动时，需要注意什么？

曾毅： 一方面，我想纠正一个错误观念，认为在研究阶段不需要太多的限制。我觉得这是不对的。

例如做人脸识别算法，就算没有提供服务，收集了人脸来提升性能，是不是就不会有伦理问题？如果在研究阶段没有伦理考量，很容易因为利益引诱，成果或者副产品作用到 社会 ，产生负面影响。

另一方面，伦理的前瞻性研究，学术界一定要发挥引领作用。一方面是在人工智能服务中加入道德约束，使得它更符合伦理道德规范；另一方面，未来是否能开发真正能自主学习、理解人类伦理道德的人工智能，是非常重要的学术挑战。

仅有产业界的努力是完全不够的，甚至几乎没有产业在做这样的事情。

可持续发展和治理是深度协同的关系，既不是竞争，也不是平衡，就像DNA的双链结构，互为支撑，使结构相对稳定。实现发展和治理的深度协同，最终才能实现稳健的发展。学术界应当前瞻性地作出引领工作。中国和阿联酋的人工智能规范中比较强调可持续，其他国家的可能没有那么明显。

人工智能在实现过程中也会带来碳排放。现在人工智能在向大模型方向发展，能耗是非常高的。而产业在推进大模型研发的过程中，基本没有考虑碳排放的问题。人工智能本身的目的是去替代一些体力劳动，但如果替代过程中碳排放的成本还高于人力，负面作用很大，是否值得就是个问题。我们自己做了一个研究，叫做AI Carbon Efficiency Observatory[6] ，人工智能碳能效的观测站。把所有人工智能大模型的碳排放情况列出来，让大家去看一看。

此外，指南中提到的另一个要点是人工智能应该促进文化传承。当时其他的代表提出人工智能促进文化传承，我说，传承是保护，没有交互，它可以更进一步，不仅保护文化，还可以找到文化之间的联系，通过人工智能赋能文化交互。比如你对法隆寺这个传统的佛教寺庙比较熟悉，但不熟悉故宫，它们之间的关联实际上非常多。你喜欢敦煌，而敦煌的文化其实和来自世界其他国家的文化是非常相关的。文化交互引擎(Cultural Interactions Engine) [7]就是通过人工智能技术自动发现不同文化的景点和自然资源间存在着的关联。

参考资料：

[1][2][3][4][5][6][7]

制版编辑| 卢卡斯

新一代人工智能治理原则

新一代人工智能治理原则如下：

1、“负责任”是主题

治理原则突出了发展负责任的人工智能这一主题，强调了和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理等八条原则。

薛澜说，这里的“负责任”是多方的责任——既有人工智能研发者，也有使用者、管理者等其他相关方，各方应具有高度的社会责任感和自律意识，严格遵守法律法规、伦理道德和标准规范。

在这个基础上建立人工智能问责机制，明确研发者、使用者和受用者等的责任。人工智能应用过程中应确保人类知情权，告知可能产生的风险和影响。防范利用人工智能进行非法活动。

2、发展的眼光看问题

敏捷治理是这个意思。人工智能的发展日新月异，技术更迭之快、新产品出现之频繁远超出人们的预期，所以过往在人工智能治理过程中最大的麻烦就是老政策解决不了新问题，这一次《治理原则》推出了“敏捷治理”。

这是一个全新的思路，中科院自动化所研究员，国家新一代人工智能治理专业委员会委员曾毅向科技日报表示，《治理原则》针对人工智能独特的发展规律，在推动人工智能创新发展、有序发展的同时，更应该具有前瞻性和预判性，这样才能及时发现和解决可能引发的未知的风险。

敏捷治理可以让我们对未来更高级人工智能的潜在风险持续开展研究和预判，确保人工智能始终朝着有利于人类的方向发展。

3、尊重隐私

禁止滥用、恶用人工智能。这些年来，我国的人工智能技术取得了长足发展，中国的人工智能发展动力从哪里来？坊间有过各种说法。

上海大学教授，国家新一代人工智能治理专业委员会委员李仁涵表示，我国的人工智能发展得益于数据量的快速增长、计算能力的大幅提升、机器学习算法的持续优化，以及政府、企业对人工智能技术的大力支持。