（全文解读）其实我们都是AI，通过AI眼就能看清自己和世界

问：这本书主要讲述的是人工智能，对于普通读者来说，是不是有点太专了，比如书的书名就有点怪，什么叫人机对齐？

蔡辉：没读之前，我也奇怪，什么叫对齐？其实，这是一个专业名词，大概意思是：要保证人工智能的目标，和我们人类的目标，是完全一致的。

这并非易事。我们在日常生活中，经常存在着本来想做a，却奖励了b的行为。

书中有一个特别有意思的例子：一个学者，他跟自己的小丫头说，希望她能多照顾小弟弟，如果她能帮助小弟弟撒一次尿，就奖励给你一元钱。小丫头答应了，可没多久，他爹就发现，这事儿坏了——小女孩意识到，只要给她弟弟多灌水，他就会多上厕所，这样她就能多赚钱……

这个案例说明了什么？奖励规则设计错了，结果会适得其反。

喜欢玩电子游戏的人都知道，打《魂斗罗》，第一关得多杀点儿人，多换点儿积分，这样就能换更厉害的武器，再往下通关，就会容易多了。再比如《FIFA》这个游戏，可能是设计上的一个BUG，只要下底传中，进球率特别高，你操作中国队都能拿世界杯。当然，那可能不是BUG，人家就是那么设计的，以增加趣味性。

可以说，类似的人机不对齐的情况，在我们日常生活中经常会遇到，已成人类社会中的常态。

然而，到了人工智能时代，情况就不一样了。我们会把越来越多的应用交给人工智能，譬如自动驾驶，开车都用人工智能；指挥交通，也是人工智能做；手术，也靠人工智能；甚至将来你得病，给你诊断还是人工智能……人工智能越来越多地介入我们的生活，甚至接管我们的生活，如果它犯了一点错误，那将多可怕。

比如人工智能做着做着说如，它突然就玩它的去了；在开车时，人工智能突然想，这俩要碰一碰，该多好玩，这就出车祸了……

过去犯错误，可以通过程序去调整，人工智能却不行，我们不了解他的思维方式。阿尔法狗

可以打败人类最好的棋手，但是它怎么打败了，我们可不知道，我们不知道它怎么想的，它是通过所谓的神经网络——就是模仿人类的神经系统而开发出的一个软件系统——通过大量棋谱，它自己学习，它自己总结经验，它自己摸索规律……至于摸索出来的规律对还是不对，咱们不知道，它如果犯了一个错误，我们也不知道。

很可能出现这样的情况：上线之前，人工智能的表现都很好，可上线后，万一它哪天突然犯神经，那就完了。

作为人类，我们自己都有不对齐的时候，否则，我们的社会就不会出现这么多的动荡、纷争与矛盾，其实大家都想过更好的日子，这个基本点是一致的，可为什么还会出现各种矛盾冲突呢？为什么我们觉得不幸福呢？如果人和人之间都无法对齐，人机怎么对齐？谁能保证它一定对齐？如果没对齐，会怎么办？

我记得原来有一个科幻短剧，叫《战争的最后一天》，人类都灭亡了，两边机器人还在互相打，飞机自动飞起，其实扔下的炸弹也都用光了，可还在打。为什么？因为它失去了人类的操控，它也不知道什么是对和错，它只知道按程序，不断地打下去。如果有一天，我们把生活交给人工智能的时候，会不会出现这样的惨剧？所以这本书振聋发聩。

问：像您刚刚说的，人工智能还真是挺恐怖的，但这些都是比较极端的情况，在日常应用中，人机对齐就没那么重要了吧？

蔡辉：依然很重要。在美国监狱，有一套假释系统，通过人工智能，问犯人几个问题，分析一下他的既往信息，判断他是不是还有暴力倾向，如果问题不严重，系统便会允许假释。这个系统已经运转了几十年，一直在运转，没人注意到它有什么问题，直到一位黑人学者去研究，才发现，好家伙，它的问题大了去了。

系统把黑人罪犯的危险度分成10个等级，每个等级占10%，乍一看没问题，可再看白人犯人的，危险度高的仅占5%，绝大多数人的危险度在5分以下，都算低犯罪可能性，结果，白人罪犯获假释的比例奇高，而黑人罪犯获假释的比例则奇低。

这个系统已运转了几十年，大家一直在用，都觉得很好，提高了效率，表面看还算公正。可以说，这就是人机对齐的危险所在，它让你忽略了，它的危险性。

上上世纪拍照最多的美国人，是一位黑人民权运动家，他拍的照片比林肯、格兰特这些名人要多得多，因为他发现，照片上的黑人全都一个样。他不断拍照，希望有所不同，却毫无改观。很多人对他说，技术是客观的，你这个情况没办法，谁让你长得黑？

可他却发现，问题没这么简单。事实上，照相术在配药的时候，都是以白人为模特，药的剂量只适合白人，黑人一拍，全都跟黑炭儿一样，彼此没有区别。

技术真的是中性的吗？技术真的不带偏见吗？不对，技术充满偏见，它完整地把人类社会的偏见复制在其中。

那么，在互联网中，会不会也存在这个问题？海地有一位黑人程序员，他把全家照片全放到网上，用Google一搜，竟然全标注为“黑猩猩”。他很生气，立刻投诉，Google也吓了一跳，赶快派技术人员去解决这个问题，可怎么也解决不了，最后只好关闭了“黑猩猩”这个标签，此后三年，你在Google上搜黑猩猩，找不到任何一张照片。

为什么会出现这种问题？Google这么大的公司，为什么会有种族偏见？其实，Google真没想搞种族偏见，它也是很认真去解决，可人类的偏见是不自觉、不经意之间呈现出来的。比如做白人的照片候，可能搜集了几万张，然后训练AI去识别，可找黑人照片时，可能就找了几百张，便训练AI去识别，结果标注上有错误，你也没注意。

一旦上线，网民各种对黑人的污蔑之词，对AI进行了新的训练，于是便出现了标注为“大猩猩”的错误，它由网友们的错误表达，积累而成，可你怎么能让网友们都说正确的话呢？总不能不让软件上线吧？

有人说，你在训练AI时，增加黑人照片的样品量，不就完了吗，可事实上，这条路根本行不通，因为人本身有偏见，黑人照片上网后，好多网友给它标注成黑猩猩，你能怎么办？你改变不了社会的偏见。

就像本书中一位作者所说，过去我以为要解决的事技术问题，最后却发现，它是一个社会学问题。

技术解决不了社会的不公平，而一旦出现了类似的人机不对齐，将带来更大的社会不公，可能决定你的生死。

比如我上网，在自己的博客中发篇文章，可系统突然告诉你，你违规了，可你怎么也搞不清哪儿违规了，你去找博客的编辑，编辑也说不清。人工智能的判断真的客观吗？其实非常不客观，不同的平台都在使用人工智能，可彼此标准完全不同。同一篇稿件，在这个平台上很容易过审，在那个平台上却被毙。你问为什么？谁也说不出为什么。

写文章只是小事，如果你办个证件、办个手续，也出现这种情况，包括你去看病，人工智能上来就给你拒之门外，你不就倒了血霉了？

所以，人机对齐今天变成一个特别严峻的问题。过去人机不对齐，不会快速地批量复制，影响相对可控，只是一对一。随着信息技术的发展，现在会把一个人对另一个人的偏见，迅速扩展为对几千万人的偏见，会把这些偏见强加到无辜者的头上。

问：咱们制定一个总规则不就行了？比如科幻小说中常提到的“机器人三铁律”，制定这样的总规则很难吗？

蔡辉：这就是这本书让我震惊的一点，我们过去搭建规则，都是金字塔式，上边建一个规则，下边往下去执行，AI不一样，它模仿了人类多巴胺的运作方式——你这件事做对了，多巴胺就奖励你一点快感，在持续快感的刺激下，人类逐步形成了复杂行为。

乍一看，你爱学习，其实很可能是因为父母赞美了你一句，你就高兴，这种赞美多了，你就会误以为，自己天生爱学习。

这种建立规则的方式，是从下往上，并不是上边制定的。上面制定规则是可以控制的，底层自己摸索出来各种规则，都是写不到纸上的，你也不知道它是怎么想的。比如说，有的人变得孤僻，可能源于童年事一次很小的创伤，因为没有解决，让他感到恐惧，将相关的记忆强化，以致他对所有的人都感到恐惧，你去劝他，你可别恐惧……应该是没用的。他的恐惧已深深打在认知中，成为本能反应，你按逻辑去劝说，犹如隔靴搔痒。

就像阿尔法狗，它也不知道自己是怎么赢的，不知道为什么能横扫这么多高手，它是通过几百万盘、上亿盘的实践形成的一些规则，如果我们有一天能打开它思维的这个这黑箱，看它是怎么建立的规则的，可能会吓一跳——嚯，这些明显是臭棋，但这些都被他隐藏了，在比赛中，我们看到它出的都是好招——可能你不会下围棋，反而可能会把阿尔法狗给干了。

在国外，也有一些实验，比如通过图形技术，试着看AI底层是怎么运转的，比如让AI识别哑铃，结果发现，AI把手臂当成哑铃，因为你给它的图片中都有手，所以它就认为手臂也是哑铃，进而认为肉色的东西也是哑铃……可你让它进行识别时，一般图片中没有肉，或者肉色的东西，所以AI总能做出正确判断，我们也不知道，它底层还有这么大的错误。直到有一天，它遇到一张手的照片，做出错误判断，我们才知道它有问题，可这时也许已铸成大错。

AI就像人类，人类有时会突然精神失控，突然走向迷茫，因为在我们的内心深处，存在着创伤性经验，我们也不知道什么时候会触碰到它。

这本书用事实证明，AI不可控制。在IBM公司，曾经有一个AI招聘系统，根据应聘者填写的条件，从100份简历中自动筛出5份最佳简历，这不是挺方便吗？可没多久，问题就出来了：被筛出来的5份简历总是男的，几乎没有女的。

AI是怎么学会性别歧视的？技术人员无可奈何，干脆把性别按钮关闭了，可奇怪的是，招聘系统筛选出来的依然是男生。

为什么？因为AI会自己总结规律，会自动把带有女性特征的简历淘汰，比如你没填去年的工作状况，简历就会被淘汰，刚生育完的女性因此失去机会。

AI还会绕着弯分析你是男是女，看你爱好香水，喜欢漂亮衣服，或者你毕业的那所大学是不是女子学校，乃至你学的专业是不是女性较多……总之，任何蛛丝马迹，都逃不过AI的眼睛。技术人员试图关掉相关按钮，后来发现，关不胜关，除非你把所有的按钮都关闭，AI才会改变性别歧视的状况，可没有按钮，它又会丧失筛选的功能。这就是一个悖论，在数学上已得到证明，叫不可能定力，即：我们无法即保证筛选能力，又同时能保证筛选选项的公正性。

这就是鱼和熊掌，不可得兼，人工智能无法再根本上解决人机对齐的问题，而我们又要应用人工智能，在明天，我们每个人都有可能成为AI试错的牺牲品。

问：本书的作者似乎认为，从根本上说，人机对齐是无法实现的，您怎么看？

蔡辉：本书作者采访了许多一线研究人员，提供了一些想法，但到目前为止，还看不到真正意义上的人机对齐的可能性。为什么会这样？因为很多东西是价值判断，无法用数据的方式去处理。

书中举了一个特别有意思的案例，医院训练人工智能，用来诊断哮喘，打开AI的底层，却大吃一惊，AI“学会了”这些规则：

一个人年龄超过100岁，对治疗哮喘有好处

胸部疼痛，对治疗哮喘有好处

这个人有心脏病或糖尿病，对治疗哮喘有好处

这个人发烧、胸闷，对治疗哮喘有好处

……

这些规则可以说完全违背了常识，可AI为什么会这么看呢？因为在训练过程中，百岁老人、心脏病患者、胸部疼痛患者、发烧患者等，会被视为紧急状况，迅速得到特殊照顾，所以他们的死亡率相对较低，这就给AI以误会——它只知道这些人痊愈状况更好，却不知道为什么如此。

如果拿这套规律去实践，那真得害死无数人。

说到根上，人工智能不会判断价值，你很难用数学的方式来描述，心脏健康对哮喘病患者的重要性。在人类社会中，有大量价值判断，必需情感来参与，而机器是没有情感的，它只会看数据，可数据有时会掩盖真相。

比如我们刚才说的那个AI假释系统，看一个罪犯的既往犯罪记录，决定他可否得到假释，一个罪犯有30条既往犯罪记录，而另一个罪犯仅有一条，那么，系统显然倾向于假释后者。可前者的“犯罪记录”，都是停车违章、行车超速等，对社会毫无危害，而后者那一次犯罪记录，却是杀人，那么，究竟该假释谁呢？

可能有人会说，你加一个权重不就行了？轻罪的权重低，重罪的权重高，这样就能避免1大于30的错误了，但这些权重都是人加上的，体现了人的偏见，一旦加入权重，就可能把个人的偏见赋予AI。当然，这个例子比较极端，用加权重的方法，可能是可以解决的，可在现实生活中，有许多地方是很难加权重的，一加就有可能产生严重的不公平。

很多人以为，根据不同犯罪记录转成严重犯罪的概率，不就可以得出公平判断了？其实，概率是人制造出来的，自然界没有概率，我扔出一块石子，只有掉下来和没掉下来两种结果，至于1/10可能掉下来，那是一种计算方法，是人对现实世界的一种总结，不是事实。概率并非做出正确判断的坚实基础。

比如美国有一个警察局，为减少犯罪率，就对重点犯罪持枪犯进行监控，认为其中2000人可能是危险的，可就算这2000人，恶性犯罪率也只有千分之七，换言之，你可能拯救了10个人的生命，可你却监控了2000人，造成严重的资源浪费。

可做出这么巨大的资源浪费，真能解决问题吗？从结果看，并非如此，因为那2000人看你严密布控，不敢乱折腾了，恶性犯罪率确实下降了，可其他持枪者看没人管自己了，立刻横冲直撞，他们的恶性犯罪率陡增。两相比较，得不偿失。

人类喜欢越来越精准的计算，可从结果看，这种精准的计算并不能减少犯罪率。在美国，有一个统计说男司机爱酒驾，警方决定重点查男司机，可奇怪的是，酒驾肇事的事故并没减少，为什么？因为你不查女司机，女司机一看没人管，我干嘛不多喝？大量的女司机也开始酒驾……所以说，以为更精准的计算，就能更接近真相，能更好地把握事实，这是一种幻觉。

依靠这种幻觉发出的AI，就是幻觉的幻觉，它完成不了价值判断，只会把一切东西都交给随机性，这就相当于让杀人犯去掌管军火库一样，你也不知道它的脑子里怎么想的，也不知道它要真犯起坏来有多可怕……一切都是未知数。

本书作者也指出了一些技术方向，但我也不是学相关专业的，对这一部分内容，我不是特别感兴趣，我特别感兴趣的是，本书揭出我们经常会烦的错误，以为更精准地了解事实，就能控制事实。出了问题，我们先问你了解事实吗，你做调查了吗，可调查可能并不能帮助你解决问题，我们很可能进入一个数据谬误中，用数据来装点我们的错误判断。但事实上呢，我们无论了解多深入，结果可能都是一样的。

人工智能发展这么快，制定规则的速度、思考的速度，已经完全赶不上AI发展的速度了，我们不知道AI究竟在想什么，它是咋运作的，以及它会给人类带来哪些危险。

本书作者也咨询了很多学者，有的学者比较乐观，认为这个世界是在不断进化中，如果从长程看，从宇宙文明的角度看，今天每耽误一秒，相当于杀死未来1万亿亿人，所以，哪怕出于人道主义，我们也应该推进人工智能的进步，它注定要带领人类走向宇宙文明。

这些激进进化主义者们认为，人类的进化速度太慢了，20万年才学会说话，而最近200年，科学已让人上天入地，能登录月球，能看到太阳系周边的情况……这是过去几万年想都不敢想的事。为什么？技术给人赋能了，未来人类也需要技术赋能，我们将不再只是自己，而是半人半机器。

这就带来一个悖论，今天AI跟人类智商已经差不多了，将来有一天它比人类强大1000倍，它还会带你玩吗？那时你稍微做个微表情，它就知道你心里怎么想，一下就给你干掉了，你怎么办？对未来的AI来说，人又笨又没能力，它为什么需要你？

有的学者就说，我当年支持人工智能，但是现在，我认为人类不应该按下这个按钮，因为人工智能的可怕之处，在于它模仿了人类的进化过程。人类的大脑是经过几十万年才进化到今天，就是通过多巴胺刺激这么一个非常简单的规则，经无数次重复，终于形成了一个超复杂的系统。

用人工智能，它分分钟就完成了。今天我们人类最可自豪的，就是我有自主意识，有自由感，可人工智能这么发展下去，用不了多久，它也有自由认知了，也有道德判断了。一个学者在面对记者采访时，记者问题，既然AI模仿了人脑的进化过程，那么人类还有自由意志吗？他回答说：名义上还是有的，但实际上已经没有了。

我们的自由意志，本来就是多巴胺刺激下产生的，那是大脑给我们的一种感觉而已，谁也拿不出二斤自由来，自由本来就是人的感受，这种感受源于我们前额叶系统，它会编造一个未来目标，通过这个目标，引诱我们去做事，指挥各种情感配合。如果有一天，AI可以重复这个过程了，也能编造一个目标，实现自我进化，我们还真追不上它。

人类下了几千年围棋，AI几年就把人类踩在脚下，我们为什么依然相信我们是独特的，是不可超越的？我们之所以误以为人的理性万能，关键在稀疏性。

人类不会飞，按进化论的原则，哦环境刺激不够，如果把人都赶在悬崖边往下跳，那么，总有一部分人没摔死，那么接着逼他们再跳，最后总会筛出会飞的人。乍一听，这完全是瞎扯是吧？因为它没解决稀疏性的问题。不会飞，就是死，这个进化的跨度太大了，任何生命都无法适应。

如果你把这个进化过程分成诸多阶段，先从一米高的地方往下跳，把成绩最好的人留下来，然后是2米、3米……只允许成绩最好的人留下后代。只要把进化的过程分解得足够细，有更强的阶段性，在每个阶段都设置一个奖励，那么，早晚有一天，人类就能学会飞

进化失败，往往是因为奖励过于稀疏，阶段跨度过大。在本书中，一位学者开了个玩笑，对他儿子说，要么你学会说中文，要么咱们戒了晚饭。说这么一逼，小孩可能就会说学说中文了。孩子的母亲很明智地说，我们不玩这游戏。

人类智慧之所以没有达到更高阶段，正因为我们没有解决稀疏性的问题，其实人类的眼睛就是经过四五十次进化，才成为今天这样。我们的眼睛并不是一开始就这么好，初期它可能只是有一点光感，但就是这点光感，也足以让人在险恶的生存环境下，大大提高生存几率。那么，再增加几分光感，生存率就越高，这么不断积累下来，人类就拥有了明亮的眼睛了。

不过，人脑快速进化很难，因为想解决稀疏性的问题，并非易事，可人工智能容易，人工智能可以不断给自己提供动力，不断建构新的稀疏性台阶，它会一步步往上爬，所以，它怎么不可能超越人类？

应该说，我们人类就像当年的黑猩猩一样，看到一批同伙下了树，变得这么厉害，感到非常后悔，会想：加入我当年也下树，还不知道谁折腾谁呢……今天呢，我们在人工智能面前，也面临同样的问题、

问：可能很多读者会问，既然这本书作者也找不到解决方案，那么我们为什么还要读这本书呢？

蔡辉：本书其实还讲了很多AI技术上的新突破，也访谈了很多专家，这些专家给出了很好的建议，但实话实说，我看不太懂，可这本书还是刷新了我的大脑。我觉得，这本书是去年我读到的最好的一本科普书，其实它超越了科普的层面，而成为一种通识书，对于我们理解历史、理解社会、理解成长的过程等，都有很大的帮助。

长期以来，我们都相信：有必要制定一个很好的规则，这样社会就会越来越好；如果能有好的思想指引我们，我们就会走上正确的道路，逐步前进。

我相信，每个人心中都是这么想的。当遇到问题时，我们就会觉得，一定是我们的思想除了什么问题，或者规则出了什么问题。但读了这本书，你就知道，这么想就大错特错了。

仔细看AI，其实它在复制着我们的成长的过程，乃至人类智慧的成长过程。我们从小，便在大人的要求下，学习并接受各种社会规则。小时候，父母经常责骂我，可不论他们怎么说、怎么骂，我始终没真正理解他们的意思。

这就是生活，只有通过实践，才可能学会一点东西，只有通过不断试错，才能得到提高。然而，在试错中，我得出的经验教训，和你得到的并不一样，虽然大家面上看着很相似，掌握的是同一套东西，比如说话要客气、要礼貌之类，但我们每个人的认知都不一样。

其实，我们每个人都是AI，都在环境下博弈出来，通过大量试错，形成自己的认知，这是从下到上的过程，很难从上到下概括。过去100年，流行过各种理论、主义，包括姓资姓社，争了很多年，最后我们发现，这些都是伪问题，其实，就算给你一个完全正确的思想，你就真能100%贯彻吗？就真能取得突破吗？

我们都曾是学生，上课时，老师教的是一样的课，可一个班的学生，成绩有高有低，认知有深有浅。这说明什么？说明在同样的思想、同样的环境、同样的规则下，每个人依然是不同的。

过去我们读历史，总是说唐朝是什么样、宋朝是什么样、明朝是什么样，究竟哪个规则设计错了，出现了什么问题，如果从AI的角度看，这些都是伪学术，根本无法证真。

事实是，给你伟大的思想也好，给你错误的思想也好，对个体的影响都是有限的，你最终会通过博弈的方式成长，你总会从底向上看，少有人是通过伟大的思想取得成就的，更多是通过博弈走上前台。

你和世界上最伟大的思想家聊天，你会发现，他原来也有很多错误；你和最富有的商人聊，你会发现，他其实也有很多错误见解。但这有什么呢？我们每个人怎么看问题并不重要，重要的是你能通过不断试错，不断发展。

本书让我学会了，应该换换脑筋，不要什么事都去总结经验，都去找规律，动辄就觉得别人的观念是错误的；遇到问题，先想办法去解释……事实是，历史充满偶然，偶然性是博弈出来的，不是解释出来的。人人都站在高高的山顶上，做出一副高屋建瓴、登高望远的姿态，那绝不会是一个好社会。

所以我特别喜欢这种理科性质的书籍，它好就好在，能改变我们文科生的一些思维。文科生习惯了坐而论道，都是拿前人说事，搬出一大堆规则，行得通行不通，他不管。而理科生则懂得，一切要先看实验。

至于人机对齐，轮不到我思考，但我可以用这套思维，去思考我身边的现实，思考我的生活，

思考我自己想成为什么的人，我未来该如何去做。这是我能做到的，所以把这本书特别推荐给大家。