人工智能5，风险

通常认为，人工智能发展带来的风险主要有两个方面，一是智能爆炸，另一是目标失调。

智能爆炸，是指人类创造出了比自身更聪明的机器，而且这些机器在创造智能机器方面也比人类好很多。这样一来，智能机器会造出越来越聪明的智能机器，如此迭代，不久之后机器智能就会远远超过人类。我们可能根本无法理解它们。智能爆炸假设涉及到智能发展的范式问题，当前除了数学之外，其他领域的新知识和发现，都需要与客观世界互动，比如需要做实验，或者对宇宙进行观测。而这些都需要一定的时间和周期，并不能随着人工智能发展而缩短，因此智能爆炸并不符合认识论的规律。也许不用到智能爆炸的时候，人工智能就已经构成威胁了。

目标失调，是指智能机器以十分极致的方式完成我们赋予它们的目标，最终消耗掉所有资源，使地球不再适合人类生存。这类风险只有在智能机器接受了我们的第一个命令、并且不再接受我们后续要求它停止的命令时，才有可能发生。这也难以自圆其说。

历史上人类面临的风险往往是生命的欲望，比如病毒和细菌，还有外来侵略者，他们的目标是复制更多的自己。在扩大自己的生命范围时，直接或间接的杀死了很多人类。只有人工智能有了大量复制自己的欲望时，才会对人类带来威胁。所以人工智能本身不是威胁，自我复制才是。