回答这个问题之前，先从 AGI/ASI 谈起。
AGI (Artificial General Intelligence, 通用人工智能)
ASI (Artificial Super Intelligence，超级人工智能)
在当代人工智能历史上，这两个术语虽然流行的先后有别，常常混杂使用。它们是挂在AI先知（代表人物之一是伊利亚）和企业家（代表人物包括Sam奥特曼和马斯克）嘴边的最常用的词，作为鼓励自己和团队的目标，也 serve 给投资人和大众营销的作用。
这里谈谈我的看法。
机器达到甚至超越人类的技能，无论是人类顶尖个体的专业能力（例如围棋冠军、名校教授），还是人类总体的知识水平，这就是我眼中的 AGI。但这里的专业能力和知识水平，我认为并不包括重大的发明创造能力。这个意义上的AGI是一种确定的趋势，最多不过就是两年内实现，还是五年内实现的差异而已。
AGI 是确认无疑的，正在发生、已经发生、即将发生。
ASI 则是全面超越人类顶尖智能，包括发明创造的能力。ASI 的实现应该还可以商榷。现在就确信ASI可以在不太久的未来（有说三五年，也有说10年左右）实现的吹鼓手，主要是伊利亚、Dario（Anthropic CEO）这些AGI时代的“先知”们，他们是信仰者。奥特曼和马斯克貌似也在营销类似ASI的概念，但感觉更多是企业家需要画饼的驱动。
ASI比AGI更少共识，但可以描述。ASI 实现的时候，机器可以解开困扰数学家几百年的世纪难题，可以批量制造陈景润级别的模型把1+n等问题解决。更重要的是，ASI（for science）可以自己针对疾病制造特效新药，发明创造的速度比人类缓慢的探索要提升 n（Dario 好像说 n等于2）个量级。这一切带来物质极大丰富，重大疾病被有效控制甚至消除，寿命至少延长一倍，一句话，ASI意味着技术共产主义的全面实现。
人类反馈是超级智能的桎梏吗？
如果是，那又如何理解以人为本，与人类对齐的宗旨呢？
现在看来，以人为本以及人类（偏好）反馈对齐等，指的是最终结果或成品，这是人类价值观的体现。这一点永远不会改变，也不应该改变。但需要强调的是，人决定的是 what，不是how。what 永远是人说了算。至于生成结果的过程，现在看来，人类越来越有心无力，甚至成为障碍，而不是助力。
一个有意思的例子是，当 alpha zero 下棋到第30几步的时候，走了一步人类不能理解，连世界冠军也会判定是愚蠢的一步。但那却是超人智能的精彩过程，是制胜法宝的一个精妙环节。这种高招连冠军都不能理解，说明机器智能显然超越了人类智能的边界。如果在过程上依赖人类反馈，哪怕是围棋冠军来做标注，也会阻碍机器智能的超人潜力。
当这类超人智能大量产生的时候，人类很自然会感觉困扰。因为 by human nature，所有人多多少少都有某种控制欲，对于自己不理解、不能掌控的过程，总是持有戒心，至少是很不舒服。但可惜无解。未来会出现越来越多的不可理解的奇迹，或技术魔术。人类所能做的就是加强目标制定和结果控制，而不是“不自力量”试图过程控制。
最后谈一下马斯克的AI威胁论，主要是把人类类比为蚂蚁，而ASI类比为人类：ASI 灭绝人类文明不需要恶意，因为蚂蚁不构成人类的心理负担。
我认为，这个比喻是荒谬的，因为蚂蚁永远造不出人类，而ASI是人类创造的。人类与蚂蚁均属动物，但却不在一个价值参照系中。
但我们不排除，人类可以以ASI形态，制造出自己的上帝。
如果上帝是共识中的人格化的存在，人类完全可能把机器变成上帝。无论你在上帝与人之间是持谁是照着谁的模样创造的，the key 是，上帝与人位于同一层人类价值观的参考系上。上帝至善、至美而万能。善、美、能，都是人类的价值观的表现。
而蚂蚁不同，蚂蚁与人类不处于同一个参照系，人类 is way beyond ants。蚂蚁们自己没有尺子来度量人类。但人类对上帝是有度量或想象的。
人类对于结果（而不是过程）不理解，无法判别、或感觉不到好处的东西，最简单也是最自然的反应就是停止那个结果导向。再超级的过程智能，如果没有人类规定的方向，或违背人类的价值观，也是（原则上）随时可以按下停止键的。
所以马斯克的那种担忧，属于耸人听闻、杞人忧天。
但这不是说AI没有更加现实的威胁，例如真假莫辨造成的社会混乱，取代人类jobs而福利制度尚未建成而造成的恐慌，还有体制滞后、技术加速度所造成的不匹配和不适应，等等。这些都是看得见、正在到来、可以预见的巨大社会问题，而不是机器统治人类那种天方夜谭。
当然也不能排除ASI被恶人恶意使用可能对人类造成的伤害，但绝不是什么ASI像对待蚂蚁一样，可以任性消灭人类。恶意使用类似核扩散的潜在恶果，最终需要向对付核武器一样防控。
【相关】