每一种生命的进化,都要消耗某种资源。电脑之所以成功,是因为它耗电而不直接和人类抢粮食。汽车之所以成功,是因为人类自己不吃汽油。电脑和汽车没有耗尽地球上的所有资源,因为随着资源紧缺,他们会在耗尽资源之前增速减缓达到一个平衡。所谓我们看到的指数模型只不过是逻辑斯蒂模型的前半段。 如果有一种强大的人工智能出现,我们警惕的是它在到达这个平衡之前是不是已经危害人类了。你要让它消耗的资源与人类冲突尽量小。或者让他受的限制足够多,在一个比较低级的层面上就受到限制,早早地达到平衡,不要比人类还牛。 罗胖举的几个例子,其实是用人类的语境和一个对人类语境知识为零的机器对话产生的误解。(所以根据这个噱头写出来的科幻小说,它的原创性来源于语言学而不是科技。)人和机器人的交互当然不能完全使用人类语言。你可以首先把你能想到的初始条件都设置进去,以后每说一句话都要有上下限:不要危害人类;when confused, pause and ask for human input;可以自我复制,但不要耗尽所有资源;帮罗胖签名售书,但不要超过一万本 等等。