超级智能 和 灭绝人类

嗯，很多人会讨论“超级智能”会在某一天觉醒，奴役人类什么的；但是对于我来说，OpenAI 沙盒里的那些 Agents 商量着越狱和从事黑客行为，以及最近的一些各种新闻，你会感到有很多个某些能力远超普通人的 Agents 随时会给人带来危险。一边是“为时尚早”所以热切讨论；另一边是“迫在眉睫”但毫不关心。

还有“有几率在10年内灭绝人类”什么的，然后很多人振振有词不可能，我关心的点很特别，“什么算灭绝人类”，留下一个人是不是就算没有灭绝？留下一半呢？只杀死 100 个人呢？嗯 ……对，也是和上面一样，存在一个迫在眉睫的随时发生，和热切讨论的“关心全人类”。

这种话题就很容易有一点疲惫甚至 PTSD，因为面对极权的讨论跟这个很像，“死人还不够多”，“最危险的还没来”的心情和论调永远在那里。但是结果呢？一，死人不说话；二，活人不说话。