第三**章 池鱼(2/2)

避免危机的关键，在于“适度”，在于永远不要企图用计算机去取代人的一切。

一旦迈过红线，尝试让计算机完全替代人，替代人去从事创造性的科学研究，事态就将失去控制，这绝不只是说说而已，而是在计算机能力突破阈值、彻底失控后，必然会发生的空前绝后之浩劫。

诚如自己之前所想到的，那种危机中，计算机的角色并非屠夫，或者恶魔。

而是创造性思维的无限延拓，迟早会让“计算机+ai”的存在，变成某种人类根本无法掌控、甚至无法理解的东西，继而在其（或许并非恶意）的行为中深受其害。

就像孵化的寄生蜂幼虫，吞噬寄主，其无非是按基因编码行动，却会导致寄主的灭顶之灾。

景象令人不寒而栗，匆匆吃过早饭，在房间里踱步休息，方然强迫自己不要再思考这一问题，而将其推延到遥远的未来。

否则，稍加思考，他就难免会头痛万分。

办法似乎是有的：

要避免计算机失控、成为新的神，就不要开展“计算机科研”的研究。

可这样一来，对“那个人”而言，情形就会变得极其恶劣，需要单枪匹马、充其量以计算机为工具，独力面对客观世界，去尝试推动人类科学技术的进步。

一个人研究科学，推动进步，这样做的难度会有多高呢，简直就是不切实际。

但由于计算机失控的风险，这，却是“那个人”唯一可行的策略。

科学技术的发展，因人类消亡而无以为继，这是一个很棘手的问题，但，问题还不止于此。

倘若不进行“计算机从事创造性科学研究”的探索，毋庸讳言，也就断绝了“用计算机模拟人类意识”的可能。

无法在科研领域替代人的ai，是不可能与人脑相提并论，进而，也就无法研发出这样的计算机系统，其能够承载人的意识。

换言之，一旦顾虑失控风险、拒绝让计算机成神，也就断绝了“计算机中永生”的路。