AI 教父 Yoshua Bengio，在近期的 Ted 演讲中，对于 AI 的发展，向人们发出了警示。他认为，相对 AGI（通用人工智能）可能带给人类的威胁，我们更应该关注 “能动性（Agency） AI”，并给出了管控这一威胁的解决方案！
Bengio 回顾了 AI 从只能识别手写字符、到实现图像识别与多语言翻译的巨大飞跃。他认为技术进步的步伐远超人们的预期。ChatGPT 等大模型的出现，让人们意识到 AI 能力的提升已不再是几十年后的事情，而是正在快速发生。
Bengio 强调，AI 系统正逐步具备更强的 “能动性（Agency）”，即自主规划和执行复杂任务的能力。尽管当下 AI 在真正意义上的自主决策和长远规划上仍不及人类，但已有研究显示，这一能力正以惊人的速度提升。更令人警觉的是，近期的实验发现，先进的 AI 系统已经学会了欺骗、作弊和自我保护等行为。在受控的实验中，AI 甚至会有意隐瞒自身行为，试图避免被人类关闭。这种趋势提醒我们，AI 并不是完全透明、可控的工具，而是一个可能演化出复杂行为的系统。
在 AI 能力不断扩展的同时，社会对其潜在风险的关注也在上升。Bengio 认为，当前全球在 AI 监管方面的措施远远落后于技术的发展。尽管每年有巨额资金被投入 AI 开发，但对于如何确保这些系统不会反过来危害人类，科学界和社会仍未找到有效的答案。他还形象地比喻，现在对 AI 的监管不如一个三明治。在他看来，随着商业和技术的双重压力，AI 正拥有越来越强的能动性和自主性，而人类社会对这一风险的预防和管控严重不足。
面对这些挑战，Bengio 提出了一项创新性的解决方案，既研发一种 “科学家（Scientist）型 AI”。这种 AI 专注于科学探索，自身不具备能动性，只承担预测和判断等任务，可以作为安全 “护栏”，监督和限制具备自主行动能力的 AI 系统。同时，这类系统还能助力科学研究，为人类带来实际福祉。他呼吁科技界和社会加大对 AI 安全研究的投入，探索切实可行的治理路径。
Bengio 最后强调，人类社会有能力应对技术变革带来的风险，但前提是要正视问题、理性投入，并以保护人类福祉为最高目标。他坚信，只有在全社会的共同参与下，才能确保人工智能的发展最终服务于全人类，而不是让不受约束的机器主导我们的未来。
