Llion Jones,是论文《Attention Is All You Need》的作者之一。这篇论文提出了 Transformer 架构,后来成了 ChatGPT 里的那个 T,也成了今天大多数先进模型的基础。

他在近期的 Ted 演讲中表达了自己的担忧,他认为当 AI 太成功,创新反而变难了!

他回忆当年做 Transformer 时的状态。那不是一个自上而下的任务,也不是为了完成 KPI。灵感来自闲聊,来自白板上的随手涂画。当他们觉得想法值得尝试,就有时间去做。没有必须发论文的压力,没有 KPI,也没有管理层逼着交付成果。正是这种自由,才给了突破发生的空间。

对比现在的 AI 行业,他看到的是另一种景象。资源更多了,资金更多了,关注度前所未有,但研究方向却变窄了。公司要回报,投资人要增长,研究者担心被抢先。一个想法刚出现,就有好几支团队同时在做。很多人不得不花时间确认别人有没有先发论文。学术界也一样,发表压力无处不在。

在这种环境下,很多人会选择更安全的路径。一个普通但容易发表的想法,往往比一个风险更高的方向更有吸引力。于是大家都在做增量改进,优化已有架构,提升一点点指标。这种模式短期有效,却可能错过真正的跃迁。

他用人工智能里的一个概念来做类比。做搜索算法时,要在探索和利用之间做权衡。只利用现有方案,效率高,但可能陷入局部最优。只探索,效率低,也可能浪费资源。关键在于平衡。

他认为现在的行业过度偏向利用。围绕 Transformer 做各种变体、优化和扩展当然有价值,但如果大家都只做这些,下一次结构性的突破就很难出现。

有意思的是,他甚至说,Transformer 太成功了。正因为它强大又灵活,反而让人缺少动力去寻找替代方案。如果现有技术没那么好,或许会有更多人去尝试不同路径。

他自己已经开始减少在 Transformer 上的投入,转而寻找新的方向。在他的公司里,他尝试营造更自由的研究环境。他提到一个内部项目,从人脑的同步机制获得灵感,做出了新的模型结构。最重要的是,团队在做这个项目时,不用担心被别人抢先,可以从容做实验。这种状态本身,就是一种竞争力。

演讲中他说了一句令人印象深刻的话。只做那些如果你不做,就不会有人做的研究。这样既减少重复,也提高探索效率。

这场演讲不只是对研究者说的。他也在问管理者和投资人,是否愿意给研究更多时间和空间。是否愿意投资那些短期看不清回报的方向。因为真正的突破,往往来自边缘地带,而不是主流赛道。

他最后强调,这不应该是一场零和竞争。大家的目标是一致的,希望技术更成熟,让更多人受益。如果能够多一点开放分享,多一点探索精神,行业前进的速度反而会更快。