谷歌Transformer論文作者全部從科技巨頭離職，最後一位離職者稱AI出路在“東方”

來源：財聯社

作者： 史正丞

原標題：《谷歌Transformer論文合著作者離職創業，放話要給AI產業探條新路》

作為本輪AI熱潮的起點，谷歌在2017年發表了題為《Attention is all you need》的經典論文，對Transformer模型做出了具有歷史意義的重大改進。而根據最新的消息，**這篇論文的合著作者Welshman Llion Jones已經離開谷歌，標誌著當年寫這篇論文的團隊已經全部離開美國科技巨頭。 **

（Llion Jones在論文署名中排第5，來源：arvix）

谷歌的論文也為五年後席捲全球的科技熱潮奠定了基礎，包括ChatGPT、文心一言、Bard、訊飛星火、Stability AI、Midjourney、Dall-E等幾乎所有市面上的知名產品背後都是Transformer架構。

選在這個時候在AI領域自立門戶，與揮金如土的各大巨頭展開競爭，是因為Jones對AI領域產生了一些不同的想法。

Jones與前谷歌AI日本地區的負責人、曾領導Stability AI開發的David Ha一拍即合，**週四宣佈在日本東京創辦了一個名為Sakana AI的新公司，追求將“大自然系統的集體智慧”引入AI領域。 **Sakana在日語中是“魚”的意思，代表著“一群魚聚在一起，根據簡單的規則行程連貫實體”的願景。

（兩人官宣創業，來源：X）

在Transformer架構的創新問世後，業界的發展重心一度聚焦在將各種“GPT”越做越大，而Sakana AI將聚焦在創造一個新的架構。

他們認為，當前人工智能模型的局限性在於它們被設計為脆弱的、難以改變的結構，就像橋樑或建築物那樣。相比之下，在集體智慧的作用下，自然系統對周遭發生的變化非常敏感。自然系統會適應並成為周遭環境的一部分。 Sakana AI希望使用這些進化計算的原理構建人工智能，來解決AI系統成本和安全性等問題。

David Ha對此概括稱，**相較於建造一個吸收所有數據的龐大模型，Sakana AI的做法可能是使用數量巨大的小模型，每一個模型所包含的數據集都不大但有獨特的專長，然後讓這些模型進行協作來解決問題。 **

至於為什麼要跑到東京去創業，兩位創始人表示，除了在東京呆過很多年外，他們也認為訓練在非西方社會和文化中也能表現良好的模型，能夠成為下一次技術突破的催化劑。