一篇劃時代論文,催生出ChatGPT!《Attention Is All You Need》作者們現在在哪?
一篇劃時代論文,催生出ChatGPT!《Attention Is All You Need》作者們現在在哪?

2017年,Google以一篇劃時代論文《Attention Is All You Need》,替今日的AI風潮打下基礎。

論文中的語言模型Transformer,是ChatGPT、語言模型GPT背後的關鍵架構。Transformer最重要的突破,除了語言模型的運作流程之外,就是「平行化」,讓很多處理工作可以在同一時間完成,讓算力有了用武之地。史丹佛大學研究人員在2021年一篇論文中點出了Transformer模型的重要性:「它不僅推動了AI領域的典範轉移,更擴大了對AI可能性的想像。」

Transformer AI模型
Google在2017年一篇劃時代研究論文《Attention Is All You Need》中,介紹了他們開發的Transformer語言模型,此模型透過強大神經網路,能夠學習文字、影像資料間的連續關係和深層意義,總而言之,它讓AI更像了一個真正的「人」。

而在該篇論文中共有8名作者,在Transformer問世後至今6年的時間,他們都在做些什麼?

開發Transformer模型的人陸續離開Google,成為新生代矽谷創業家

論文《Attention Is All You Need》的作者,現在都在做什麼?
開發Transformer的工程師們,幾乎都紛紛出走Google、自立門戶,直至今日,他們創立的新創募資總金額來到10億美元,在矽谷發揮著舉足輕重的影響力。
圖/ Meet 創業小聚

撰寫《Attention Is All You Need》這篇論文的8位工程師和科技專家,幾乎都陸續離開了Google,朝向下一個目標邁進。

作者1:Illia Polosukhin轉向區塊鏈發展,創辦NEAR Protocol

Illia Polosukhin離開Google後,創辦了去中心化平台NEAR Protocol。Illia Polosukhin深刻體會到,如果引領科技的組織,全面掌控了網路時代的數據,那麼人們就可能無法再自由取得、使用資料,這也是他毅然決然離開Google的原因。

為了讓網際網路的生態保持創新,他打造了以區塊鏈為基礎的去中心化平台NEAR Protocol,讓大眾都可以在這個平台上自由的開發應用程式,揮灑創意。

作者2:Aidan Gomez以對抗壟斷為目標,開發大型語言模型API公司Cohere

2019年9月,Aidan Gomez創辦了Cohere,Cohere也以對抗大型科技公司壟斷AI研究為目標,建立了幫助企業建構大型語言模型的API,它還在2022年啟動一間Cohere For AI的非營利性研究實驗室,致力讓大眾享有AI技術服務。根據《路透社》報導,Cohere估值已經來到60億美元。

作者3:Jakob Uszkoreit投入生技領域,創辦Inceptive

而被許多人視為是開發Transformer的主要工程師Jakob Uszkoreit,則在2021年辭職投入了生技領域,他所創辦的Inceptive,透過深度學習技術設計核糖核酸(RNA)分子,用以開發新興藥物,目前已募集了2,000萬美元的資金。

作者4:Niki Parmar和Ashish Vaswani共同創辦了AI新創Adept

Niki Parmar和Ashish Vaswani也在2021年底相繼離開Google,共同創辦了Adept。Niki Parmar曾在《財富》的採訪中透漏,只有創業才能真正讓她實踐開發產品與科學研究的理想。

而Adept建構的ACT-1,正是基於他們先前研究的Transformer進一步優化的大型模型,能學習人們瀏覽網頁和使用軟體的方式,替人們把文字指令轉換為一系列動作。Adept現階段估值已來到10億美元,總募資額高達4.15億美元。

作者5:Noam Shazeer要讓虛擬人物有靈魂,創辦Character.ai

在Google工作20年的Noam Shazeer,同樣選擇在2021年底創業,和同為Google工程師的朋友一起打造了對話式AI平台Chracter.ai,這個平台能讓使用者和AI合作一同編寫對話,並且生成角色扮演式的文字回覆。它近日也剛以10億美元的估值獲得了1.5億美元的投資金。

作者6:Lukasz Kaiser跳槽加入OpenAI,Llion Jone則繼續留在Google

其餘兩人,Lukasz Kaiser和Llion Jone,前者在2021年時跳槽加入OpenAI,後者則選擇繼續待在Google,他是目前8位撰文的研究成員中,唯一還待在Google的工程師。

總結來說,開發Transformer的8位工程師,自立門戶的並不在少數。直至今日,他們創立的新創募資總金額來到10億美元,在矽谷發揮著舉足輕重的影響力。這些新創們的重要成績,似乎有一點2000年「PayPal 黑幫」(PayPal Mafia)的影子。

從PayPal到Google,矽谷下一個黑幫會是誰呢?

矽谷黑幫,指的是企業中的重要人才離開後,把過往的人脈、經驗、技術、資源投入到新的項目中,創造出更廣闊的網絡。

例如PayPal創辦人Peter Thiel現在成立了大數據分析公司Palantir,還投資培育了Facebook創辦人祖克柏等年輕新秀,其他PayPay核心成員如Keith Rabois、Reid Hoffman等則分別是FinTech新創Square的營運長、LinkedIn的創辦人等等。

其實,Google在2010年前後,也曾出現不同於PayPal創業形式的黑幫現象,《富比士》將它稱作「高階主管的Google黑幫」。當時,Google內部各個高階主管紛紛跳槽到像Facebook、Twitter以及Yahoo等科技公司,或離職成為專業新創投資人,劇烈的成員變動同樣為當時的科技業帶來影響與熱議。

現在,以《Attention Is All You Need》論文作者們為首的創業潮,又出現了另一個黑幫的影子,他們就像是為科技產業引入生成式AI的引導者,讓基於Transformer模型而生的生成式AI新創在矽谷遍地開花。

但是,真正讓這波生成式AI風潮成形的並不是Google,而是另一個透過ChatGPT將AI發揚光大的修行者——OpenAI。

OpenAI將催生下一波AI黑幫?

因ChatGPT備受關注的OpenAI,在過去5年裡,迎來30多位高層、工程師和研究員離職潮,他們多數都創辦了自己的公司,這些新創募資金額總計也超過了10億美元。或許我們正見證OpenAI黑幫成形的過程。

舉例來說,幫OpenAI開發了GPT-2和GPT-3模型的前研究副總監Dario Amodei,以及安全與政策副總監Daniela Amodei,就帶領OpenAI將近10位核心員工,另外創辦了以研究為導向的新創Anthropic,強調AI的安全性和共享性,發表了AI研究的基礎規則。

OpenAI前研究科學家Peter Chen也離開了OpenAI,他和加州大學柏克萊分校教授Pieter Abbeel等人聯手創辦Covariant,專注在創造新型AI機器人解決方案。而OpenAI前工程總監David Luan,也是和Google前研究員Niki Parmar和Ashish Vaswani共同創辦Adept的成員之一。

silicon valley_shutterstock_448884280Resize 1280.j
多數人認為,矽谷的OpenAI的黑幫已成形,這些從OpenAI出走的新創創辦人,現階段成為了矽谷和創投的新寵兒。
圖/ Shutterstock

矽谷中每隔一段時間迎來的創業風潮,就是持續創新的關鍵。因此,處於現在進行式中的Transformer、OpenAI黑幫,就是最值得密切關注的對象。

參考資料:[Ayosta]、[Analytics India Magazine]、[NewsBytes

本文授權轉載自:創業小聚

關鍵字: #創業 #創新創業
往下滑看下一篇文章
從珍奶、運動到光能地球儀,台灣新銳品牌透過亞馬遜強勢攻頂國際!
從珍奶、運動到光能地球儀,台灣新銳品牌透過亞馬遜強勢攻頂國際!

台灣向來以品質絕佳、強大的產品力著稱,近年來,隨著新銳品牌陸續崛起,從創新健身器材、手搖茶飲到永續設計產品,在在展現台灣開放創新的精神,從提供富含永續、綠能及藝術的地球儀的MOVA Globes、居家健身品牌Wonder Core,及以台灣珍奶席捲全球即食界的O’s Bubble,都在市場上占有獨特地位。台灣已不再甘於做「代工者」,而是具備「品牌」思維。有愈來愈多企業以卓越產品力打造品牌,透過亞馬遜全球開店前進國際市場,並在各自領域中,締造令人矚目的成績,成為不折不扣的「台灣之光」。

亞馬遜
對剛加入的賣家來說,亞馬遜全球開店官方經理的輔導非常重要,助攻企業從0到1,快速取得跨境電商經營關鍵與資源。
圖/ 數位時代

MOVA Globes光能自轉地球儀,跨越文化吸引馬斯克、GD主動分享

你知道科技巨頭馬斯克(Elon Musk)、韓國巨星權志龍(G-DRAGON)都擁有並在社群分享出鏡的產品是什麼嗎?答案是來自台灣的「MOVA Globes」。

結合太陽能技術與地球磁場,不須電池、不須充電,只要一縷光線就能永恆自轉的地球儀,在2023年第四季登上亞馬遜的短短一年間,便創下於亞馬遜全球18大站點年銷量破萬、營收破億元的亮眼成績,尤其在歐洲市場,更一舉成為2024全台新手賣家營收第一名。

MOVA Globes電商運營總監陳泓瑋透露,亞馬遜是全球領先的電商網站,擁有數億活躍用戶,能讓品牌快速擴展國際業務。當初MOVA Globes投入亞馬遜後,便透過亞馬遜全球開店官方經理的輔導與新銳品牌加速器,從最基礎的產品上架、文案撰寫,到進階的供應鏈管理、物流倉儲、各國的稅務與金流,皆獲得全方位協助,「這對完全沒有電商經驗的品牌來說,不只是學習的跳板,更是拓展國際市場的關鍵。」陳泓瑋強調,創新的產品來自創新人才,MOVA Globes耕耘跨境電商時,也自建電商營運團隊,藉此累積品牌發展需要的知識、經驗,更能降低營運成本、提升利潤。

如今,MOVA Globes憑藉著強大的產品力,吸引美國太空總署(NASA)、美國職棒大聯盟(MLB)、西班牙足球豪門皇家馬德里(Real Madrid) 、拉斯維加斯Sphere等世界頂級單位、地標,聯名和客製合作;更吸引全球網紅自主拍攝開箱影片,在沒有任何廣告下,獲得破億觀看人次。

MOVA Globes在短短一年多的時間,成功進駐北美、歐洲、日本、新加坡、澳洲、中東等地共18個亞馬遜站點的秘訣是什麼?陳泓瑋解釋,其實品牌是「逆向思考」,選擇先進入語言共通、文化相近、法規相對寬鬆的市場,因為規模小、風險較低,有測試選品方向、調整文案的空間,能逐步累積可複製的經驗模板,待基本功到位後,再將經驗應用到法規嚴謹、供應鏈要求更高的歐美市場,「這讓我們有效降低初期投入的風險。」接下來,MOVA Globes也將持續深耕並拓展更多國際市場,期望將台灣的創新設計與工藝美學,帶到地球的每一個角落。

亞馬遜
在最愛諧音梗的台灣別名為「賺(轉)不停」的MOVA Globes光能地球儀,透過不同設計跟聯名合作,在廣大的全球市場從藝術品變成收藏品。
圖/ 數位時代

O’s Bubble以首款即食珍珠,讓台灣本土飲品席捲全球

2019年創立的O’s Bubble,和MOVA Globes相似,都是近兩年才加入跨境電商的「新手」,而且O’s Bubble同樣表現優異,一舉拿下美國站點即食珍奶品類銷售排行榜冠軍!

台灣珍珠奶茶名聲享譽全球,O’s Bubble成立之初,便鎖定消費者想隨時隨地都能喝到珍奶的渴望,致力創造消費者與珍奶的連結,因此推出全球首款「即食珍珠」。O’s Bubble副總經理陳慧珊強調,為了做到文化翻譯、讓珍奶融入人們日常,O’s Bubble進軍歐美市場時,特別針對當地習性,調整產品配方、包裝語言、吸管材質和食用方式。例如美國人喜歡開派對,一盒即食珍珠就做成六人份;歐洲徵收糖稅、對食用色素有嚴格規範,便開發減糖配方、減少人工添加物,「我們切入珍珠市場,不是因為它熟悉,而是看見市場上缺乏真正簡單、高質感和視覺吸引力強的珍奶體驗。O’s Bubble要讓消費者不必出門,也能在家創造自己的『boba party』!」

2024年,O’s Bubble希望跳過傳統線下通路的層層銷售壁壘,讓品牌直接和消費者對話,決定加入亞馬遜全球開店,營運美國、英國站點,沒想到憑藉著優異的產品力和善用亞馬遜賣家後台提供的各種工具,取得佳績。在亞馬遜美國站,O’s Bubble的派對珍奶組(Boba Party Kit)不僅上架半年,便穩居品類銷售第一,在2025年7月的亞馬遜會員日(Prime Day)中,也繼續穩固冠軍地位。

陳慧珊認為,亞馬遜不只提供銷售管道,還能扮演成長引擎,輔助品牌試驗產品、驗證市場並優化商業模式。O’s Bubble會運用亞馬遜生成式AI工具,迅速生成商品的情境圖,也會利用「亞馬遜商機探測器」,即時看到整體品類的市場現況,並在了解自家產品的搜尋量、銷售量後,再據此做出相應的產品組合、行銷活動。由於食品類商品的保存要求嚴格,亞馬遜的FBA物流除了能確保配送品質與時效,還能有效壓低倉儲、運輸成本。

也多虧了亞馬遜的消費者評論功能,讓O’s Bubble收穫許多暖心回饋,「你們的產品讓我和孩子有了新的互動方式」、「喝下你們的每一杯珍奶都讓我開心」是常見的留言。陳慧珊透露,接下來,O’s Bubble將進軍法國、德國和澳洲市場,期待更多人喝到令人「幸福洋溢」的珍奶。

O’s Bubble
除了冠軍產品即食珍珠外,O’s Bubble還持續研發新品「爆爆珠」,配合不同市場的飲食習慣,也開發蒟蒻麵,擴增更多樣化的即食產品。
圖/ 數位時代

Wonder Core輕巧便攜,創造居家健身新革命

早在2015年,Wonder Core便看中人們消費習慣的改變,率先投入亞馬遜,堪稱台灣跨境電商的「老鳥」。

Wonder Core創辦人莊龍飛透露,早期Wonder Core是靠電視購物打開知名度,但因為消費者的購物行為變化太快,愈來愈多人開始直接上網搜尋、比較、購物,「跨境電商就成為必要的一步!」

起初,由於跨境電商和電視購物主動的銷售節奏不同,必須讓產品在龐大的平台中被找到、信任、下單,還有語言、文化差異,以及物流配送和售後服務等問題,讓團隊遭遇不小挑戰。幸好,亞馬遜提供FBA物流、數據分析工具、新銳品牌加速器計畫和陪跑機制等方方面面的協助,讓布局亞馬遜日本、美國、歐洲多元站點的Wonder Core,即便投入跨境電商多年,至今仍穩居日本的類目排名第一。

莊龍飛特別提到,雖然「輕巧便攜」是Wonder Core器材的特色之一,在跨境運輸時,仍需確保器材不會在過程中變形、受損,「亞馬遜物流FBA不僅為Wonder Core省下國際物流、倉儲的麻煩,配送速度和服務品質也讓消費者信任,轉單率因此提升!」

另外,藉由亞馬遜新銳品牌加速器,Wonder Core一方面學習優化頁面內容、關鍵字和廣告頭放策略,也接觸到更多跨境電商領域專家;近來隨著AI浪潮興起,Wonder Core也善加利用亞馬遜生成式AI工具。莊龍飛指出,健身器材需要示範,不只是照片好看,還必須搭配影片讓人看清動作、感同身受,團隊便利用影片生成工具生成各種影片,大幅提升效率、減省成本。

他提醒,有心進軍跨境電商的企業、品牌,首先必須找出自己的產品力,像是Wonder Core便積極投入研發,在單一器材上創造多功能、使用零門檻、耐用安全與智慧方便等特色;其次是要有長期經營的心態,重視在地化,讀懂當地文化、審美與購物習慣。而開創產品力、設計符合在地市場需求的產品後,還要善用亞馬遜所提供的資源,「不論是陪跑機制、物流服務還是廣告工具,都是讓自家產品力發揚光大、加速成長的關鍵。」

亞馬遜
2015就已經投入亞馬遜全球開店的Wonder Core,持續優化產品力及品牌力,2024.11月日本站點開站,7個月後的prime day就做到該品類第一!
圖/ 數位時代

世界舞台並不遙遠,亞馬遜助攻台灣企業成就品牌全球夢

對於台灣賣家的驚人成績,亞馬遜全球開店台灣總經理謝孜希補充:「我們很高興看到越來越多台灣新銳品牌,能透過亞馬遜全球開店,把卓越的產品力與創新力推向世界的舞台。我們將持續透過在地專屬的陪跑計畫、新銳品牌加速器等官方資源,與亞馬遜全球提供的多元營運工具,全力支持更多台灣品牌,成為下一個賣向世界的『台灣之光』。」

站點第一的成績,並非一蹴可及。當被問到最初一個地球儀都賣不出去的時候,是如何堅持下去的?MOVA Globes 陳泓瑋回覆:「我就是知道我們的產品很好,我只是還沒找到方法,讓更多人看見他。」

透過亞馬遜全球開店經營跨境電商,成為品牌實現夢想的燃料。未來,會有更多台灣品牌跟隨而上,讓世界看見,台灣中小企業不只是優秀產品的研發者與製造者,更是能以創新與設計打動人心的夢想實踐者。

想知道更多品牌挑戰出海的故事?

圖/ 數位時代

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓