專訪蘋果高階副總裁席勒:在iPhone 11背後改變一切的A13仿生晶片
專訪蘋果高階副總裁席勒:在iPhone 11背後改變一切的A13仿生晶片

總有人會淺薄地認為,你只是加了一個鏡頭,世界上也有其他超廣角鏡頭了,這有啥新鮮的?

菲利浦.席勒(Phil Schiller)拿起桌上的一部,打開相機,他指著螢幕兩側延伸出的取景畫面對我說:

你看,它實際上是兩顆鏡頭同時在運作。

A132.jpg
圖/ 愛范兒

眼前這位負責行銷的蘋果高階副總裁,看起來比鏡頭前清瘦不少——在緊鑼密鼓的蘋果發表會上,席勒掌控著關於產品和技術層面的講解時間。

但我們沒有時間在Keynote上解釋它具體是如何發生的,但它就在那裡,從來沒有人做過。

在大約40分鐘的專訪裡,儘管我試圖把對話引向更符合這位高階主管身份的話題上,但這位具備技術背景的高階副總裁,卻始終滔滔不絕地向我吐露發表會上他沒來及說的技術細節。

A133.jpeg
圖/ 愛范兒

拍照是iPhone 11系列的核心賣點。正如此前評測,無論是三攝變焦的毫無頓挫,還是夜間模式的純淨度,iPhone的攝影都再一次回到行業領先的位置。

晶片改變攝影

A134.jpg
圖/ 愛范兒

席勒把iPhone 11攝影的突破歸功於A13仿生晶片上。這塊由蘋果自研的第二代7奈米晶片,依然採用2+4的設計,即兩個高性能核心和四個能效核心設計,其中CPU速度最高可提升20%,能耗最多可降低30%,而四個能效核心速度提升了20%,能耗卻降低了40%。

席勒認為,機器學習是A13仿生晶片區別於A12設計的一個重點,CPU上新增了兩個新的機器學習加速器,能以最高達6倍的速度執行矩陣數學運算,每秒可進行1兆次的運算。

在相同的尺寸裡,A13仿生晶片比上一代多塞進了11億個晶體管。那麼,多出算力花在哪裡?

答案是機器學習和圖像處理的性能。

最好的例子莫過於Deep Fusion,這個被席勒稱為「電腦攝影的瘋狂哲學」的功能,可以在用戶按下快門前拍攝8張照片,並融合一張按下快門時的長曝圖片,生成一張媲美專業相機的高動態範圍照片,即便在中低光環境下也能呈現更多細節。

A135.jpg
圖/ 愛范兒

席勒向我解釋了它與智慧HDR的不同:在正常情況下,智慧HDR是通過多張圖片的堆疊得到一張更好的照片,ISP提供數據負責最後的成片,神經網絡引擎只是協助成片。

ISP意為圖像信號感測器,主要負責講感測器上的數據信號轉換為螢幕上的圖像。iPhone 11取景框來自兩個鏡頭同時取景的畫面,近乎完美的拼接,ISP功不可沒。

但是Deep Fusion不一樣,當你拍攝了更多的照片數據時,它們會直接給到神經網絡引擎,神經網絡引擎具備一種全新的模型,可以整合大量的照片——它會對2,400萬像素進行逐一像素的比對,從而合成最終的照片。這是第一次,神經網絡引擎主要去負責這個工作,而非ISP。

那麼,合成的時間?

一秒鐘!你只需要關心拍照的事,當你回到相冊的時候,它已經靜靜地躺在那裡了。

iPhone的拍照頁面保持了iOS一貫的簡潔,蘋果希望幫助用戶做選擇,但背後卻有精確的數位調度。席勒透露,Deep Fusion只會在10-600lux下的照度下啟用,如果光線低於10lux,相機啟用的則是夜間模式。

晶片的「大腦」

A136.jpg
圖/ 愛范兒

不止是蘋果,各家智慧型手機廠商們逐漸意識到,智慧型手機時代的影像,早已脫離元器件的堆積,不是CMOS底大一吋壓死人的粗暴邏輯,是感光元件、ISP、演算法,甚至機器學習的配合與協調性。

在AI大行其道的今天,當AI智慧拍照、AI人像、AI美顏概念幾乎成為Android手機的金字招牌,蘋果顯得有些格格不入,在發布會上輕描淡寫,對媒體守口如瓶,你甚至在iPhone裡找不到半個AI字眼。

在史丹佛教授人工智慧歷史一課的JerryKaplan表示,蘋果不屬於社區的一分子,就像是AI領域的NSA(美國國家安全局)。

席勒沒有透露更多關於蘋果AI的進展,但他認為,機器學習的用武之地絕不僅僅在於如何讓照片更好看:從Siri更自然的人聲效果到相冊的智慧檢索,從提升電池續航到AR的光影效果,它已經橫貫於iOS大小功能的細枝末節和用戶體驗的方方面面。

當我猜測說Apple Pencil在iPad的「防誤觸」是否來自機器學習算法時,席勒笑著打斷我的話:

可不止,連Apple Pencil的軌跡也是機器學習去預測的,它知道你可能會畫到哪裡。

事實上,機器學習在iPhone中無處不在,正如Backchannel主編史蒂文.列維(Steven Levy)提到的,你的iPhone早已經內建了Apple Brain

AppleBrain就是那顆A13仿生晶片——與其他大公司利用雲端運算做機器學習不同,蘋果調用的完全是本地晶片的能力。

這個「大腦」有多大?iPhone上有多少用戶數據緩存可供機器學習調用?

對於絕大多數公司,這個大腦可能是數以TB級的雲端數據,但對於蘋果而言,只有平均200MB——這些大到你的聲音和面部數據,小到你滑螢幕的軌跡與習慣,都以加密的形式存儲在iPhone的晶片之上。

從用戶角度看,這種行為的確令人尊敬,但利用本地晶片做AI無疑是一條更艱難的賽道。

「的確很難,這意味著我們需要在晶片上投入大量的精力,意味著我們必須找到軟體的方式去訓練模型。」席勒說:

我們願意這樣做,不僅僅是因為本地運算更快,還因為——沒有人不在意自己的隱私。

晶片是蘋果護城河最堅固的那部分

A137.jpg
圖/ 愛范兒

自從2008年收購晶片製造商PA半導體,並在iPhone 4和初代iPad上採用首顆自研處理器A4,蘋果逐漸與ARM公版設計分道揚鑣。到了iPhone 5所採用的A6晶片,蘋果真正的設計實力與野心才開始逐漸展露。

從核心的SoC,到輔助處理器、電源管理晶片,蘋果正在一步步讓半導體元器件的設計掌控在自己手中。

蘋果晶片的客戶只有自己,好處在於自己才更能了解自己需要什麼,並將其發揮到最大的價值,從而達到軟硬體的高度契合。

今年3月發布的第二代AirPods上,蘋果首次為耳機產品研發了晶片組H1。

對於大眾而言,H1晶片帶來的升級,遠不如加個新配色或是改個外觀來得吸引人,但晶片卻直接關乎著左右耳連接的穩定性,以及低延遲表現,這恰恰是競品與AirPods差距最大的部分。

用戶對蘋果晶片實力的感知並不直觀,很多人覺得iPhone好用,卻道不出其技術緣由,簡單粗暴地把用戶體驗歸為iOS的老本。

人們往往會忽略蘋果的整個生態系統。

晶片是一個門檻更高的產業,很難被競爭對手模仿與跟隨。某種意義上,自研晶片才是iOS生態系統的核心,是整個護城河裡最堅固的部分。

晶片的研發週期大約在2-3年,涉及多個團隊,這期間架構工程師要同數目龐大的軟體和硬體人員共同協作。晶片團隊每週都要和其他團隊當面溝通。

A138.jpg
圖/ 愛范兒

阿蘭德.希姆皮(Anand Shimpi)曾是AnandTech的創辦人,加入蘋果後負責晶片業務,就在採訪前,他剛剛和GPU部門的架構師開了一場會:

鏡頭經常會用到GPU。這有兩方面影響,晶片部門設計的GPU可以告訴相機部門如何把它用到最好,而相機部門的需求也會指導GPU未來的發展。

接近十年自研晶片的歷史讓蘋果對A系列晶片非常自信,不僅發布會史無前例地在Keynote吊打兩大競品,在採訪中,席勒也毫不掩飾地評論競爭對手:

他們很難持久,他們也許會關注單一性能的指標,而我們更在乎的是性能……我們不銷售晶片,我思考的只是如何讓體驗更好。

採訪結束後,當我掏出相機合影時,席勒指著我的相機笑著說:

Not very smart camera, but a big lens.

本文授權轉載自:愛范兒

關鍵字: #Apple #iPhone
往下滑看下一篇文章
2025年總統科學獎〉跨界40年!梁賡義院士在產官學研間,搭建科技、人文間橋樑
2025年總統科學獎〉跨界40年!梁賡義院士在產官學研間,搭建科技、人文間橋樑

2025年總統科學獎得主梁賡義院士,即便同時擔任逢甲大學春雨講座教授、浩鼎生技董事長,還為了協助國立臺東大學設立護理系而大力奔走,三不五時要環島、全臺走透透,日子忙得不得了,但他始終精神抖擻、滿懷熱情,只因他做的,是有益臺灣、社會發展的事。

事實上,梁院士從數學跨足生物統計,再投身高等教育與國家衛生,不僅以「廣義估計方程式」(Generalized Estimating Equations,GEE)改寫了縱貫式數據分析的規則,更以獨到的人文關懷,影響無數學子與政策制定。

從小,梁院士就喜歡數學的嚴謹與邏輯,1973年,他自國立清華大學數學系畢業後,便赴美深造,並在美國南卡羅萊納大學取得統計所碩士;接著,他又轉往美國華盛頓大學,攻讀生物統計博士學位。

從數學到生物統計,帶出數據背後的人性關懷

在研讀博士期間,他接觸到了當時炙手可熱的「存活分析」,意識到生物統計能直接幫助科學家、臨床醫師回答有意義的科學問題,對人類健康產生間接但深遠的助益,就此便踏上生物統計的「不歸路」。

教學界的老友們來到頒獎典禮,為梁院士祝賀殊榮。
教學界的老友們來到頒獎典禮,為梁院士祝賀殊榮。
圖/ 數位時代

1986年,已在美國約翰霍普金斯大學(Johns Hopkins University)任教職的他,與同事Scott Zeger研發出新的統計方法「廣義估計方程式」。梁院士解釋,不論是實驗室、世代流行病學或臨床試驗,只要是縱貫式硏究(longitudinal study),產學研界都會用到GEE,進行統計分析。尤其在國際大藥廠最常用的「前後測臨床試驗」(pre-post design for clinical trial designs)中,GEE讓全球臨床醫師能準確評估癌症、心臟血管和糖尿病等新藥的療效,進而獲得各國食藥署通過,造福千萬病患。GEE發表至今,已被引用逾22,000次,並納入R、STATA、SAS、SPSS等主要統計軟體中。

雖然在約翰霍普金斯大學任教長達28年,梁院士卻幾乎年年暑假,都返國舉辦研討會,分享國際生物統計和流行病學的新知。也因為始終心繫臺灣,讓梁院士在2010年,毅然辭去在美教職,回臺擔任國立陽明大學校長。

一方面,梁院士成功為學校爭取5年500億的計畫經費,成立腦科學中心、腫瘤免疫中心和高齡健康研究中心,將陽明大學打造成研究型大學,並在國際間嶄露頭角。另一方面,為了培育年輕人才,他選擇停下個人研究,建立起由資深教師帶領年輕教師的「師徒制」,鼓勵經驗傳承,「組織要永續發展,有賴於年輕人才的成長。」像是他自己儘管平常公務繁忙,仍活躍於社群,默默留心學生的大小事;他並邀請學生前往校長宿舍,定期舉辦「與校長有約」活動,這讓學生與他之間「零距離」,大至職涯規劃、小至生活瑣事,都樂於與他分享。

最重要的是,梁院士相當看重全人教育,因此廣泛開設人文講座、藝術文化等通識課程,尤其陽明大學以醫科見長,「所謂視病如親,醫護人員在專業之外,更需要具備人文素養,才能真正關懷病患。」

梁院士於頒獎典禮現場發表感言。
梁院士於頒獎典禮現場發表感言。
圖/ 數位時代

2017年,梁院士接下國家衛生研究院院長一職。這時,他又迅速轉換角色,每週檢視國際文獻、提供數十件政策建言,充分發揮國衛院的智庫功能。新冠肺炎爆發期間,他再度臨危受命,擔任中央流行疫情指揮中心研發組組長,帶領國衛院在15天內,完成公克級瑞德西韋合成,並與阿斯特捷利康(AstraZeneca)簽約,預採購1千萬劑疫苗,達成防疫、安定民心的任務。

不斷跨界,帶著使命感堅定前行

一輩子都在「跨領域」的梁院士,堅信創新不僅來自技術,也來自跨域合作帶來的新思維。他在美國求學、教書時,不是發表完論文就沒事了,他還持續思考,自己的研究能如何被用在臨床,因此他積極參與思覺失調症、強迫症研究等多項計畫,與基因學家、精神科和流行病學醫師腦力激盪、挑戰彼此。但梁院士特別提醒莘莘學子們,「跨領域」固然重要,大學時期仍應先在一個領域「站穩腳跟」,如此才能擁有與不同領域對話、欣賞的紮實基礎。

在產官學界耕耘逾40年,梁院士絲毫未停下前進的腳步。如今,他仍在杏壇作育英才,也深入業界,期望將研究成果更直接應用在藥物,以造福病患,「這是我一直鼓勵學生進入藥廠的原因!因為他們對人類的貢獻,可能比發表文章更直接。」近來,他心心念念的最大任務,是以自身人脈連結資源,為臺東大學爭取設立護理系,填補偏鄉地區的醫護缺口。

賴總統親自頒發「2025年總統科學獎」殊榮予梁院士。
賴總統親自頒發「2025年總統科學獎」殊榮予梁院士。
圖/ 數位時代

每一個統計數字背後,都承載著真實的生命重量;每一次跨領域的嘗試,都可能為人類帶來新的希望曙光。梁院士在統計學的精準座標中,繪製出一幅幅影響深遠的生命藍圖,持續為臺灣乃至全球的健康與福祉努力。

梁賡義 院士
專長:生物統計、流行病學
現職:逢甲大學春雨講座教授
成就:研發「廣義估計方程式」,讓全球臨床醫師得以正確評估許多如癌症、心臟血管及糖尿病等新藥的療效,造福嘉惠全球數以千萬計的病患;橫跨產官學界,為臺灣貢獻所長

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓