專訪蘋果高階副總裁席勒:在iPhone 11背後改變一切的A13仿生晶片

2019.09.20 by
愛范兒 ifanr
愛范兒 ifanr 查看更多文章

愛范兒連接全球創新者及消費者,跨界技術、文化、消費及創新,致力消費科技領域的產業評論、產品報導及社群連接,創造高品質的消費樂趣。

愛范兒
當人們都將目光注視在iPhone 11的三鏡頭時,都忽略了成就iPhone 11一切的A13仿生晶片,他與上一代最大不同之處在於能夠自體進行機器學習。

總有人會淺薄地認為,你只是加了一個鏡頭,世界上也有其他超廣角鏡頭了,這有啥新鮮的?

菲利浦.席勒(Phil Schiller)拿起桌上的一部,打開相機,他指著螢幕兩側延伸出的取景畫面對我說:

你看,它實際上是兩顆鏡頭同時在運作。

愛范兒

眼前這位負責行銷的蘋果高階副總裁,看起來比鏡頭前清瘦不少——在緊鑼密鼓的蘋果發表會上,席勒掌控著關於產品和技術層面的講解時間。

但我們沒有時間在Keynote上解釋它具體是如何發生的,但它就在那裡,從來沒有人做過。

在大約40分鐘的專訪裡,儘管我試圖把對話引向更符合這位高階主管身份的話題上,但這位具備技術背景的高階副總裁,卻始終滔滔不絕地向我吐露發表會上他沒來及說的技術細節。

愛范兒

拍照是iPhone 11系列的核心賣點。正如此前評測,無論是三攝變焦的毫無頓挫,還是夜間模式的純淨度,iPhone的攝影都再一次回到行業領先的位置。

晶片改變攝影

愛范兒

席勒把iPhone 11攝影的突破歸功於A13仿生晶片上。這塊由蘋果自研的第二代7奈米晶片,依然採用2+4的設計,即兩個高性能核心和四個能效核心設計,其中CPU速度最高可提升20%,能耗最多可降低30%,而四個能效核心速度提升了20%,能耗卻降低了40%。

席勒認為,機器學習是A13仿生晶片區別於A12設計的一個重點,CPU上新增了兩個新的機器學習加速器,能以最高達6倍的速度執行矩陣數學運算,每秒可進行1兆次的運算。

在相同的尺寸裡,A13仿生晶片比上一代多塞進了11億個晶體管。那麼,多出算力花在哪裡?

答案是機器學習和圖像處理的性能。

最好的例子莫過於Deep Fusion,這個被席勒稱為「電腦攝影的瘋狂哲學」的功能,可以在用戶按下快門前拍攝8張照片,並融合一張按下快門時的長曝圖片,生成一張媲美專業相機的高動態範圍照片,即便在中低光環境下也能呈現更多細節。

愛范兒

席勒向我解釋了它與智慧HDR的不同:在正常情況下,智慧HDR是通過多張圖片的堆疊得到一張更好的照片,ISP提供數據負責最後的成片,神經網絡引擎只是協助成片。

ISP意為圖像信號感測器,主要負責講感測器上的數據信號轉換為螢幕上的圖像。iPhone 11取景框來自兩個鏡頭同時取景的畫面,近乎完美的拼接,ISP功不可沒。

但是Deep Fusion不一樣,當你拍攝了更多的照片數據時,它們會直接給到神經網絡引擎,神經網絡引擎具備一種全新的模型,可以整合大量的照片——它會對2,400萬像素進行逐一像素的比對,從而合成最終的照片。這是第一次,神經網絡引擎主要去負責這個工作,而非ISP。

那麼,合成的時間?

一秒鐘!你只需要關心拍照的事,當你回到相冊的時候,它已經靜靜地躺在那裡了。

iPhone的拍照頁面保持了iOS一貫的簡潔,蘋果希望幫助用戶做選擇,但背後卻有精確的數位調度。席勒透露,Deep Fusion只會在10-600lux下的照度下啟用,如果光線低於10lux,相機啟用的則是夜間模式。

晶片的「大腦」

愛范兒

不止是蘋果,各家智慧型手機廠商們逐漸意識到,智慧型手機時代的影像,早已脫離元器件的堆積,不是CMOS底大一吋壓死人的粗暴邏輯,是感光元件、ISP、演算法,甚至機器學習的配合與協調性。

在AI大行其道的今天,當AI智慧拍照、AI人像、AI美顏概念幾乎成為Android手機的金字招牌,蘋果顯得有些格格不入,在發布會上輕描淡寫,對媒體守口如瓶,你甚至在iPhone裡找不到半個AI字眼。

在史丹佛教授人工智慧歷史一課的JerryKaplan表示,蘋果不屬於社區的一分子,就像是AI領域的NSA(美國國家安全局)。

席勒沒有透露更多關於蘋果AI的進展,但他認為,機器學習的用武之地絕不僅僅在於如何讓照片更好看:從Siri更自然的人聲效果到相冊的智慧檢索,從提升電池續航到AR的光影效果,它已經橫貫於iOS大小功能的細枝末節和用戶體驗的方方面面。

當我猜測說Apple Pencil在iPad的「防誤觸」是否來自機器學習算法時,席勒笑著打斷我的話:

可不止,連Apple Pencil的軌跡也是機器學習去預測的,它知道你可能會畫到哪裡。

事實上,機器學習在iPhone中無處不在,正如Backchannel主編史蒂文.列維(Steven Levy)提到的,你的iPhone早已經內建了Apple Brain

AppleBrain就是那顆A13仿生晶片——與其他大公司利用雲端運算做機器學習不同,蘋果調用的完全是本地晶片的能力。

這個「大腦」有多大?iPhone上有多少用戶數據緩存可供機器學習調用?

對於絕大多數公司,這個大腦可能是數以TB級的雲端數據,但對於蘋果而言,只有平均200MB——這些大到你的聲音和面部數據,小到你滑螢幕的軌跡與習慣,都以加密的形式存儲在iPhone的晶片之上。

從用戶角度看,這種行為的確令人尊敬,但利用本地晶片做AI無疑是一條更艱難的賽道。

「的確很難,這意味著我們需要在晶片上投入大量的精力,意味著我們必須找到軟體的方式去訓練模型。」席勒說:

我們願意這樣做,不僅僅是因為本地運算更快,還因為——沒有人不在意自己的隱私。

晶片是蘋果護城河最堅固的那部分

愛范兒

自從2008年收購晶片製造商PA半導體,並在iPhone 4和初代iPad上採用首顆自研處理器A4,蘋果逐漸與ARM公版設計分道揚鑣。到了iPhone 5所採用的A6晶片,蘋果真正的設計實力與野心才開始逐漸展露。

從核心的SoC,到輔助處理器、電源管理晶片,蘋果正在一步步讓半導體元器件的設計掌控在自己手中。

蘋果晶片的客戶只有自己,好處在於自己才更能了解自己需要什麼,並將其發揮到最大的價值,從而達到軟硬體的高度契合。

今年3月發布的第二代AirPods上,蘋果首次為耳機產品研發了晶片組H1。

對於大眾而言,H1晶片帶來的升級,遠不如加個新配色或是改個外觀來得吸引人,但晶片卻直接關乎著左右耳連接的穩定性,以及低延遲表現,這恰恰是競品與AirPods差距最大的部分。

用戶對蘋果晶片實力的感知並不直觀,很多人覺得iPhone好用,卻道不出其技術緣由,簡單粗暴地把用戶體驗歸為iOS的老本。

人們往往會忽略蘋果的整個生態系統。

晶片是一個門檻更高的產業,很難被競爭對手模仿與跟隨。某種意義上,自研晶片才是iOS生態系統的核心,是整個護城河裡最堅固的部分。

晶片的研發週期大約在2-3年,涉及多個團隊,這期間架構工程師要同數目龐大的軟體和硬體人員共同協作。晶片團隊每週都要和其他團隊當面溝通。

愛范兒

阿蘭德.希姆皮(Anand Shimpi)曾是AnandTech的創辦人,加入蘋果後負責晶片業務,就在採訪前,他剛剛和GPU部門的架構師開了一場會:

鏡頭經常會用到GPU。這有兩方面影響,晶片部門設計的GPU可以告訴相機部門如何把它用到最好,而相機部門的需求也會指導GPU未來的發展。

接近十年自研晶片的歷史讓蘋果對A系列晶片非常自信,不僅發布會史無前例地在Keynote吊打兩大競品,在採訪中,席勒也毫不掩飾地評論競爭對手:

他們很難持久,他們也許會關注單一性能的指標,而我們更在乎的是性能……我們不銷售晶片,我思考的只是如何讓體驗更好。

採訪結束後,當我掏出相機合影時,席勒指著我的相機笑著說:

Not very smart camera, but a big lens.

本文授權轉載自:愛范兒

延伸閱讀

每日精選科技圈重要消息