Facebook如何在雲端平台處理100PB的海量資料
Facebook如何在雲端平台處理100PB的海量資料
2012.06.15 | 創業

Facebook在Hadoop雲端平台存有海量的資料不是秘密-大約100PB(即 1,000,000 GB 的100倍)。問題是,Facebook如何在需要使用某些資料時快速地找到這些資料就少為人知了。

在日前Hadoop高峰會上,Facebook的工程師Andrew Ryan提出了自家稱為AvatarNode的資料儲存法。簡單來說,Hadoop的架構含檔案系統,能處理所有後設的資料處理,但只能單模處理,因此只要一個節點掛點,所有仰賴這套檔案系統的資料處理都會掛點。

           

因此,Facebook於兩年前著手建構AvatarNode(時間點的關係…所以取了阿凡達的名字),目前已經開始使用。AvatarNode取代NameNode採用雙節點架構,因此總是有一台備用的系統,目前切換需透過手動但Ryan表示Facebook正整合AvatarNode到易取性高的框架中,未來將能允許非人工的自動安全切換。

然而Ryan也承認,雖然AvatarNode能協助Facebook避免約五成的可預測系統問題,但對那些沒來由發生的問題,AvatarNode只能預測到10%。

出自GigaOM

關鍵字: #Facebook

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓