站在巨人的肩膀上, 利用Google BigQuery來處理TB級的大量資料

2011.11.15 by
張瑜珊
去年的Google I/O, Google對外介紹了原先僅供Google內部使用的工具BigQuery(內部稱之為Dremel), BigQ...

去年的Google I/O, Google對外介紹了原先僅供Google內部使用的工具BigQuery(內部稱之為Dremel), BigQuery是利用平行處理的技術, 同時間在上千台的機器上, 讓使用者可以輕易的分析terabyte數量級的大量資料。 今天,Google終於對外開放讓外界的公司,透過申請的方式, 開始使用BigQuery服務這個服務目前還在beta測試的階段,免費提供給使用者,待技術成熟後,可能會改成收費的模式。

Google BigQuery screenshot

BigQuery主要有什麼功能呢?

  • 快速: 只要幾秒鐘的時間就能分析上億列的資料
  • 簡單:資料查詢的語法和一般工程師熟悉的SQL語言類似
  • 分享:可以設定群組類別,或是個人等級的資料分享
  • 安全性:資料的存取都是經過加密處理
  • 多種的資料存取方式:可以使用REST API,執行列的命令, BigQuery所提供網路版本的圖形化界面,或是Google App Script。 除此之外,使用者還可以將資料查詢的結果輸出到用戶端的電腦上,或是選擇用Google雲端儲存系統來儲存查詢的結果

要處理terabyte數量級的資料,大型的公司通常要花上相當多的IT資源,對於小公司更是幾乎不可能的一件事。有興趣的讀者,可以follow這個連結申請試用BigQuery服務。

來源:  Google official blog, Google code labs, VentureBeat


每日精選科技圈重要消息