[Meet創業之星]從大數據出發,核桃運算打造即時資料分析引擎

2014.06.30 by
陳怡如
[Meet創業之星]從大數據出發,核桃運算打造即時資料分析引擎
在大數據時代中,如何更快地即時分析巨量資料,成為新的創業契機。來自台灣的團隊「核桃運算MacroData」,從最底層的資料分析架構出發,耗費...

在大數據時代中,如何更快地即時分析巨量資料,成為新的創業契機。來自台灣的團隊「核桃運算MacroData」,從最底層的資料分析架構出發,耗費兩年半的時間,研發出可分析不同資料屬性,以及橫跨各式硬體的資料分析引擎,比起現有的資料庫來說,運算速度還要快50倍到100倍,今年下半年將正式走入市場。

令人意外的是,核桃運算一開始並非瞄準大數據商機。核桃運算的靈魂人物薛文蔚,是台大資工系第一屆學生,畢業取得哥倫比亞大學資工博士學位後,先到華爾街工作兩年,在1995年開始創業,開發教育平台。2000年回到台灣 ,在知名的軟體公司Computer Associates負責亞洲地區的合資公司業務,隨後在台灣成立供應鏈管理公司「聯合通商eBizprise」,和在中國的子公司「eBizServe」。

2011年,薛文蔚遇到一個中國大型零售商的供應鏈預測問題。當20萬個品項、上萬個通路,再加上要做100週的預測時,資料共有驚人的上百億點,如此龐大的資料量,傳統的資料庫無法負荷。他發現市場空缺後,找來公司裡兩位同事黃怡誠和賴育駿,一同成立研發團隊。

雖然本來是從供應鏈管理的問題切入,但深入研究後薛文蔚卻發現,這是大數據的問題。他解釋,現在用的資料庫技術都是1970年時提出的架構,很多理論是基於當時的假設,「但當底層條件已經改變時,我們不該再用過去的模式想事情。」於是團隊從非常底層的架構重新思考,適合現在使用的運算模式是什麼。

其中最大的差異是,過去資料運算時,需先從資料儲存的地方如硬碟,搬到記憶體運算後,再把資料放回去。但現在的資料量早已是過去的好幾千萬倍,薛文蔚打個比方:「Data的成長就好像房價一樣,Code的成長則好像薪水一樣。」

如果沿用過去搬動資料的運算方式,大多時間都是花在「搬移」上,因此核桃運算主張透過不搬動的「in-place computing」運算方式,直接把程式送到資料的所在地運算,少了搬移動作,資料運算速度就會提昇很多。目前團隊已申請四項美國專利,其中三項已被核准。

比起現有的資料庫運算方式,核桃運算共同創辦人陳元貞解釋,以目前知名的Hadoop來說,透過分散式運算,把1部機器要算的東西放到100部機器上算,雖能提升運算速度,但卻不是每個公司都能負擔的起部建分散式運算系統。
若是非關聯式的NoSQL資料庫,數據存儲沒有一定的模式架構,雖然速度可以變快,但也因為不需固定模式,當要做兩者的比較分析或資料採礦就有些困難。若是傳統的MySQL資料庫,更是無法負荷現在龐大的資料量。

從2011年下半年先在母公司聯合通商旗下成立團隊開始,眾人花了兩年半時間研發,終於在今年推出產品「Big Object」,團隊也在今年2月從母公司獨立。Big Object主要運行在64 bit的裝置上,因為採用「in-place computing」,最大優勢就是快,運算速度可快50倍至100倍,因此可做到當下的即時分析。

此外,Big Object也能分析異質性資料,不只企業本身的商務資料,也能結合open data和非結構性資料,像是零售業者可和天氣預測或臉書貼文交叉比對。「就像冰山一樣,本來你只看到交易資料,可是更多的是你沒有看到水面底下的資料,」陳元貞說。

也因為Big Object是很輕巧的資料運算引擎,在未來物聯網時代,小至眼鏡、手錶,大到汽車、冰箱,每個裝置都能成為分析資料的機器,因此這些裝置也都可以嵌入Big Object的分析引擎,根據數據做出最優化的預測或行動,如調整車速、冰箱溫度等。

Big Object主要針對BI產品(Business Intelligence,從數據分析中挖掘商業價值)或LOG分析的軟體開發商,可直接將Big Object嵌入在軟體裡,收入以授權年費為主。目前核桃運算已有些試用客戶,像是在台灣就已和神坊資訊旗下的購物網站合作,透過Big Object計算商品間的相關性,進而做出即時的購物推薦。

產品到位後,今年下半年Big Object將開始走入市場,目前處於客戶開發階段。陳元貞表示,由於這類應用主要在美國市場居多,因此今年3月團隊也在美國註冊公司,預計今年在台灣和美國都要各自招募十人團隊,未來台灣負責研發,美國則負責業務。

核桃運算四位共同創辦人,從左至右為賴育駿、薛文蔚、黃怡誠和陳元貞
**
【創業教我的事】找出自己的定位,在過程中隨時保有自己的判斷,尤其是對產品和市場策略的看法。**

Q1. 希望提供這個社會什麼價值? 最主要是提供一個快速又可負擔的分析引擎,幫助資料分析者或商業決策者,發掘出隱含在大量資料背後的資訊。

Q2. 長遠來看,貴公司想成為何種類型的公司?

我們希望做到「資料處理界的Intel」,未來軟體內可以搭載BigObject的運算核心,不管是CRM、ERP、BI或是Log分析軟體,都能透過BigObject的即時分析而有更優化的軟體功能。

團隊 Team 5人

公司服務 Project 資料分析引擎Big Object

成立時間 Founded Time 2011年下半年

主要用戶 user 針對BI、Log分析工具的軟體開發商

商業模式 Business Model 授權金

*http://www.macrodatalab.com/

【延伸閱讀】 7/9 創業小聚暨AAMA台北搖籃計畫年會 span 年會以「軟硬結合,啟動大創新時代」為主題,邀請Google、微軟、聯發科、華碩雲端、海爾、京東等知名企業分享經驗;並有多組團隊分享創新應用,如微程式資訊(YouBike)、創意引晴(影像辨識)、點睛科技(健身管理)、台灣智慧服務(智慧插座)、太和光(iBeacon)、英諾奧茲(Smart Ebike)、FlyFit (智慧腳環)、北京極科極客(智慧路由器)、北京PICOOC(智慧體重計),以及HWTrek硬體加速平台、Quest Venture等企業代表,多元角度探討未來趨勢、機會與實踐。 /span span 時間:7月9日(週三) 9:30-17:00 /span span 地點:台大醫院國際會議中心R201,台北市徐州路2號2樓 /span span 論壇報名:2人同行價、老友價、訂戶價、創新者價 /span 7/4 16:00截止報名 參見活動網頁

每日精選科技圈重要消息