最近一直在報章雜誌上看到討論有關《Big data》相關的應用，橫跨金融交易、電子商務、決策制定、廣告行銷、醫療用藥等。以前在幾乎沒有聽聞這類型的技術，所以經過筆者調查把目前所知跟讀者分享。《Big data》其實是巨大資料資料庫加上處理方法的一個總稱，其中包含資訊領域的《Machine Learning機器學習》、《Data Mining數據分析》、《Artificial Intelligence人工智慧》以及現在最火紅的《Hadoop檔案處理系統》，這些技術由於近年來計算機處理速度與存儲裝置的性能快速提升，使得即時處理大量資料變成可能，存在已久的各領域資訊技術相互融合，在這個當下爆出應用火花，甚至世界各國的教育當局，都開始考慮是否要將海量資料的處理分析技術，成立科系或是學程來因應未來數年極可能會因為此領域的急速成長而出現的人才缺口。
海量資料（又稱大資料、大數據）即《Big data》 ，名詞在2010 年由IBM 所提出，而海量資料則的特性包含三種層面： 巨量、即時性及多樣性。
- 巨量 – 海量資料的特色就在於： 龐大。 政府，企業以及及時敢測器等資料包羅萬象，很容易便達到數TB（Tera Bytes），甚至上看PB（Peta Bytes）之譜。
- 即時性 – 海量資料通常具有時效性，一旦串流到運算伺服器就須立即使用，即時得結果才能發揮其最大價值。
多樣性 – 海量資料的範疇不僅止於結構化資料，還包含各類非結構化的資料： 諸如文字、音訊、視訊、點擊串流、日誌檔等等。引用來源－ＩＢＭ 1.
而處理海量資料《Big data》的技術，現今最火紅的則非《Hadoop》莫屬了喔！
根據《Hadoop》的創辦人Doug Cutting所言“Hadoop”就只是幫一隻黃色的填充大象取的名字而已，沒有什麼特別的意思純粹只是好記而已。而《Hadoop》技術的誕生則是因為網際網路資料的爆炸性成長，傳統的檔案系統無法負荷儲存跟分類，從而根據Google搜尋器的相關的學術論文為藍圖，演變成一套如何儲存、處理、分析TB（Tera Bytes）甚至PB（Peta Bytes）等級的資料處理方法。
上圖源自 http://hadoop.apache.org/
Hadoop是百分之一百免費由Java程式語言所編寫的Open Source，一種從根本結構上與現存技術不同且先進的儲存、處理、分析海量資料的技術，執行Hadoop使用者無須仰賴昂貴的或是具有專利的軟硬體平台，Hadoop可以在便宜且工業規格化的伺服器群上執行平行資料處理以及分析，有了Hadoop沒有什麼資料量是過大的，在現今資料量爆炸的時代企業、學術、政府等組織可以利用從之前被認為是無用的資料找出從來沒被發現的參考價值。
《Hadoop》基本上可以處理任何資料型態，不論是結構化或是非結構化，log紀錄檔、照片、聲音、通訊紀錄或是電子郵件。不管是什麼資料你都可以匯入《Hadoop》Cluster並且不用作任何前處理，它就會幫你回答你從來不曾想過的問題！《Hadoop》把看似毫無關聯的資料背後所隱含的訊息呈現出來，使用者便可以根據更多的參考資料做出對應決策了。
以下就幾個實例來跟讀者分享目前《Big data》現今的應用
Big Data也可以當醫生？IBM Watson機器人也可以利用來協助醫生聽診，原因是這樣，醫生可能跟你講五句話，就差不多確定你是生什麼病了，接下來可能都是跟你閒話家常，而已經有一些美國的醫療機構為了避免醫生的疏失，開始與IBM合作，現在Watson會陪同醫生聽診，聽診完它會透過病徵列出可能病患可能患疾病是哪些，醫生可能問診完想到的病徵可能只有三、五個，可是Watson會跟從海量數據分析的角度幫他列出高達20個病徵選項，這大大的可以減少醫生疏忽的機會，醫生看了Watson的分析報告以後就可知道，可以再多問病人什麼問題來縮小看診判斷誤差。尤其是遠距醫療時，這個服務特別受用。不過Watson機器人主要還是做協助的工作，而不會告訴你，就是這個病，最後要把關、負責任的還是醫生本人。
Target從女性消費族群的購買行為，研發出一套領先同業的「懷孕預測模型」。Target的資料分析專家發現，當某些女性從購買有香味的乳液，轉而購買無香味的乳液，或是開始採購葉酸、鈣片、鎂與鋅等營養補充品，他們就會大膽推測這名女性可 能已經懷孕。塔吉特的專家將過去女性消費族群的資料進行串流、分析，研發出懷孕預測模型。這個模型會列出25種孕婦最有可能購買的產品，並依據女性消費者的行為，計算出他們的懷孕預測分數。塔吉特一旦發現這名女性消費者可能已經懷孕，就會立刻寄出相關商品的促銷廣告。塔吉特甚至還會分析這些女性通常在一星期中的哪一天出門購物，並且在前一天就搶先寄送廣告函給她。～ 上述引用自華文企管網 **
不過根據台灣從事電子商務的專家表示，台灣目前應用Big Data在電子商務的實際例子還是屬於稀有動物，購物網站所推薦的東西還只是根據公司的促銷策略而已，並沒有把消費者的消費模式、瀏覽紀錄、以及個人資料作差異化的推薦行機制。
我想台灣大多數人的網購經驗都來自Yahoo!或是 PChome，如果你曾在Amazon購物過其經驗絕對截然不同，一開始你一定會看到一些鬼打牆無厘頭的推薦，他們會根據你現在瀏覽的商品跟你說曾經瀏覽過這商品的人又看過了什麼，或是買這個商品的人他們也會購買什麼商品，然後給你一份推薦清單，其中還包括你自己的瀏覽以及購物紀錄，這種推薦方式是根據歷史購買紀錄計算的喔！根據統計資料這種推薦方式讓Amazon在一秒鐘能夠賣出79.2樣商品呢！
根據2012年的數據，美國最大的線上影音出租服務的網站NETFLIX統計，每十部他推薦的影片大概有7.5部以上，使用者會選擇接受這樣的推薦，機率非常之高。更神奇的是，你看完這個片子，你可以針對這個片子給幾顆星的評價，在你下完評價之前，他已經對你做了預測說你上下不會超過半顆的誤差。這些計算是根據你收視這些片子的喜好，包含導演、明星的組合，當然他背後有個演算法，他可能是Data Mining資料探勘的方式，或是加上一些Machine Learning機器學習的功能，其實這都是長期對戶的行為做《Big data》分析之後淬鍊出來的。
什麼別鬧了!? 《Big data》除了做電子商務還可以擠牛奶做《Big dairy》?
根據《彭博新聞週刊》報導，這是一家牛乳農場的故事，因為這個農場的兩個幫手孩子要到城裡上大學，擠牛奶人手會突然不夠，這個牛乳農場決定率先使用最新的《Big data》技術，來幫助他們，他們使用一個機器人來擠牛奶，這個機器人會自動找出乳牛乳頭，裝上擠奶裝置，機器人可以記錄每一頭乳牛，長期分泌牛乳的統計資料，找出最佳化的擠奶策略。以前他們要分析這些牛乳資料，都要先把樣本送到有網路連接的地方，在把資料傳送到可分析的實驗室裡面，可是現在只要用智慧型手機，他們還搭上智慧型手機的APP還有外部感應器，連上雲端系統，就可以直接分析這些牛乳資料，知道生菌數，或是乳牛是否健康，有沒有感染乳腺炎。他們這套儀器要價20萬美金來擠牛奶，但是從2007年到2011年，一頭牛可以多生產出1142磅的牛乳，因為Big Data擠牛奶也可以變的更有效率，也更不花人力了。
另外，不曉得大家有沒有常常塞在車陣中動彈不得，看著導航預計抵達的時間一分一秒的往後推遲的經驗，卻又不行要求導航機轉換道路的窘況，根據在衛星導航業工作的朋友表示歐洲的衛星導航大廠早就已經把海量資料分析的概念導入路徑規劃的的演算法裡面了，可以替駕駛預知交通裝況喔！只是台灣的用戶可能還要再等一陣子，荷蘭商導航機廠TomTom中文版才會支援這麼棒的功能。
TomTom利用實時監測超過八千萬支匿名的行動電話，一百萬台以上的TomTom Live衛星導航機在路面上的移動速度，搭配RDS-TMC的道路交通資訊系統，建構一個完整而且即時的交通資料庫，透過GPRS將即時的道路資訊，例如某路段的現在平均速度、紅綠燈交換頻率、路段在每星期不同日子的平均速度、道路施工狀況以及事故狀況的資料，以每兩分鐘一次的頻率及時推播給衛星導航機甚至裝在Apple iphone或是Android phone上的TomTom導航app，路徑規劃演算法便可以根據現在的路況做即時修改，提供駕駛人一條現在的最佳化路徑，節省寶貴的時間，即便你身陷車陣當中，用路人也可以精準的知道delay的時間，目前根據統計資料，使用此服務的駕駛平均可以節省15%的行車時間喔！
上圖引用自 《TomTom Live Traffic》 為紐約曼哈頓的即時路況資料，傳統的最短或是最快速路徑規劃法，搭配Real-Time路況資料幫助駕駛避免進入壅塞或是施工路段。
左圖為最短路徑規劃，右圖為真實用路時間歷史紀錄，可以看到紅綠燈的多寡頻率以及真實行駛速度大大影響了路徑規劃的策略呢！引用自 《TomTom》
此外這種運用實時資料運算建立的衛星導航路徑規劃，不僅僅可以用在一般開車的用路人身上，更可以幫助運輸業建立車隊管理系統，怎麼樣更有效率的規劃車隊分配，最佳路徑規劃（多中繼點路徑規劃）讓運輸業者可以用最小的車隊規模，最少的油耗量，達到最佳的運輸量以及最精準的遞送時間，在全球一片減少節能減少碳的聲浪中，《Big data》的技術幫助TomTom宣稱自己綠色企業，也幫助其其解決方案使用者加入綠色企業的一員。
而筆者沒想到的是，用海量資料也可以成為贏得大選的利器之一！我們網友戲稱「臉書治國馬宗痛」（也許是另類Big Data），不知道有沒有利用這種技術來打選戰啊？美國的歐巴馬倒是走在時代尖端喔！
「數據分析Data mining」在歐馬巴競選中發揮關鍵且重要的作用。歐巴馬競選陣營的數據分析團隊為競選活動蒐集、儲存和分析了大量數據，幫助其競選團隊成功“ 策劃”多場活動，為歐巴馬競選籌集到10 億美元資金。
～摘錄自美國 《時代》雜誌網站 報導
上圖源自 《The Guardian》 為歐巴馬在勝選後第一張分享到推特上的照片
今年春天歐巴馬競選陣營的數據分析團隊注意到，影星喬治‧克魯尼(George Clooney)對美國西海岸40歲至49歲的女性具有非常大的吸引力。她們是最有可能為了在好萊塢與喬治克隆尼和歐巴馬共進晚餐而自掏腰包的族群。而最終喬治克隆尼在自家豪宅舉辦的籌款宴會上，為歐巴馬籌集到數百萬美元的競選資金。
不只在西岸競選團隊同樣希望東海岸也能如法炮製「喬治克隆尼效應」的成功經驗。最後《Big Data》數據分析把箭頭指向了莎拉‧傑西卡帕克，於是一場在莎拉‧傑西卡·帕克的紐約West Village豪宅與歐巴馬共進晚餐的募款競爭便誕生了。
對於普通民眾而言，他們根本不知道這次活動的想法源於歐巴馬數據分析團隊對莎拉‧傑西卡帕克粉絲研究的重大發現：這些粉絲喜歡競賽、小型宴會和名人。競選主管在此次選戰中打造了一個規模五倍於2008年競選時的數據分析部門，這個由幾十人組成的數據分析團隊的具體工作被嚴格保密，有關這個團隊的更多細節是不會對外透露的，因為歐巴馬競選陣營牢牢固守著他們自認為比羅姆尼競選陣營有優勢的地方：即“Data”。
上圖為歐巴馬的數據分析團隊工作情況源自 《時代雜誌》
這種協助籌款的技術隨後又被用於預測投票結果，使他們可以準確了解每一類人群和每一個地區選民在任何時刻的態度。這帶來了巨大的優勢。當第一次電視辯論結束後，選民的投票傾向發生改變。而數據分析團隊可以立即知道什麼樣的選民改變了態度，什麼樣的選民仍堅持原來的投票選擇。再者，每天晚間高達6.6萬次大選結果被模擬以考慮多種不同情況，並於每天上午獲得結果，了解在這各州勝出的可能性，從而針對性地分配資源。
這種由根據數據分析的決策方式在歐巴馬成功連任的過程中發揮了重要作用，從前依賴預感和經驗的華盛頓特區競選專家地位正在迅速下降，並且被善於利用大批量數據分析的專家和程式設計師所取代。在政治界《Big data》的時代已經到來。
不知道各位讀者有沒有使用Linkedin的經驗，筆者曾在海外工作過一段時間，發現老外常用專業工作上的社交軟體叫做Linkedin，剛好也有機會在此網站上面登錄，Linkedin用戶可以把自己的專長工作技能、學經歷、論文專利發表等相關資料放在個人檔案中與大家分享，就像臉書一樣大家可以互相連結，甚至連隊朋友的專業技能類似“按讚”的〈Endorse/背書〉功能也有
Linkedin 到底跟Big Data有什麼關係呢？我們可以從頁面觀察到的數據分析包括：
- 誰在瀏覽你的檔案
- 在過去15天中有多少人瀏覽過你的頁面
- 在過去20天中你的檔案出現在關鍵字搜尋中的次數
- 正在瀏覽的你自己資料頁面的人，他們又瀏覽了哪些人的頁面
- 根據的你檔案你可能會認識誰
- 你的工作技巧在現今是當紅還是退燒
各種統計資料的呈現，可以說是族繁不及備載，用戶可以根據這些資料修改或是增進自己履歷頁面的豐富度，聊解你自己目前在就業市場的競爭力，或是比較跟你具有類似背景的人他們的學經歷又是如何，甚至可以跟他們互相連結切磋職場心得，當然履歷經驗越是豐富的的人常常就會有獵人頭公司的成員跟你聯絡或是推薦職缺給你喔！Linkedin目前是國外相當火紅的職場社交網站，國內目前的普及度還是不高，不過在外商圈的員工使用率算是比較活躍一點。
從上述的例子看來，Big Data的應用還真是包羅萬象，我想不久的將來，很多六、七年級生小時候的回憶 《閃電霹靂車》 動畫裡面風見隼人的智慧駕駛輔助系統“阿斯拉”出現在路上，或是 《關鍵報告》 裡面的預測犯罪的先知也成為警方辦案的利器我們應該也不會覺得奇怪，就讓我們拭目以待吧！
（本文為Ms. Valentine’s Day邀稿、筆者為業界工程師）
轉自 MMDays
