【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
不只給技術,更幫忙找市場!中華電信5G加速器如何助零邁移動拓展低碳移動新商機?
不只給技術,更幫忙找市場!中華電信5G加速器如何助零邁移動拓展低碳移動新商機?

企業減碳的下一步,正開始瞄準員工每天「怎麼移動」。

隨著全球淨零浪潮持續推進,企業的減碳計畫已經從辦公室與廠房節能、建置或採購綠電,逐步延伸至供應鏈與員工通勤。瞄準這波「低碳移動」新商機,零邁移動(ZEMO)以自組純電動車隊切入商務接送市場,並借力中華電信的技術、通路與資源,強化服務能力,將既有服務推向更多應用場景,為下一階段的成長找到更多機會。

看見低碳移動商機,零邁用演算法解開電動車隊營運難題

零邁移動創辦人呂學儒認為,電動車是低碳運具,非常適合作為營業用車,但市場上卻鮮少見到由電動車組成的商用車隊,背後的問題不在車輛本身,而是缺少一套適合電動車的車隊管理和營運機制。

畢竟,營業用電動車不像私人用車,可以自行安排用車方式,必須事先做好排程規劃,從客戶需求、接送時間、行駛路線、車輛剩餘電量、充電站位置與充電時間,每一項因素都要考量在內,才能做出最佳安排,確保車隊的營運效率與服務品質。

「所以我們自行研發管理系統,運用演算法與 AI 進行車輛調度與行程規劃,並採取全預約制,減少空車等候時間,」呂學儒說,除了建立精準調度機制,解決電動車商用化的營運難題,零邁移動也進一步思考,如何把「低碳」從車輛本身的特色,轉化為企業看得見、能運用的價值。

因此,零邁移動將每趟行程所使用的電能轉為碳排數據,提供企業作為溫室氣體盤查與永續報告的依據;同時積極提高自身的綠電使用比例,在電動車原有的低碳優勢上,進一步放大企業每一趟用車所能創造的減碳效益。

從連線、車隊管理到溝通,中華電信助零邁強化營運底座

靠著純電車隊與演算法,零邁移動建立起一套企業低碳移動的服務模式,並獲得華碩、微星、宏碁、友達光電、緯創、元太等 30 多家上市櫃企業與機構的青睞。

然而,這只是立足市場第一步,隨著企業客戶與服務趟次持續增加,零邁移動下一階段不只要接觸更多客戶、拓展更多應用場景,更要讓背後的營運能力跟得上市場成長速度,2025年加入中華電信5G加速器,正好為零邁移動補上這塊關鍵拚圖。

雙方的合作,先從強化零邁移動既有服務量能開始,透過中華電信三項解決方案,為團隊日後擴大營運規模打下基礎。

其中,保持車輛的穩定連線,是車隊管理系統的運作基礎。目前零邁移動全車隊與充電站皆採用中華電信物聯網 5G 聯網方案,確保車輛在移動過程中可以穩定回傳地理位置與行車資訊。

零邁移動創辦人呂學儒
零邁移動創辦人呂學儒認為,中華電信不僅連線速度與穩定度高,網路覆蓋範圍也相對完整,能降低車輛在移動過程中遇到訊號死角的機率,這對車隊管理來說尤為重要。
圖/ 數位時代

呂學儒表示,中華電信不僅連線速度快與穩定度高,網路覆蓋範圍也相對完整,能降低車輛在移動過程中遇到訊號死角的機率,「對我們來說,車子能不能隨時保持連線,是非常關鍵的一件事。」他說明,唯有連線不中斷,車輛才能即時回傳訊息,讓後端管理系統隨時掌握最新車況,一旦遇到突發狀況,也能即時因應與調度,避免影響後續行程與乘客服務。

在穩定連線之上,中華電信進一步協助零邁移動提升車隊管理的精細度。透過中華電信車訊平台和車聯網設備,零邁移動不只能即時掌握車輛位置、車況與行車影像,也能蒐集更深層的電動車數據與駕駛行為,並持續回饋至演算法,讓團隊可以做出更好的規劃與管理。

換句話說,這些數據的價值不只在於掌握車輛當下的運行狀態,更能從長期累積的數據中找出最佳使用方式,進一步延長車輛與電池壽命、降低長期營運成本。「這也是為什麼一般營業車跑到 30 萬公里,電池可能就頂不住了,我們可以撐到 50 萬公里的原因之一,」呂學儒分享。

除了強化車隊管理能力,零邁移動也藉由與中華電信的合作進一步優化服務流程,希望降低重複性工作,讓有限的人力發揮更大價值。零邁移動在自家雲端派遣系統上,整合中華電信 TAS 電話語音自動外撥與智慧語音服務,自動發送提醒或通知訊息給乘客,還能理解與判讀乘客需求,並進行初步分類與處理,再將需要真人處理的問題交由客服接手,讓客服人力從「重複撥電話」轉向「處理複雜或棘手的服務需求」。

從 B2B 走向 B2B2C,中華電信助零邁加速打開 C 端新市場

除了從技術端強化零邁移動的服務能力,5G 加速器也從市場端協助團隊接觸更多客戶、拓展新的應用場景。

「最大的改變是,市場對 ZEMO 的認知不一樣了,這讓團隊有機會觸及過去難以合作的企業客戶,推動商業模式從 B2B 走向 B2B2C。」呂學儒分享,過去外界多半將零邁移動定位為企業接送服務,但在 5G 加速器促成下,零邁移動與中華電信福委會合作,提供集團員工自費乘車服務。

這項合作也為購物中心、百貨公司等面向消費市場的企業帶來新的啟發—原來ZEMO也能成為加值服務的一環,為顧客創造差異化的消費體驗。「以往跟他們談合作,對方往往找不到合作切入點,現在完全不同了,」他說。

當服務對象從少數企業客戶走向大量個人使用者,對客服能量、車隊監控與營運穩定度的要求也隨之提高。前述導入的中華電信解決方案,正好補強了這項營運能力,讓團隊更有底氣將服務推向一般大眾,進一步帶動消費端業務快速成長,其中又以品牌官網 D2C的營收表現最為顯著。

呂學儒說明,過去零邁移動的消費端營收,主要來自與第三方業者的合作,顧客比較少直接透過品牌官網下單,加入中華電信 5G 加速器後,推升品牌信任與市場能見度,也讓更多消費者認識零邁移動。反映在營收結構上,透過品牌官網直接銷售給一般大眾的 D2C 營收占比,從2025年的0% 成長到 2026 年的30%。

展望未來,零邁移動希望藉由與 5G 加速器的合作,將應用場景延伸至偏鄉長者共乘、長照接送,或是與自駕車串接,讓「移動」創造更多可能。對零邁而言,5G加速器帶來的不只是技術與客戶,更讓一家具備市場基礎的新創,有機會把既有能力帶進更大的商業市場,找到下一階段的成長機會。

呂學儒透露,加入中華電信 5G 加速後,帶動 C 端業務快速成長,如今來自 C 端的營收已逼近 40
呂學儒透露,加入中華電信 5G 加速後,帶動 C 端業務快速成長,如今來自 C 端的營收已逼近 40%。
圖/ 中華電信

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台達電全解讀
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓