【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
不只給場域、更助攻海外!桃園如何助思納捷做大智慧能源管理版圖?
不只給場域、更助攻海外!桃園如何助思納捷做大智慧能源管理版圖?

隨著全球淨零轉型浪潮持續推進,企業不僅要許下減碳承諾,更得拿出可以被量測、驗證的實際成果,這也驅使企業加速導入智慧能源管理系統。早在 2017 年便投入此領域的思納捷,從桃園出發,透過工業園區與公共建築等在地場域的部署經驗,持續打磨技術與解決方案,隨後更在桃園市政府青年事務局「桃園天際線加速器」協助下,逐步將市場版圖延伸至海外。如今,思納捷全球累積超過 1,000 個應用實績,不僅成功將台灣智慧能源解方推向海外,更成為全球企業推動綠色轉型不可或缺的關鍵夥伴。

從桃園場域開始淬鍊:思納捷把「失敗經驗」變成難以複製的競爭力

思納捷總經理莊棨椉原先在資策會從事能源與物聯網相關研究,當時,他從歐美市場發展看見智慧能源管理的趨勢,於是,團隊從資策會獨立出來、成立思納捷,將過去累積的研發能量帶向市場。而技術落地第一站,就是從工業聚落密集的桃園開始,思納捷運用 IoT 技術管理工業園區的路燈、空氣品質、排水與交通等公共設施與環境,也進一步走進園區工廠,協助企業掌握與管理用電。

然而,從研究機構走向市場後,莊棨椉很快發現,「做得出來」與「真的能用」之間,還隔著一段不小的距離。許多從技術角度來看完全可行的做法,在進入真實場域後,反而出現各種從未想過的問題。

舉例來說,在幼獅工業園區部署智慧路燈時,思納捷原本採用 Mesh Wi-Fi 網狀網路,讓路燈彼此串聯、逐站傳遞訊號,沒想到實際上線後,路樹上的枝葉竟然擋住了訊號,造成通訊不穩定。為此,團隊重新調整架構,採用 NB-IoT 方式,讓每支路燈直接透過電信網路傳輸資料,降低環境遮蔽物對通訊的影響。

類似的「踩坑」經驗也發生在澎湖馬公港。思納捷與合作夥伴共同佈建智慧路燈,採用 PLC 電力線通訊技術,明明在實驗室與一般道路測試都沒有問題,到了港區卻完全無法傳輸訊號。團隊一路追查才發現,原來地下線路早已受到鹽害侵蝕,為此重新抽換線材,才讓系統得以正常運作。

串設備、整數據、AI 自主管理:思納捷打造 24 小時能源總管

「每一次踩坑,都讓團隊更清楚不同技術的適用邊界,也讓下一次部署少走一段彎路,」莊棨椉說,思納捷運用近十年來走進不同場域、解決各種意外狀況所累積的實戰經驗,形塑出 3 大產品特色。

第一,是物聯網裝置串接能力。
目前思納捷已能串接超過 1,000 種設備,涵蓋電表、水表、空調、冰水主機等不同類型,支援數量為全台最多。無論企業使用何種廠牌的設備,都能快速介接至思納捷的平台,降低設備整合門檻。

第二,是將數據與場域 Know-how 轉化為管理模組,讓企業可以「隨選即用」。
思納捷將多年累積的數據與經驗,轉化為超過 20 種應用模組,企業可以依需求持續擴充功能,一改過去可能要導入多套解決方案,才能管理不同設備的系統孤島問題。

舉例來說,某電子元件代理商在導入思納捷解決方案後,管理人員只要透過一支手機,就能掌握辦公大樓各樓層的設備運轉狀況,包括用電、用水、會議室、電動車充電樁到空調系統。不僅大幅提升管理效率,也能進一步掌握實際用電需求、降低能源耗用,並據此調降契約容量,每月節省約百萬元的電費成本。

第三,是讓能源與設備管理從人工管理走向 AI 自主管理。
思納捷以自家大數據為基礎,結合 AI 提升系統自主判斷與調控能力,持續優化能源管理的成效。「我們的目標,就是打造 24 小時雲端 AI 總管,讓系統可以自己判斷和調整,讓設備隨時維持在最佳運轉狀態,避免造成不必要的能源浪費,」莊棨椉強調。

出海前先看懂市場:桃園天際線加速器降低新創試錯成本

隨著產品逐漸成熟,思納捷也開始把目光投向海外,而進駐桃園天際線加速器,則為團隊提供一個以更低成本探索海外市場、驗證發展方向的機會。

莊棨椉表示,透過加速器安排的韓國、新加坡等國際交流,思納捷得以接觸不同市場的潛在客戶、創投與投資者,了解當地產業環境與實際需求,也能與在地新創交流創業與市場拓展經驗;國際經驗的獲取與海外拓點,都是成本極高的決策,藉由這些機會,思納捷得以用較低成本,去了解國際市場的可能性與風險。

此外,加速器也會安排專業業師分享國際市場經驗,從不同角度刺激團隊思考,重新檢視既有商業模式與海外布局策略。例如,曾經有業師與莊棨椉逐項分析海外上市必須具備的條件,讓他重新盤點公司現階段的優勢與不足,也進一步思考什麼才是最適合思納捷的成長路徑。

「加速器讓我們有機會多看、多聽、多接觸。」莊棨椉說。這些交流的價值,不只是認識多少潛在客戶,而是讓團隊在真正投入大量人力與資金以前,先釐清當地究竟有沒有市場、客戶需求是否成熟,以及既有產品與商業模式能不能直接複製。過去許多只能透過資料或想像判斷的問題,如今都能透過實際走進市場、接觸第一線業者取得更多資訊,降低走錯路的風險與試錯成本。

對思納捷而言,加速器帶來最關鍵的幫助是,透過市場探索、業師輔導與資源媒合,讓團隊在真正投入之前,有更多機會看懂市場、驗證方向,再決定下一步怎麼走。對資源有限的新創而言,這種「先驗證、再投入」的過程,反而能降低海外布局的機會成本,讓每一步走得更精準。

展望下一階段,思納捷團隊將持續聚焦校園、園區、建築與工廠四大場域,持續深化應用,讓「24 小時能源與機電設備雲端 AI 總管」的概念在更多場景落地,同時,當既有台商客戶前往海外設廠、有智慧能源管理需求時,思納捷也會跟隨客戶腳步提供服務。莊棨椉認為,唯有先把技術與服務做深,建立可複製的成熟模式,未來才有機會將台灣累積的智慧能源管理經驗帶向更大的國際市場。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓