【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
青年如何跨出改變社會的第一步?Impact Star 3 組首獎團隊從教育到減塑,把想法帶進真實現場
青年如何跨出改變社會的第一步?Impact Star 3 組首獎團隊從教育到減塑,把想法帶進真實現場

許多年輕人懷抱熱忱,期盼透過行動讓社會變得更好,卻在起步時感到茫然,不知道該從何著手,也難以確認自己的想法是否回應真實需求。為了接住這份想要改變社會的熱情,「2026 Impact Star 青年影響力啟動賽」為青年搭起一個動手實作的舞台。

Impact Star 由新北市政府青年局主辦、社企流共同推動,邀請 5 個社會創新組織提出第一線問題,並安排專業導師陪伴 10 組青年團隊展開兩個月的實作,從訪談、理解需求開始,把點子一步步做成能進入現場測試的方案。

新北市政府青年局
圖說:新北市青年局 邱兆梅 局長分享「Impact Star 青年影響力啟動賽」的辦理初衷
圖/ 新北市政府青年局

把科學教材放進 LINE,協助老師更快完成備課

「LIS 情境科學教材」長期製作國中小科學影片與教學資源,這次競賽以「跨科教學減壓」為題,希望青年找出方法,協助非自然科背景的老師更容易使用這些教材準備科學課程。

本次獲獎團隊「EDU」成員劉子瑤、梁秭萁訪談一名剛進入教育現場的老師後,發現對方同時教授近 9 個科目,還要兼顧行政工作與班級經營,備課時間格外珍貴。因此決定把解決方案聚焦在備課流程最佳化,協助教師更快找到適合的教材。

「EDU」 決定利用教師們最熟悉的 LINE 官方帳號,整合 LIS 影片、投影片與教案,再把教材內容製作成視覺化備課卡。使用者只要透過手機,就能簡單掌握教學重點、課程流程及所需材料,直接放進既有的備課流程。

透過吸收教師的回饋,「EDU」 在競賽過程中持續調整,讓操作方式更貼近實際使用情境。最終作品在 3 名教師參與的初步測試中,於系統易用性方面獲得 82.5 分,反映受測教師對操作體驗的正面評價。

新北市政府青年局
圖說:劉子瑤、梁秭萁分享,未來也期待相同架構能延伸至其他科目,讓更多教學資源被帶進課堂。
圖/ 新北市政府青年局

把教育平權做成手機遊戲,讓青年找到參與方式

「TFT 為台灣而教」長期關注教育不平等,這次活動希望促進青年思考,如何讓高中生與大學生理解教育平權,並找到適合自己的參與方式。本次獲獎團隊「星築美少女」因此決定製作手機沉浸式遊戲《鐘響以前》,並將這些因素融入故事中。遊戲以一場為期 3 天的營隊為背景,玩家能在 15 至 30 分鐘內探索場景、與角色對話並蒐集線索。

遊玩過程中,玩家會發現一名叫做阿龍的孩子沒有出現在正式名單上;而阿龍未能參加營隊,背後牽涉交通、家庭照顧責任與行政程序等因素。玩家必須在有限的人力、時間與預算中作出選擇,透過安排阿龍的行程,切身理解教育不平等如何出現在孩子的日常生活中。

遊戲結束後,系統會依照過程中的選擇提供「行動者分類」,協助玩家了解自己適合投入陪伴、資訊整理或跨域解題,並附上 TFT 相關計畫與參與連結。在 67 名完成前後測的玩家中,認為自身專業難以對教育平權發揮作用的比例,由約 4 成降至約 2 成,顯示更多玩家在體驗後,看見參與教育平權的可能。

新北市政府青年局
圖說:星築美少女成員分享,自己曾在教育社會學課程中接觸相關議題,理解家庭、交通與經濟條件都可能影響一名孩子的求學歷程。
圖/ 新北市政府青年局

減塑求籤機走進飲料店,環保成為日常選擇

「海湧工作室」長期投入環境教育與廢棄物源頭減量,這次競賽希望讓民眾理解海洋廢棄物治理,並在日常生活中實際參與減塑。本次獲獎團隊「塑 per NOVA」從淨灘資料中注意到塑膠吸管造成的海洋廢棄物問題,也觀察到消費者即使知道減塑的重要,仍習慣於購買飲料時拿取塑膠吸管。

「塑 per NOVA」成員王姸儒、郭書睿,因此把實作場域選在手搖飲店,設計「減塑求籤機」。裝置設在消費者購買飲料的動線上,當消費者準備拿取吸管時,即提供可替代選項,讓減塑融入消費流程。

顧客投入 1 元後,可取得一支可自然分解的蒲草吸管,透過掃描 QR Code,可抽取線上環保籤詩。此求籤的趣味設計有效提升消費者嘗試意願,透過線上籤詩更進一步提供日常減塑方法介紹。

「塑 per NOVA」在 3 間飲料店測試兩週,累積約 150 次蒲草吸管取用。這段經驗讓他們直接觀察顧客如何操作裝置,也了解方案能否融入店家的營運流程,為後續拓展更多場域累積經驗。

新北市政府青年局
圖說:成員王姸儒、郭書睿設計「減塑求籤機」,讓減塑融入原本的消費過程。
圖/ 新北市政府青年局

前進新加坡,青年行動的下一步

獲得首獎的 3 組團隊,預計於 9 月底前往新加坡和南洋理工大學,與當地社會創新組織交流。團隊將延續這次實作累積的經驗,觀察新加坡如何回應相近議題,再思考哪些做法適合帶回台灣。

「EDU」希望了解新加坡如何支持非本科教師授課,以及當地社創組織有哪些能夠立即實踐的做法;「星築美少女」則將觀察教育政策的實際運作,及新加坡如何理解與推動教育平權。「塑 per NOVA」關注當地如何讓環保意識融入民眾生活,並希望從永續措施中找到減塑求籤機後續發展的方向。

頒獎典禮上,「星築美少女」成員王品然坦言:「一開始覺得社會影響力很遙遠,自己做不了什麼東西。」但參加完比賽後發現,踏出第一步就可能帶來改變,她說:「其實做一小步,你就可以改變一些東西。」

從起步時不知道該從何著手,到把方案帶進真實場域,3 組團隊在兩個月的實作中找到答案:青年不必等到有完整的解法才開始,只要先走近一個真實需求,並根據回饋持續調整,對社會的關心就能逐漸成為具體行動。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓