【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

    上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

    所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

    但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  6. 商品本質、內容

  7. 商品描述 (meta-data) 與分類
  8. 最後才是商品的使用

    在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  9. 會自動化新增關鍵字詞的表

  10. 會自動化連結出語意網路的表

    這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

    只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  11. 關連分析 (一階, 或高階)

  12. 群落分析 (Clustering)
  13. 時間序列預測

    有了上面三個很基本的工具後,可以配合產出很多的可能性:

  14. 最常見的關連購買

  15. 在搜尋結果中做排序
  16. 從分類結果做語意分析產出因子
  17. 有了高階的關連分析可以透過配對做活動
  18. 從銷售預測中作備品或庫存準備
  19. 只要你想得到的

    當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

    記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

    所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
以數位公共建設金流平台為橋樑,打造民眾、商家與銀行共贏生態圈
以數位公共建設金流平台為橋樑,打造民眾、商家與銀行共贏生態圈

在中央銀行與財金公司引領下,數位公共建設金流平台不僅整合「TWQR」,更連通銀行與民間電支機構,透過統一的QR碼「TWQR」,以「跨機構、一碼付」、「款券合用」、「跨境支付」以及即將上線的「多券合用」等功能,讓很多部會的券,甚至是金融機構發行的,都可以一起使用,逐步吸引民眾、商家與金融機構加入,民眾能即時使用、商家快速收款,銀行也能結合金融服務創新。隨著「TWQR」平台成熟,2026 年應用場景也從生活消費、公共繳費拓展至交通運輸等領域,形成涵蓋支付與生活服務的數位金融生態圈。

「數位公共建設金流平台」讓政府能運用既有的金融通路,完成艱鉅的數位政策推展,數位化取代紙本作業,不僅提升發放效率,更能大幅節省印製與回收的行政成本。對民眾而言,領取補助不再受時間與地點限制,免去紙本券排隊、保管不便的痛點,輕鬆取得「全時服務」,真正做到「數位領券免排隊、消費折抵更直覺」。為響應政府推動非現金支付的目標、打造更普惠的金融環境,玉山銀行率先將數位公共建設金流平台整合進玉山 Wallet App,於 2025 年 1 月推出「數位券」服務,同時,也領先同業推出「券+點+支付」整合付款功能,民眾可以在 App 內完成登記、領取與使用政府補助,並在 TWQR 與台灣 Pay 商店消費抵用,大幅簡化支付流程。

玉山銀行個人金融事業總處資深副總經理林榮華表示:「我們很重視客戶體驗,整合數位公共建設金流平台後,民眾不僅能透過玉山 Wallet App 領取各類政府補助券,例如客家幣,還能透過玉山電子支付與玉山 e point ,一鍵完成『券+點+支付』合併付款。」未來,玉山銀行也將與特約商店合作,透過「數位券」服務,發送更多數位優惠,讓商家能更容易推動數位行銷並提升支付體驗。

玉山銀行個人金融事業總處資深副總經理 林榮華
玉山銀行個人金融事業總處資深副總經理 林榮華
圖/ TWQR

以TWQR為核心,打造多方受益的數位金流生態圈

過去,面對不同政府機關發送的消費券或振興券,民眾常需要在不同平台登記、領取與使用,不僅流程繁瑣,商家核銷程序也相對複雜。為了解決這類問題,政府積極建構「數位公共建設金流平臺」,整合部會、地方政府與銀行,讓政策補助與振興措施更智慧,從三個面向共創生態系多贏:

提供民眾更便利的「全時服務」:民眾領取跟使用補助券不再受限於時間與地點,真正做到「想領就領、想花就花」。

玉山銀行信用卡暨支付金融處處長張正志進一步解釋,傳統的紙本券除了領取時間與地點受限,還有排隊等候、保管不易與使用不便等問題,即使金融機構推出數位券,民眾也面臨需要下載不同 App 才能使用的狀況。「整合數位公共建設金流平台後,民眾不需切換平台,即可在同一個 App 內完成電子支付、數位券與點數的整合付款。」

協助商家簡化核銷流程並增加客源。舉例來說,玉山銀行特約商家無需更改既有系統,也不用支付額外費用或重新簽約,可以原有收單系統完成收款與核銷,大幅降低導入門檻;此外,玉山銀行亦積極打造好玩、有趣、高互動性的數位券行銷活動,商戶可以透過參與這類活動提升曝光、接觸新客群,進而創造新的營收機會。

玉山分享不僅2月的「一馬當先好運金」活動帶動 10 倍流量,3月推出的「2026新年數位任務挑戰賽」等活動也吸引大量客戶參與,創造民眾、商家與玉山的共贏。對金融機構而言,則是擴大支付場景與深化客戶關係的關鍵平台。透過 TWQR 約 60 萬家商家通路,銀行等金融機構不僅能提升客戶使用頻率,也能逐步建立點數與支付整合的生態圈。

玉山銀行的作法是將數位公共建設金流平台與玉山 Wallet App 整合在一起,開通電子支付並綁定支付工具,藉此引導客戶多加使用玉山 Wallet App,以及透過 TWQR 通路優勢以及交通(乘車碼)跟生活繳費場景應用等方式提升客戶往來頻次與增加跨售機會。「根據我們的統計數據,玉山電子支付帶動玉山銀行開戶的數量,是其他錢包的 6 到 10 倍。」

民眾透過玉山Wallet掃描TWQR,即可在消費場景中使用一鍵完成「數位券+點數+支付」合併付款
民眾透過玉山Wallet掃描TWQR,即可在消費場景中使用一鍵完成「數位券+點數+支付」合併付款
圖/ TWQR

TWQR數位券再進化:從優惠工具、場景金融到實現精準行銷

對玉山銀行來說,整合數位公共建設金流平台不僅是優化民眾領取與使用消費券與振興券體驗的重要工具,更是實現多元場景金融、貫徹精準行銷的重要平台。舉例來說,相較於沒有精準分眾的活動,透過數據分析遴選出的玉山特選用戶領券繳費折抵的轉換率超過 8 成、重購率逾 7 成,成效十分亮眼。

張正志面帶微笑的說:「未來,我們將以系統平台為核心,由跨部門籌組的科技聯隊以數據分析跟 AI 持續優化行銷成效,打造差異化服務體驗。」例如,計畫推出行銷智能化服務:不用人工事先挑選名單,當客戶行為樣態觸發系統預判條件,AI Agent 便會智能發券,提供專屬禮遇。

總體來說,TWQR數位券讓支付更簡單、更智慧,也讓政策補助落地更快速,也為銀行與民間支付合作提供舞台。而玉山銀行除透過舉辦與TWQR相關活動引流、吸引客戶申請數位券服務,更透過平台將獎勵回饋發送到玉山 Wallet App,協助客戶開啟使用電子支付服務,使用後將再度獲得回饋進而養成使用習慣,爾後,以有趣且高互動的客戶經營方式,引導客戶從使用一個銀行服務擴展到使用多個服務,發揮獲客、活客、留客與悅客的正向循環,更好實現跨生態多贏。

#0 台灣Pay
玉山銀行個人金融事業總處資深副總經理 林榮華(右)、玉山銀行信用卡暨支付金融處處長 張正志(左)
圖/ TWQR
精華一次看>>數位時代 Youtube 頻道 Shorts

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
AI全球100+台灣20
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓