【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
從商務卡到虛擬財務長,Mastercard如何把支付變成企業決策力
從商務卡到虛擬財務長,Mastercard如何把支付變成企業決策力

員工自行墊付差旅、採購、雲端訂閱或廣告費,月底再拿著單據報帳;不同部門各自綁定信用卡,企業難以即時掌握支出;員工離職後,若原有付款設定沒有同步移轉,也可能影響後續業務運作。這些看似零碎的支付問題,背後都涉及一個關鍵議題:中小企業能否更有效率的管控資金。

對資源有限的中小企業而言,支付管理不只是財務部門的行政工作,當支出分散、現金流難以預測,甚至連跨境匯款都存在時間與到帳金額的不確定性,企業的營運效率與成長速度都可能受到影響。

為協助中小企業解決上述挑戰,萬事達卡(Mastercard)提供端到端商務解決方案–虛擬卡、車隊卡、跨境匯款服務到Virtual C-Suite,讓支付從單純的交易工具,轉化為企業管理資金與做決策的基礎。

以商務卡結合虛擬卡,讓每一筆支出更可控

Mastercard台灣區董事總經理陳懿文指出,中小企業目前常見的支付方式主要是信用卡與轉帳,若大量依賴員工代墊,不僅增加報帳與核銷成本,也讓企業難以即時掌握整體支出。「導入商務卡後,企業可以將原先分散在員工身上的支出收回企業管理,同時,進一步設定使用規則,例如限定交易商家、金額、消費類別、使用期間或國家,讓企業對資金使用建立更細緻的控管機制。」

除了支付管理,商務卡也能進一步降低企業日常營運成本。陳懿文表示,商務卡持卡人可透過商務優惠計畫Easy Saving Specials,取得Google Workspace、Shopify、LinkedIn、Notion、Sixt、 Agoda等品牌優惠,涵蓋雲端服務、電商營運與數位行銷等企業常見支出。

虛擬卡的In Control平台則讓支付管理變得更精準。例如,企業可以針對特定通路建立虛擬卡號,讓員工綁定手機支付差旅費;也可以針對單筆訂單產生一次性虛擬卡號,直接將付款與訂單串聯,後續再透過虛擬卡號進行核銷與對帳,降低人工處理成本。

透過Commercial Connect API,企業可以把虛擬卡功能整合進既有的企業資源規劃(ERP)系統、採購或費用管理系統,從發卡、付款到後續管理,都能在原本熟悉的平台上完成。目前相關方案已整合SAP Concur、SAP Taulia、Pay4You、Grasp Technologies與Kresus等平台,也支援企業自行建置的客製化ERP系統。

#2 萬事達卡
Mastercard台灣區董事總經理陳懿文:「我們以每年1,750億筆交易的資料為基礎,將中小企業每一個進出與支付節點問題,逐步設計出不同的解方,一步步實踐『支付至簡,商業致遠』的願景。」
圖/ 數位時代

從車隊卡到跨境匯款,助中小企業降低營運不確定性

對物流、運輸等擁有大量車輛的企業來說,加油、維修是每天都會發生的固定支出,過去,不同加油站可能需要不同儲值卡,管理不易,也可能因支付問題影響車輛調度與運輸,導入Mastercard的車隊卡後,問題不復存在。

企業可以限定卡片只能用於加油、維修、停車等特定商用項目,並進一步將卡片與車號或駕駛人建立關聯,例如一張卡對應一台車或一位駕駛,或讓駕駛人以虛擬卡支付車輛所需費用。對企業來說,這不只是換一張卡,而是把原本分散的車隊支出納入同一套管理架構,在維持車輛正常運作的同時,也提高資金使用的透明度。

同樣的邏輯,也延伸到日益增加的跨境匯款需求。隨著中小企業將業務版圖擴展到海外市場,對跨境匯款的需求將隨之攀升,若仍以傳統的方式進行跨境匯款,不僅得等候長達1到3天的匯款時間、也常因為中轉銀行收取費用導致到帳金額有落差,更不用說即時追蹤匯款進度,一旦款項延遲或金額出現落差,就可能進一步影響對帳與供應鏈運作。

為解決上述挑戰,Mastercard推出Mastercard Move,讓中小企業可以輕鬆掌握每一筆匯款的狀態,以更有效率的方式完成跨境匯款,全球60%的市場可於1小時內到帳、95%的市場1天內可到帳,同時,以全額到帳降低到帳金額不確定帶來的營運風險。

從掌握現在到預見未來,Mastercard用Virtual C-Suite把數據變成經營洞察

協助中小企業以商務支付方案優化支付與資金管理後,Mastercard接下來思考的是,知道錢花在哪裡後,若能進一步知道未來會發生什麼,創造的商業價值更高。如果支付數據不只是用來對帳,而能進一步回答「未來現金流會怎麼變化」、「現在適不適合擴張」、「企業的成長速度是否落後同業」,支付的價值就會從管理工具進一步提升為決策工具。

而這也是Mastercard會推出Virtual C-Suite的原因,目標是讓資源相對有限的中小企業也可以透過數據分析洞悉未來局勢。

萬事達卡
面對中小企業痛點,Mastercard提供全方位的解決方案。
圖/ 數位時代

陳懿文表示:「我們以每年1,750億筆交易的資料為基礎,再結合企業自身的財務數據推出Virtual C-Suite服務,其中預計Virtual CFO功能將在今年底於特定市場試點營運。中小企業只要將銀行與交易等數據上傳到平台、或者是透過API串聯財務系統或發卡行的網路銀行,即可協助企業掌握財務健康、預測現金流,以及進行同業比較。」

Virtual CFO就像中小企業虛擬財務長,透過對話式問答,不僅能從支付數據中找出企業忽略的議題,還會提供可執行的專業建議,讓企業看見下一步,進而提升營運韌性與績效。

舉例來說,一家餐廳營收持續成長,卻可能因為平台款項較晚入帳、食材需要即時付款,造成現金流壓力;對餐廳營運者來說,問題倒不是「有沒有賺錢」,而是「錢什麼時候進來」的現金流管理,Virtual CFO在協助其挖掘出這個議題後,將進一步從收付款週期找出落差,再協助企業評估付款條件、付款時間等調整方式。

同樣的情況也可能發生在企業擴張時。接到新客戶或大訂單,看起來是成長機會,但如果資金準備不足,反而可能增加營運壓力,透過Virtual CFO,企業可以預測未來現金流,再決定是否擴張據點,以及確切的時間。同業比較則提供另一個分析角度,舉例一家自行車店的年營收成長15%,單看數字會覺得營收數據亮眼;但若Virtual CFO進一步比較同業數據後發現平均成長率是30%,將重新思考成長速度,建議主推商品、調整客單價,以及進行相應的行銷投入。

從商務卡到虛擬財務長,Mastercard提供的不是單一產品,而是一套隨企業成長逐步疊加的支付管理層次——先把分散的支出收回可控範圍,再透過數據預見現金流與擴張時機。對於還在用員工代墊、多張信用卡管理支出的中小企業來說,第一步不必等到導入Virtual CFO,從申請一張商務卡、設定使用規則開始,就能踏出第一步。從商務支付方案到Virtual CFO服務,Mastercard致力實踐「支付至簡,商業致遠」的願景:當支付流程更簡單、資金流向更透明,數據便能成為企業決策的依據,協助中小企業從掌握當下,進一步預見未來。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓