【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

    上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

    所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

    但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  6. 商品本質、內容

  7. 商品描述 (meta-data) 與分類
  8. 最後才是商品的使用

    在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  9. 會自動化新增關鍵字詞的表

  10. 會自動化連結出語意網路的表

    這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

    只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  11. 關連分析 (一階, 或高階)

  12. 群落分析 (Clustering)
  13. 時間序列預測

    有了上面三個很基本的工具後,可以配合產出很多的可能性:

  14. 最常見的關連購買

  15. 在搜尋結果中做排序
  16. 從分類結果做語意分析產出因子
  17. 有了高階的關連分析可以透過配對做活動
  18. 從銷售預測中作備品或庫存準備
  19. 只要你想得到的

    當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

    記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

    所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
台股破兆元成新常態!永豐金「大戶投 APP」整合三大交易服務:化身投資人專屬「金融行動電源」,助攻高檔震盪「交易不中斷」
台股破兆元成新常態!永豐金「大戶投 APP」整合三大交易服務:化身投資人專屬「金融行動電源」,助攻高檔震盪「交易不中斷」

投資人追逐台股AI熱。根據臺灣集中保管結算所與臺灣證券交易所的最新數據,今(2026)年以來國內投資市場熱絡催動開戶熱,集保帳戶每月總開戶數持續穩健成長,累計開戶數已突破2,540萬戶;對比證交所公佈的最新證券開戶人數約1,420萬人,反映台灣人對「多帳戶管理」強烈潛在需求,希望透過不同帳戶區隔長線資產與短線交易。

面對股市操作節奏顯著加快的高檔震盪環境,投資人渴望擁有穩定且高效的交易平台,以確保投資流暢、避開潛在的斷點危機。永豐金證券數位金融處代理處長 黃亮喻 指出:「投資人傾向透過多帳戶管理來區分資金用途。在股市高檔、交易節奏加快的環境下,『交易不中斷』已成為基本需求,任何系統或金流的停擺風險,都可能成為投資的致命傷。」

黃亮喻進一步表示,這股趨勢就如同現代人外出時習慣隨身攜帶行動電源,以降低手機沒電帶來的不便與焦慮;對投資人而言,一個多元且整合性強的交易帳戶,正是能在關鍵時刻即時支援的「金融行動電源」,協助股民在市場瞬息萬變之際,依然維持穩定的交易節奏與資產掌控力,也不會混淆每個帳戶的投資目的。為此,永豐金證券整合三大數位下單服務,致力成為股民心中值得信賴的數位券商。

永豐金-大戶投APP.jpg
圖/ 數位時代

策略一:執行力進化!毫秒報價與「閃電下單」助攻精準決策

在快節奏的行情中,資訊獲取的速度即是決勝關鍵。針對海外市場,全新升級的「大戶投 APP」美股2.0導入毫秒級即時主動推送報價機制,解決傳統免費平台延遲15分鐘所帶來的決策誤差與時間落差。在台股盤中,大戶投APP的「儀表板」功能即時彙整市場資金流向與產業強弱,確保投資人在切換不同帳戶操作時,仍能維持一致的市場判斷基準。

此外,針對重視交易效率的短線投資人,大戶投APP推出的「閃電下單」功能,搭配「智慧單」系統,在觸發預設條件時自動完成委託與交易。一體化的自動執行流程大幅降低了人為情緒判斷的誤差。「這賦予了散戶與法人同等的專業底氣,讓我們成為投資人的第二大腦。」黃亮喻說。

策略二:多帳戶管理學:打造資產防線,讓交易策略對齊投資初衷

回歸交易策略本質,資產成敗的關鍵往往不在於盲目追逐明牌,而在於資金管理的紀律。永豐金證券建議投資人養成「分散風險」的好習慣,依據不同的投資目的建立「專屬帳戶口袋」。

透過精準的「多帳戶管理」,投資人可將資產依屬性彈性劃分為三大區塊:

  • 帳戶A(長期投資用途):專注於ETF佈局、優質存股與長遠的退休規劃。

  • 帳戶B(短線操作用途):靈活執行波段操作、熱門題材與事件交易。

  • 帳戶C(高機動交易帳戶):用於應對市場突發利多或利空狀況,保留特殊行情的彈性操作空間。

黃亮喻表示,多帳戶管理的關鍵不在數量,而是能否在切換過程中維持資訊與操作的連續性。透過多帳戶管理,投資人能清楚掌握每筆資金用途,也更容易建立符合自身風險承受度的投資節奏,避免長線投資受到短期市場情緒干擾,讓交易策略對齊投資初衷。

策略三:重塑金流體驗!「投資錢包」化解資金調度停擺風險

在金流實務層面,永豐金證券深入觀察到,散戶交易卡關的痛點往往不是資金不足,而是在機會出現時,資金分散在不同的銀行帳戶,導致來不及即時撥補至證券交割戶,白白錯失最佳進場時機。

為了打破銀行營業時間的限制,永豐金證券推出的「資金管理帳戶」(分戶帳),讓證券帳戶化身為新世代的「投資錢包」。黃亮喻解釋:投資人無須另外開立證券款項劃撥帳戶,即可彈性綁定多達25家主流金融機構,並支援自由設定最多三組入金帳戶與一組出金帳戶,提供官網24小時即時出入金服務,將資金調度效率最大化。

更關鍵的是,為了化解忙碌上班族因一時疏忽而遺忘轉帳的信用風險,系統支援「自動授權代扣」功能。當台股成交且帳戶餘額不足時,系統會自動自約定銀行撥補資金。黃亮喻提醒:「若因金流小疏忽而傷及珍貴的個人信用紀錄,實在非常可惜,因此我們希望透過自動化智慧金流機制,維持金流順暢與交易穩定性。」

永豐金.jpg
圖/ 數位時代

數位理財新標配,限時解鎖有感升級

為了落實普惠金融並鼓勵投資人建立多帳戶管理意識,永豐金證券提供一站式線上無紙化開戶服務,最快僅需 7.5 分鐘即可完成所有開戶流程。並加碼推出開戶加碼活動,凡年滿 18 歲之新戶完成登錄並線上開戶,最高可享 1388 元等值好禮,且當月「資金管理帳戶」日平均餘額每滿二十萬元,可獲1次價值3萬元旅遊金兌換券抽獎機會,詳情搜尋「投資升級選永豐」活動官網。

大戶投APP累計下載已突破111萬次,顯示投資人對即時交易與數位理財需求持續提升。永豐金證券強調,大戶投 APP 將持續扮演守護資產的「金融行動電源」,全面打造無斷點的流暢交易體驗。展望未來,永豐金證券將不斷精進交易效率、金流整合與數位服務體驗,落實「翻轉金融,共創美好生活」的願景。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
代理式商務連動百兆商機
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓