【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
【AI時代的成熟決策學】當技術更新越來越快,為何科技領袖反而轉向推崇「基礎系統」的極致穩定與進化?
【AI時代的成熟決策學】當技術更新越來越快,為何科技領袖反而轉向推崇「基礎系統」的極致穩定與進化?

在生成式AI與軟體定義一切的科技浪潮下,「快速更新」成為企業顯學,卻也帶來前所未有的焦慮。當技術以「月」、甚至是「天」為單位被淘汰時,頂尖科技決策者的思維也同步更新。真正決定企業深度與產品生命週期的,並非花俏的表面功能,而是歷經時間考驗、具備彈性與擴充度的「基礎架構」。這種對成熟基礎的信仰,也完美延伸至他們的移動選擇上。

大技術時代的焦慮與解藥!科技決策者如何定義「永續演進的核心架構」?

走進科技園區的玻璃帷幕大樓,或是金融總部的會議室中,科技業高階主管或創業家們正討論著大型語言模型的部署、邊緣運算演算法的優化,以及下一代商業模式的翻轉。在此「軟體定義世界」的時代,企業面臨著極度快速的科技新陳代謝。新技術看似絢麗,但若缺乏強大的系統基礎支援,往往隨時面臨被市場淘汰的風險。

國際知名諮詢機構 McKinsey在最新的全球人工智慧調查中指出:超過72%的全球企業已在至少一個業務功能中部署了生成式AI或軟體自動化。然而,Gartner的科技趨勢報告亦警告:高達85%的企業數位轉型或新技術導入未能達到預期成效,雖然背後有著諸多因素值得探討,但其中不可忽視「過度追逐單一噱頭,忽視基礎架構的穩定性與擴充彈性」此原因。

新技術與演算法看似絢麗,但若缺乏強大的系統基礎支援,往往隨時面臨「過時與崩潰」的風險。

觀察當代頂尖科技領袖與高階決策者的思維演變,會發現他們正在展現一種「成熟的理性」:比起無休止地追逐未經驗證的短期趨勢,他們更看重基礎架構是否具備極高的擴充性、穩定度與縱向深度。因為真正的技術典範,通常不是頻繁更新的應用層面,而是歷經時間考驗、可持續無縫升級的基礎平台。

這種「以成熟基礎應對快速變化」的系統思維,同樣完美體現在當前頂級座駕的選擇面向。

Porsche Cayenne並非橫空出世的新車型,而是保時捷歷經數世代進化與升級後,將造車工藝與數位系統完美融合的成熟結晶。對科技企業家而言,選擇Cayenne絕非隨波逐流,而是對「歷經市場與時間驗證」的技術信仰與價值投射。當外在環境變化越快,聰明的決策者越懂得付出對「經過驗證的基礎技術」的高度信賴。

Porsche Cayenne
Porsche Cayenne 是當代頂尖決策者的終極選擇,以歷經世代淬鍊的極致平台與完美工藝,完美詮釋了「唯有強大且經過時間驗證的成熟基礎,方能輕鬆駕馭快速變化的未來」。
圖/ 數位時代

從科技園區到海岸 解構科技領袖的「多工相容性」

當代科技領袖與創業家的人生,就像是一台高負載運作的高效伺服器。晨間穿梭於內湖科技園區,處於高節奏的商業決策與跨國連線會議;週末則需要迅速切換狀態,帶著家人遠離城市喧囂,前往北海岸享受海景與戶外生活。

Porsche Cayenne
從高負載的商業決策,到週末北海岸的家庭時光,當代科技領袖跨越場景的無縫切換,Porsche Cayenne展現了兼具極致效能與高度彈性的「多工相容性」。
圖/ 數位時代

對應這樣快速的角色切換,他們需要的不僅是一輛功能單一載具,而是一款具備極高「多工相容性」的旗艦移動平台:

日常運作的高相容性: 商務通勤與跨國會議的空檔,Cayenne GTS Coupé舒適豪華的5人座設定與優化的直覺UX數位介面,提供高品質的靜謐空間與尊榮感受。將原本被浪費的交通時間,轉化為高效率的沉澱與充電時刻。

低延遲的樂趣釋放: 須臾間立刻切換至運動模式,車身動態反應即刻搖身一變,隱藏的跑車基因瞬間釋放。500 PS強悍輸出與跑車般的操控身手,讓駕駛者從商業大樓開往海岸公路時,無需在「家庭責任」與「獨處熱血」之間做任何取捨。

Porsche Cayenne
Porsche Cayenne 以極致奢華靜謐與瞬時釋放的強悍性能,成為科技領袖無縫切換商務沉澱與駕馭樂趣的旗艦移動平台。
圖/ 數位時代

技術與設計分析 Cayenne GTS Coupé如何以「軟硬體深度整合」詮釋現代工藝?

對於當代科技人而言,絕對最為了解「軟硬體協同」的難度與迷人之處。要讓一台擁有極佳空間的五人座SUV同時兼具跑車的動態極限,背後靠的是極其精密的調校能力。Porsche Cayenne GTS Coupé正是軟硬體深度結合的典範:

動力與動態控制演算法: 搭載500 PS V8雙渦輪增壓引擎,配合PASM主動式懸載調整系統與降低10公釐的主動氣壓懸吊,以毫秒級的微處理速度即時修正阻尼軟硬與動態反應,展現物理極限與演算法調校的完美結合。

Porsche Cayenne
圖/ 數位時代

邊緣感知與智慧光學: 採用HD Matrix高解析度LED頭燈,單側擁有超過32,000像素的微型LED,透過視覺演算法進行即時分區域防眩光與路況動態照明,將前瞻科技轉化為實際的行車安全保障。

Porsche Cayenne
圖/ 數位時代

多模態開放式配置: 除了Cayenne GTS Coupé之外,Cayenne車系提供SUV與Coupé雙車型配置,以及純燃油與E-Hybrid混合動力,宛如極具彈性的開放式架構,滿足科技領袖對客製化規格的偏好。

立即部署您的專屬跑車平台

懂得選購頂級科技產品的決策者,重視的並非浮誇的科技噱頭,而是優異的軟硬體整合能力與歷經市場驗證後的可靠度。Porsche Cayenne身為五人座跑車SUV的先驅,成功將跑車靈魂無縫融合進日常機能中,正是這項「系統級決策哲學」的最佳體現。

Porsche Cayenne
聰明決策者選擇的不只是車,而是重視軟硬體整合與市場驗證的「系統級哲學」,這正是 Porsche Cayenne 將跑車魂融入日常的極致呈現。
圖/ 數位時代

渴望打造專屬移動平台的科技領袖,不妨立即進入「Cayenne GTS Coupé 新車打造頁面」開啟模組化客製體驗,或透過「現有車款尋找頁面」零時差部署您的座駕,即刻掌控無縫切換的純粹駕馭。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓