【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
告別「極速迷思」!Opensignal 國際評比揭密:什麼才是 5G 時代的好網路?
告別「極速迷思」!Opensignal 國際評比揭密:什麼才是 5G 時代的好網路?

過去,下載速度是評價電信服務的重要指標,但在 5G 成為工作、娛樂、生活不可或缺的數位基礎設施後,消費者發現,再快的網速,如果不能讓其在人潮聚集、高速移動或室內空間維持穩定連線,即無法轉換成好的使用體驗,也因如此,衡量「好網路」的標準,也逐漸從追求測速數字,轉向任何時間、任何地點都能穩定連線的使用體驗。

這樣的轉變,也反映在國際權威網路分析機構 Opensignal 公布的評比結果。今年初,台灣大哥大不僅率先奪下「 4G/5G 在線率全球 No.3、全台 No.1 」國際級榮譽,在 Opensignal 最新公布的台灣行動網路體驗報告中,更一舉斬獲全台獨有的「可靠性體驗」與「品質一致性」No.1 雙冠王,同時,包辦全台整體影音體驗 No.1、全台整體語音體驗 No.1、全台 5G 語音體驗 No.1 以及全台網路在線率 No.1 多項榮譽。

這些獎項反映的不只是網路順暢,更代表台灣大哥大長期投入頻譜布局、基地台建設與 5G 技術整合所累積的成果,也讓外界重新思考:究竟什麼才是真正的好網路?

真正的好網路,比的是長期穩定、而非單點測速

答案,就藏在 Opensignal 最具代表性的兩項評比指標──可靠性體驗(Reliability Experience)與品質一致性(Consistent Quality)。

相較於傳統下載速度只反映單一時間、單一地點的網路表現,這兩項指標更重視使用者在真實生活中的整體體驗,因此也是最能反映電信業者網路實力、最難取得的獎項。

「可靠性體驗」衡量的是使用者是否能順利完成各種數位應用,因此,考驗的是網路服務在關鍵時刻不中斷的能力。例如,搶購熱門演唱會門票、秒殺限量商品、超商結帳掃描 QR Code,或是重要的線上會議,都需要網路能即時回應、低延遲且持續運作。

而「品質一致性」則是衡量電信業者可否在不同時間、不同地點、不同網路負載下,都能維持一致的網路服務品質。無論是在跨年晚會、球賽等人潮密集場域,或是在高速移動時觀看串流影音、傳送 LINE 訊息、分享社群動態,確保維持穩定流暢,不因環境改變而明顯降速。

台灣大哥大能同時拿下這兩項全台第一,不僅代表網路速度表現優異,更證明其網路基礎建設具備高度穩定性與韌性,能在各種使用情境下提供一致且可靠的連線品質。

#0 告別「極速迷思」!Opensignal 國際評比揭密:什麼才是 5G 時代的好網路?
圖/ 台灣大哥大

世界級的體驗,來自看不見的技術布局

對使用者來說,網路很好用是一種感覺,但對電信業者來說,則是資金、時間與技術的長期累積與優化。

台灣大哥大能夠率先獲得 Opensignal 的 4G/5G 在線率全球 No.3 與六項台灣第一肯定,背後依靠的不是單一技術,而是長期累積的頻譜策略、基地台建設與網路架構:

首先,台灣大哥大是全台唯一擁有 700MHz+900MHz 雙低頻組合的業者,具備涵蓋範圍廣、穿透力強的特性,不僅能深入建築物室內,也能有效覆蓋偏鄉及高速移動場景,成為穩定連線的基礎。

另一方面,面對影音串流、AI 應用等高速傳輸需求,則由 3.5GHz 100MHz 大頻寬提供高容量傳輸能力,雖然這 100MHz 頻譜由 60MHz 與 40MHz 組成、物理位置並不連續,但透過 NRCA(5G 載波聚合)技術,可將分散頻譜智慧整合,即時進行流量分配、負載平衡與備援,大幅提升頻譜使用效率,讓尖峰時段與高流量場景依然維持穩定的網路品質。

#1 告別「極速迷思」!Opensignal 國際評比揭密:什麼才是 5G 時代的好網路?
圖/ 台灣大哥大

透過上述技術布局,台灣大哥大成功將之轉換為使用者最有感的體驗:無論是在地下室、車廂、偏鄉山區,或是大型活動現場,都能享有穩定、流暢且時刻在線的連線品質。

這樣的發展態勢也意味著:台灣 5G 競爭已從基地台數量與下載速度,進一步走向網路品質、使用體驗與基礎建設韌性的競爭;未來,隨著生成式 AI 、代理式 AI、雲端服務、XR 沉浸式體驗、自駕車與智慧城市快速發展,行動網路將成為支撐數位經濟的重要基礎設施。

總地來看,從 Opensignal 全球 4G/5G 在線率 No.3、全台 No.1,到六項第一的肯定,可以清楚看見:台灣大哥大打造的不只是更快的 5G,而是一套兼顧涵蓋、容量與穩定性的世界級網路架構,也重新定義了好網路的價值–真正重要的,不是測速最快,而是在任何時間、任何地點、任何情境,都能提供穩定且值得信賴的連線體驗,將成為推動台灣下一個數位經濟與 AI 浪潮最關鍵的堅實底座。

想進一步了解台灣大哥大領先全台、接軌世界的網路實力與技術布局,歡迎點選官網了解更多。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台達電全解讀
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓