【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
人人用 AI,訊息更分散?普羅品牌顧問「Process 2.0」助企業建品牌 AI 助理、精準溝通驅動成長
人人用 AI,訊息更分散?普羅品牌顧問「Process 2.0」助企業建品牌 AI 助理、精準溝通驅動成長

自 2022 年底 ChatGPT 引爆生成式 AI 浪潮以來,企業競相導入 AI 加速內容產出,效率看似提升,品牌訊息破碎化與品質失控的風險卻也隨之浮現。行銷、客服、業務各自運用 AI 工具產出文案,語氣與規範逐漸失去統一標準,消費者接收到的品牌形象因此愈趨模糊。

「一旦 AI 成為人人可及的工具,它本身幾乎不再是差異化的因素。真正的差異,不在於技術本身,而在於企業如何運用它。」Process 普羅品牌顧問創辦人 Martin Kessler 指出,長期來看,勝出的不會是使用最強大 AI 的企業,而是那些將品牌定位得足夠清晰、即使在技術趨於同質化的情況下依然與眾不同的企業。「AI 正成為常態,但唯有強大的品牌,才具備真正的競爭優勢。」

普羅品牌顧問-2.JPG
Process 普羅品牌顧問創辦人 Martin Kessler。
圖/ 數位時代

如何運用 AI 加快內容產出速度,並同時兼顧品牌信任所需要的一致水準,這是 1995 年創立於瑞士蘇黎世的普羅品牌顧問,近年積極思考的問題。為此,普羅提出「Process 2.0」服務,將顧問角色從建立品牌策略,延伸到協助企業建立可持續運作的品牌溝通系統。

「Process 2.0」服務:提升企業品牌溝通力

Process 普羅品牌顧問台北分公司總經理洪翠霞觀察,品牌訊息之所以失焦,關鍵在於策略完成後,仍缺乏一套持續運作的溝通系統銜接執行。她將這種落差歸納為五種斷層:

首先,一旦策略完成後未能落實到日常工作,便形成策略斷層。同時,當品牌理解過度仰賴少數主管,一旦人員異動,傳承便隨之中斷,造成轉譯斷層。

在執行面上,各部門對外溝通的語氣逐漸分散不一致,也會有語氣斷層的問題;內容產出雖多,卻缺乏共同標準判斷是否符合品牌,則是驗證斷層。最後,所有品牌知識散落各處、未被系統化管理,導致治理斷層,也讓最初的策略價值難以發揮效果。

這五個斷層背後,指涉的是同一個關鍵。也就是品牌策略與實際執行之間,少了一套能夠持續運作的品牌溝通系統。

普羅品牌顧問-3.jpg
Process 普羅品牌顧問台北分公司總經理 洪翠霞。
圖/ 數位時代

為此,普羅開發出「Process 2.0」解方,從三個階段解決落差。首先,從「Brand Strategy」出發,先釐清品牌的定位與價值主張;接著才是「Brand Communication System」,將策略轉化為跨部門可依循的語言規則;最後則是「AI Brand Communication」,把品牌知識整合進安全可控的 AI 工作環境,讓行銷、業務、客服、人資,乃至海外代理商,都能基於統一的品牌基準產出內容,並持續進行審核與知識更新。

「AI 內容產出速度已遠遠超過品牌治理速度,品牌基礎若模糊不清,AI 只會更快放大既有的問題。」洪翠霞強調,AI 時代讓斷層問題更加明顯,因此她也期待透過「Process 2.0」品牌專屬 AI 助理,延伸顧問影響力,幫助品牌長期把關、一同成長。

品牌力 + AI:打造品牌專屬 AI Agent

為實現「Process 2.0」,普羅攜手愛酷智能科技(AccuHit)將品牌策略、知識與 AI 技術整合,協助企業建立專屬品牌 AI 助理。

愛酷智能科技(AccuHit)執行長林庭箴指出,「Process 2.0」鎖定的是品牌再造:AI 除了應用在企業內部流程,還能如何用在品牌溝通面。他分析,當電商進入超微利的時代,零售產業正走向三個不可逆的趨勢,包括:到 2030 年,將有五成消費行為由 AI 協助完成,商品資料必須完整到能讓 AI 讀懂;其次是超個人化,信任愈稀缺,推薦卻必須愈貼近個人需求這件事將更挑戰;第三,則是預測型消費將持續增加。

普羅品牌顧問-4.JPG
AccuHit 執行長 林庭箴。
圖/ 數位時代

尤其,在非零售場域,品牌溢價更為關鍵,因為品牌價值與品牌溝通內容不只要讓消費者理解,也要讓 AI 讀懂,才能持續發揮影響力。不過,當企業想要運用 AI 做行銷卻沒想像中容易。林庭箴強調,企業 AI 最大的挑戰,多半集中在機敏資料的存取與管理層面。

因此在「Process 2.0」的開發協作上,普羅負責定義場景,AccuHit 則提供技術與產品面支援,將品牌規範與知識納入 Gen AI 系統,讓所有輸出都能經過品質控管,如同 AI 版本的品牌指南,確保每一次輸出都建立在信任與安全之上。

目前品元實業、昇昇膠業等品牌已導入試用這項服務工具,無論是行銷內容撰寫、客服回覆、產品諮詢或內部教育訓練,皆能依據統一的品牌規範,輸出兼具效率與品質的內容。

Brand-to-Revenue:探索成長新引擎

根據台經院發布的《2026 台灣企業品牌力大調查》,過去五年(2021 至 2025 年)收集的 1,167 家企業數據顯示,台灣企業普遍呈現「內強外弱」的品牌結構。也就是品牌定位與內部管理已具基礎,但對外溝通與價值主張,如品牌好感度與互動性,卻相對薄弱,導致多數企業雖有高重複購買率,卻缺乏品牌溢價能力與市場認同。

對此,台灣品牌耀飛計畫小組副主任朱俐穎指出,「Process 2.0」的目標,是協助企業建構可落地的溝通能力,最終讓品牌策略實質驅動營收成長。

她以多年輔導近千家品牌企業的經驗為例,企業經過品牌輔導後,形象全面升級、設計語言更聚焦,市場識別度也隨之提升。她觀察,品牌塑造的成果平均在一至兩年後開始發酵,客戶能明顯感受到不同:「以往客戶只是單純買產品,但有了品牌之後,就多了願景與合作想像,能吸引其他企業一起創新共榮。」

普羅品牌顧問-5.jpg
台灣品牌耀飛計畫小組副主任 朱俐穎。
圖/ 數位時代

AI 的本質就像一面放大鏡:品牌定位清楚,AI 能加速轉譯、提升溝通效率;定位模糊甚至混亂,AI 也會同步放大這份混亂,後果難以收拾。品牌梳理是否到位,決定了 AI 是阻力還是助力。

為協助企業及早驗證成效,普羅已推出「60 天品牌成長試用計畫」,讓企業在正式導入「Process 2.0」前展開深度合作,鎖定成長機會。從 Made in Taiwan 到 Trusted Taiwan Brand,信任,才是品牌溢價的關鍵。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台達電全解讀
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓