【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

    上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

    所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

    但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  6. 商品本質、內容

  7. 商品描述 (meta-data) 與分類
  8. 最後才是商品的使用

    在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  9. 會自動化新增關鍵字詞的表

  10. 會自動化連結出語意網路的表

    這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

    只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  11. 關連分析 (一階, 或高階)

  12. 群落分析 (Clustering)
  13. 時間序列預測

    有了上面三個很基本的工具後,可以配合產出很多的可能性:

  14. 最常見的關連購買

  15. 在搜尋結果中做排序
  16. 從分類結果做語意分析產出因子
  17. 有了高階的關連分析可以透過配對做活動
  18. 從銷售預測中作備品或庫存準備
  19. 只要你想得到的

    當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

    記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

    所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
品牌成長的下一步:WPP Open 與 AI 驅動的智慧行銷全攻略
品牌成長的下一步:WPP Open 與 AI 驅動的智慧行銷全攻略

生成式 AI 正在改變人們的生活與工作方式,品牌行銷的運作模式也因此而大幅改變。為因應這波變革,WPP Media(群邑媒體)舉辦「Open for Growth 2030 打開智能行銷時代」論壇,正式宣佈在台推出全新平台 WPP Open,並攜手奧美與 The Trade Desk 兩大合作夥伴,共同探討未來十年的媒體轉型藍圖,協助企業洞察國際趨勢,搶先布局新時代的傳播競爭力。

WPP Open 在台上市,打造 AI 行銷智能引擎

WPP Media(群邑媒體)執行長郭俊鑫表示,AI 已經是行銷流程中不可或缺的一環,但行銷人現在的挑戰不在於「要不要用AI」,而是「如何讓 AI 落地,真正幫助品牌在每一個層面上都能產生成效?」

對此,WPP 集團集結全球的行銷數據、策略與方法論,打造出全新智慧行銷平台 WPP Open,這是一個跨品牌、跨市場、跨媒體的 AI 智能策略引擎,可以讓行銷策略與產出更快、更準、更有影響力。

WPP Media
WPP Media(群邑媒體)執行長郭俊鑫
圖/ WPP Media

WPP Open平台具備三大特色。第一是以 WPP 集團本身所擁有涵蓋 75 個產業的消費者數據庫為基礎,再串接全球超過 350 家合作夥伴的數據庫,透過大量且多元的數據來訓練模型,確保資料安全與精準。第二是以「Private by Default」為設計核心,確保品牌在利用數據的同時仍維持最高隱私標準。第三是內建 Discovery、Plan、Activate、Measure 四大模組,涵蓋媒體行銷的每一個階段,讓品牌主、創意團隊與媒體平台等不同組織,都能在相同平台上一起協作,提高作業效率。

WPP Open如何解決品牌的三大挑戰?

WPP Media策略長金佳諭進一步指出,在科技快速變化、市場競爭激烈的今日,所有品牌主都在面臨三大行銷挑戰:如何找到下一個成長來源?如何在大量且分散的媒體環境中維持精準消費者洞察?又如何在海量數據中看見完整故事?而WPP Open 恰好能協助企業克服這三大挑戰。

首先,透過 Discover 模組可以助力品牌找到下一個成長來源。過去,行銷團隊在解讀客戶需求時,往往會因為溝通方式、經驗或觀點差異,而出現理解落差,而 Discover 模組可分析 Brief 背後的隱藏訊息、提供產業洞察、找出未被看見的成長動能,或是從消費者決策路徑和行為中,判斷品牌真正的競爭優勢,讓團隊從第一步就做出對的決策。

WPP Media
WPP Media策略長金佳諭
圖/ WPP Media

其次,是運用 Plan 模組看見真實受眾,維持精準的消費者洞察。WPP Media 資深總監陳昭伶指出,過去的消費者研究存在許多限制,例如,難以全面理解消費者、人工解讀數據,耗時又費力等,但透過 Plan 模組 4 大功能可以突破限制,快速完成消費者研究。

舉例來說,Audience Insight 可以從不同維度去描繪消費者樣貌,行銷人只要與系統「對話」,就能看到洞察結果,不必再花大量時間進行複雜的資料處理。而Build Persona 則讓行銷人可以看到消費者生活化的樣貌。Focus Group 能夠模擬目標受眾樣貌並回答問題,大幅縮減焦點訪談所需的時間和人力成本。Customer Journey 則能了解不同階段的消費者旅程,「當我們真正理解消費者,就能與他建立更真誠的連結。」陳昭伶說。

WPP Media
WPP Media 資深總監陳昭伶
圖/ WPP Media

第三,是藉由Measure 模組從海量數據中看見完整故事。WPP Media數據與技術團隊負責人戴伯偉表示,WPP Open 以行銷人員為中心,將媒體投放明細、轉換成效、電商/銷售數據、品牌自有資料等內外部數據,匯整在單一平台上,使企業可以做更快速更全面的資料探索。此外,Measure 模組還能根據不同業務需求,客製且彈性的設計報表,讓每個部門都能更直覺地看到最關心的指標。同時還內建 AI 助理:可以自動摘要廣告成效,協助團隊快速發現問題、提出解方。

戴伯偉強調, Measure 模組實現了數據分析自由,滿足任何分析靈感或需求,並且整合跨部門的商業智慧,可以賦能企業與品牌,做出成效最好、效率最高的決策。

WPP Media
WPP Media 數據與技術團隊負責人戴伯偉
圖/ WPP Media

AI 驅動的新世代行銷:從洞察、創意到投放的全面革新

策略人員每天面對不同產業、不同生意與品牌課題,外界常期待我們要「全知」、什麼都懂,而我們自己也渴望靠近全知的能耐。

有了WPP Open加持,策略人員依然需要具備判斷問題的能力與領域思維,但過去大量耗費在蒐集、彙整、比對資料的人工勞動,現在交由擁有龐大資料庫與策略模組的 WPP Open 來處理。在資料的廣度與深度上,比以往更能觸及更完整的世界。

然而,真正的策略答案,從來不是一鍵產生。不論是以終為始,或從始至終,策略的形成仍需辯思往返、推敲求真。WPP Open 協助我們更靠近「全知」,但策略人員的價值,仍在於那段來回思辨的過程,以及從無數可能中找到最真實的解。

WPP Media
奥美整合行銷播集團策略總監宋伊婕
圖/ WPP Media

此外,AI 也能讓行銷素材變得更有創意、更獨特。奧美整合行銷傳播集團執行創意總監蔣依潔分享品牌運用 AI 的行銷創意。例如,有國際飲料品牌以開放平台促成大眾共創;而某家養生飲品則用 AI 創造出虛擬的知己小姐,展現集體女性樣貌中的不同細節;亦有連鎖通路品牌在行銷洗衣精品牌時,運用 AI 生成對髒衣服的想像,從庶民生活中的不完美找到趣味和機會。「創意手法可以不同,但必須與品牌調性一致,這是 AI 生成內容的核心前提。」蔣依潔強調。

WPP Media
奧美整合行銷傳播集團執行創意總監蔣依潔
圖/ WPP Media

在創意產出後,行銷還有最後一哩路,也就是媒體投放。作為 WPP Open 的重要策略夥伴,The Trade Desk(TTD)副總監陳玟潔指出,當品牌透過 WPP Open 完成受眾洞察、策略規劃與創意發想後,真正的挑戰是——如何在龐雜的開放網路中,把廣告「最有效率」投遞給真正的目標受眾。

WPP Media
The Trade Desk(TTD)副總監陳玟潔
圖/ WPP Media

TTD 以跨裝置身份辨識(Unified ID 2.0)、全通路(Omni-channel)、高效演算力與透明數據為核心,讓 WPP Open 所定義的受眾能被精準觸及,並結合 AI技術,協助品牌在投放過程中不斷優化、掌握主導權。她強調:WPP Open 與 TTD 的結合,讓「從洞察到投放」真正串成一條完整、透明、可信賴的 AI 行銷鏈。

在科技快速變化與媒體碎片化的時代,WPP Open 用 AI 串連行銷流程,讓 AI不只是工具,更是推動品牌邁向下一個成長曲線的真正起點。

想了解更多WPP Open AI平台的實際應用,歡迎直接洽詢 WPP Media - Growth & Marketing | MKTG@wppmedia.com

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂Vibe Coding
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓