【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
AI Ready成零售入場券!SHOPLINE年度大會:AI流量時代,品牌如何被看見?
AI Ready成零售入場券!SHOPLINE年度大會:AI流量時代,品牌如何被看見?

AI 正快速改變消費者探索商品、接觸品牌的方式,也為零售業帶來新的成長機會。然而,當 AI 從個人使用工具逐步走向企業營運,台灣零售業的轉型腳步仍有落差。財團法人人工智慧科技基金會《2026 台灣產業 AI 化大調查》顯示,台灣零售業的 AI 應用仍存在明顯差距,資源有限的中小企業尤其面臨挑戰。對照全球已有 62% 的企業開始布局 AI Agent、近五成運用 AI 投入高價值決策,如何將 AI 從單點工具導入,真正成為零售成長的助力,已成為品牌必須面對的課題。

全方位零售整合專家 SHOPLINE 於 9 月舉辦「AI-Verse Day 2026」年度大會,以「Where AI Meets Commerce」為主軸,邀集零售與科技業者,從流量獲取、數據應用到會員經營,探討 AI 落地零售場景的實戰路徑。服務全球累計逾 70 萬品牌的 SHOPLINE,也在會中宣布邁向 AI in Retail,推出官方 MCP(Model Context Protocol),進一步串聯零售數據與 AI 應用,協助品牌掌握新興 AI 流量入口,為下一階段的智慧零售布局做好準備。

SHOPLINE 預告:零售下一個流量入口是 AI

2026 年上半年,SHOPLINE 客戶 GMV 年增 20%,是電商大盤成長率的 2.5 倍。「這代表我們與品牌客戶一起把生意做大!」SHOPLINE 台灣總經理葉力維指出,從全球市場來看,尤其是以北美為主的 SHOPLINE 客戶,來自 AI 渠道的流量 PV 較去年同期成長 15 倍,訂單量更成長 35 倍;相較之下,台灣 AI 渠道流量 PV 約成長 2 倍,顯示 AI 導流的商業潛力正逐步浮現,台灣品牌仍有很大的成長空間。

當品牌越做越複雜,從多通路走向全域經營、數據與規模擴大,如何確保資料品質、打通資訊孤島,並兼顧資安與治理,成為 AI 能否真正落地的關鍵。為此,SHOPLINE 提出四大 AI 佈局方向:首先,建立 AI Ready 數據基礎,整合分散的零售資訊,為 AI 應用做好準備;其次,深化 MCP 布局,讓品牌能依照自身需求,自主選擇並串接不同的 AI Agent;第三,成立 AI 轉型委員會,將 AI 導入內部工作流程,推動服務模式從執行任務進一步升級為洞察客戶需求、提供策略建議;最後,擴大 AI 夥伴生態系,開放第三方開發者串接垂直領域的 AI 應用,讓品牌能更靈活地組合所需工具。

#4 SHOPLINE
圖/ 數位時代

「過去十年,SHOPLINE 陪伴品牌走過每一次通路變革。每一次流量入口的改變,其實都代表著品牌經營方式的改變;而下一個入口,就是 AI。」葉力維表示,當 AI 開始影響消費者探索商品、發現品牌與完成購買的路徑,品牌不能只停留在導入單一工具,更需要提前整備數據、串接應用並建立治理能力。接下來,能否做好 AI Ready 的準備,將成為零售品牌掌握下一波成長機會的關鍵。

SHOPLINE 推官方 MCP,助攻品牌落實 Agent Ready

品牌該如何做好 AI Ready 的準備?SHOPLINE 產品副總賴哲文指出:「人、貨、場的接觸點沒有改變,改變的是誰做決定、誰做執行、誰做判斷。」

當 AI 逐步介入零售場景,消費者、員工與企業的角色也隨之改變:做決定的是消費者,當消費者問 AI「我該買哪個品牌」,品牌能否出現在答案裡是第一個挑戰;執行的是員工,員工則可將部分執行工作交由 AI 處理,將更多精力投入判斷與決策;做判斷的是企業,AI 能否提供可靠的洞察與建議,關鍵仍在於數據品質,以及能否有效運用既有數據資產。

要讓品牌被 AI 理解與推薦,品牌經營也必須從傳統 SEO,進一步走向 AIEO(AI Engine Optimization),讓商品與品牌資訊具備良好的結構與可讀性,才能提高被 AI 採用、推薦及導流的機會。對此,SHOPLINE 提出三層 AI Ready 架構:以「AI Ready Data」整合高品質、可供運算的零售數據;透過「AI Ready Commerce」讓商品資訊與交易流程能被 AI 理解和銜接;再以「AI Ready Agents」串接品牌自主選擇的 AI Agent,逐步將數據基礎延伸至實際應用。同時,SHOPLINE 也透過第一方數據歸因,改善消費者身分碎片化、數據時效性不足與成效歸因不清等問題,讓原始數據能進一步支援 AI 分析與決策。

#3 SHOPLINE
圖/ 數位時代

在工具應用上,SHOPLINE 推出官方 MCP,涵蓋流量轉換、數據分析、商品管理與會員經營等場景。品牌可在 Claude 中透過輸入零售 skills,搭配 MCP Tool 的後台相關能力,進一步產出數據洞察報表與執行建議,讓 AI 從資訊整理延伸至實際的零售工作流程。為兼顧應用效率與資料安全,SHOPLINE 也設下三道防護機制,包括涉及資料寫入時須經人工核准、個人資料須取得授權才能存取,以及依照角色與需求進行權限分級。

「Agent Ready 就是入場券。」賴哲文強調,當 AI Agent 開始參與消費者決策與企業營運,品牌不只要讓 AI 看得懂商品,更要讓數據能被安全地運用、讓不同工具能順利協作。

除了產品之外,SHOPLINE 也致力發展 AI 開放生態圈,邀請各領域夥伴分享引流、口碑、營運與顧客經營的應用方向。此次大會邀請數聚國際、Tagnology、BUNNYWORK、beBit TECH 微拓科技,以及女性高效身體保養品牌 HYPHY,攜手展示 AI 如何串聯流量獲取、行銷轉換到顧客經營等零售場景。

Justar 運用真實發票數據,提升廣告投放效率

廣告投放端同樣面臨轉變。「市場愈來愈大,轉換效益卻愈來愈低。」紅門互動及Justar 數聚國際執行長張元溢分析,投放效率下滑,源於成長結構改變:影響消費者的場域更分散,找人的方式從興趣推測走向真實行為,素材也無法一套打完全場。

對此,Justar 運用 AI 結合電子發票數據,以 AI 廣告投放平台結合全台規模領先的雲端發票消費資料庫,涵蓋超過 20 億筆雲端發票、700 萬名消費者及 3,200 萬項商品。其「AI 廣告受眾推薦引擎」可依商品特性生成受眾輪廓(Persona),比對發票資料庫、找出真實買家作為種子受眾,而非僅依賴瀏覽紀錄或興趣標籤,再由 AI 自動擴充相似受眾、生成並優化素材,並依成效動態調整投放策略與預算配置。

張元溢強調,從真實種子到規模化放大,重點在於找到更多相似的人。同時觸及也須走出社群,延伸至 RMN 聯播網、社區 App 廣告與戶外媒體。他以「三人成虎」形容,藉創作者短影音加上跨場域廣告加深印象,才能為品牌實現「線上找到人,線下讓他記住你」的成效。

#2 SHOPLINE
圖/ 數位時代

BUNNYWORK 推 AI 營運特助,主動預警缺貨與滯銷也發掘成長機會

除了行銷之外,AI 也開始深入零售業的日常營運,協助品牌從事後處理走向事前預測。BUNNYWORK 創辦人周于如指出,電商營運常面臨幾大痛點:商品售罄後客戶問了才發現缺貨、補貨數量仰賴 Excel 與個人經驗判斷,滯銷商品也往往要到季末才浮現。「營運方式不同,留下的利潤差很多。營收決定你做多大,營運才決定你能留下多少利潤。」

針對這些痛點,BUNNYWORK 推出定位為「會思考的電商 AI 特助」的解決方案,目標是讓電商營運進入「自動駕駛」。傳統 ERP 只負責被動紀錄營運數據,BUNNYWORK 則讓 AI 24 小時主動盯盤:根據銷售數據提前發出缺貨預警、產出補貨建議單,並每日掃描商品銷售速度,一旦偵測到滯銷風險,即透過 LINE 推播提醒品牌及早規劃促銷、加速庫存去化與資金回流。除了提前規避風險外,AI 也幫助電商看見潛在機會:偵測到爆款潛力的商品,提醒品牌提早加碼備貨、調整廣告資源,把握成長時機。

至於 AI 為什麼能提供可靠的營運建議?背後仍取決於數據基礎。周于如解釋,ERP 串聯商品、銷售與庫存等不同環節的數據,並即時同步多通路的商品與庫存資訊,讓 AI 掌握完整且即時的營運全貌,同時降低超賣風險。「唯有建立乾淨、即時的資料基礎,AI 才能進一步辨識缺貨與滯銷風險、並發掘銷售成長機會,協助品牌提前應對、做出更精準的決策。」目前品牌平均約 7 天即可完成導入。

#1 SHOPLINE
圖/ 數位時代

精兵團隊導入 AI,解決流程瓶頸再創高成長

從流量獲取到營運效率,AI 的價值最終仍須回到顧客經營與商業成效。大會壓軸的高峰沙龍回到會員經營。beBit TECH 商務長譚學凱指出,OmniSegment CDP(顧客數據平台)能整合分散的顧客資料,建立 360 度顧客輪廓,進一步支援跨渠道的精準經營;旗下導購型 AI Agent「AgentBit」,提供對話式分眾,讓使用者與 AI 對話就能快速打包推播受眾,不再需要手動設定篩選條件;商品興趣預測則以 AI 學習客戶的行為軌跡,自動將高相關商品推送給高潛力買家;AI 智慧分析更只需透過問答,即時分析品牌檔期成效與提供優化建議,並能一鍵調整現有顧客旅程。透過 CDP 與 AI 功能加乘,大幅提升行銷團隊協作效率,並支援逾 2,000 種 OMO 跨通路智慧推播,協助品牌更有效地觸及目標客群。

#0 SHOPLINE
圖/ 數位時代

HYPHY 品牌共同創辦人林又立分享,品牌長期透過 LINE 經營千人會員社群,希望在規模化經營的同時,仍保有一對一對談的親切感與即時回覆的能力。導入 AgentBit 後,團隊能透過 AI 對話快速完成受眾分群,並取得具體的行銷優化建議,降低操作門檻。以單檔活動為例,LINE 發送量僅為原先的 15%,點擊率卻提升 227%,EDM ROAS 更提升至原先的 3.3 倍,展現 AI 協助品牌提升溝通效率與行銷效益的潛力。

對於資源有限、希望嘗試 AI 的品牌,林又立也分享了務實的做法:「不要一開始練跑就想著今天要跑全馬,先踏出第一步,把目標定在到達下一個電線桿就夠了。」與其一開始就追求全面轉型,不如從具體的營運需求出發,逐步找到適合 AI 發揮的場景。

活動尾聲,葉力維也提醒,品牌導入 AI 前,應先盤點內部工作流程,找出真正影響效率與成效的瓶頸,再思考如何運用 AI 改善。「那就是你最該導入 AI 的地方。把 AI 放在流程上,才是關鍵。」與其為了導入 AI 而導入 AI,先解決實際問題,才能讓技術真正轉化為營運成果。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓