【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

    上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

    所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

    但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  6. 商品本質、內容

  7. 商品描述 (meta-data) 與分類
  8. 最後才是商品的使用

    在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  9. 會自動化新增關鍵字詞的表

  10. 會自動化連結出語意網路的表

    這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

    只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  11. 關連分析 (一階, 或高階)

  12. 群落分析 (Clustering)
  13. 時間序列預測

    有了上面三個很基本的工具後,可以配合產出很多的可能性:

  14. 最常見的關連購買

  15. 在搜尋結果中做排序
  16. 從分類結果做語意分析產出因子
  17. 有了高階的關連分析可以透過配對做活動
  18. 從銷售預測中作備品或庫存準備
  19. 只要你想得到的

    當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

    記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

    所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
五十年零售老店的 AI 轉型:良興攜手 Data-DI,打造專屬 AI Agent 賦能組織升級與知識傳承
五十年零售老店的 AI 轉型:良興攜手 Data-DI,打造專屬 AI Agent 賦能組織升級與知識傳承

1973 年,良興從台北光華商場一間 50 坪的電子零件行起家,半個世紀後蛻變為年營收破十億、毛利率 18% 的全通路 3C 品牌。不過,伴隨規模擴張帶來的不只是成長,還有日益加劇的管理摩擦。門市遍布全台、品項高達近萬筆,加上跨部門協作頻繁,行政耗損與知識傳承的缺口,成為這家老字號邁向下一階段的隱形天花板。

良興總經理賴志達回顧,從電子零件跨入電商、從線下擴張到 OMO 全通路、再到會員深度經營,作為 3C 零售業者,良興每一波轉型都走在同業前面。「現在輪到 AI 了。如何做到人機協作、AI 賦能,就是良興第五波轉型的核心命題。」

AI 自動化,從行政細節釋放組織戰力

轉型需要夥伴,而賴志達評估合作夥伴的標準很明確:技術能力是基本,產業知識(Domain Know-how)的深度是關鍵,回饋速度更是最終決定因素。2025 年的未來商務展上,良興選擇攜手 Data-DI,看重的正是其「策略諮詢 + AI 產品 + 落地陪跑」三軌並行的實施能力。

很快的,良興與 Data-DI 合作的第一個專案,就落在最耗費人力、卻最常被忽視的環節:會議記錄。「會議如果沒有產值、沒有效果,對企業很傷!」賴志達說,他每天參加許多會議,但跨單位協作的會議記錄長期依賴人工聆聽與逐字整理,常出現人名誤植、決策遺漏、行動項目無人追蹤,讓會議效果大打折扣。

數智聚(良興)_1.JPG
良興總經理賴志達
圖/ 數位時代

為了解決會議記錄的痛點,Data-DI 業務副總包威棣指出,在導入工具以前,團隊須先釐清三件事:場景是否具備落地價值、哪些流程節點適合 AI 介入,以及以終為始地掌握客戶真正想要的輸出樣貌。這些看似基本的提問,都決定 AI 能否精準落地。

確認方向後,良興與 Data-DI 成功導入 AI 會議記錄自動化系統,透過模糊比對技術校正語音辨識誤差,並將生成的雙版本報告直接回存至既有資料庫,不僅將行政人員從重複性作業中釋放,也為後續的 AI 應用奠定扎實的系統整合基礎。

賴志達分享,現在他去外部開會也會用這個工具,運用 AI 把錄音轉文字、再整理成簡報,很快就能完成,更令外部夥伴驚艷。「我認為這是很成功的案子!也提醒想做 AI 的老闆們,與其急著搞大架構,不如先從小工具讓公司嘗試 AI,建立理解和認同。」

AI 把資深員工大腦轉化為資產

補完行政效率的缺口後,良興接著切入更深層的營運核心:知識傳承。過去,頂尖銷售經驗長期鎖在少數資深員工身上,新人培訓耗時三個月,員工離職即帶走知識資本。與此同時,網路資訊發達,消費者進店前早已掌握基本規格,3C 通路門市人員要如何發揮更多價值?「我要門市的人不是死背規格,而是面對客人時,能用客人能理解的方式對話。」賴志達說。

為此,Data-DI 協助良興建置 AI 門市教育訓練系統。系統透過六大自動化關卡,串接教材生成、審核上架、AI 銷售對練與成績回報,主管僅需在核心節點審核;員工透過手機語音對練,系統依口吻、專業度、回應力等維度自動評分。賴志達表示,目標是將新人培訓期縮短至一個月,讓數十年累積的銷售智慧轉化為可複製、可傳承的企業資產。

然而,要讓這套系統真正運作,得先解決兩個根本問題:資料從哪裡來?以及訓練如何更準確?

「以前大數據時代,講的是資料要大、全、細、實;現在 AI 要做到的是準(準確)、合(合乎場景)。」包威棣說。良興不同廠商提供的素材品質參差不齊,Data-DI 除了整合內部資料,也補充加入外部市場評測內容以填補空缺,再透過人員審核機制過濾雜訊,搭配 agent 架構的多層步驟與知識限定,確保系統能精準提煉對應品類的訓練素材。

數智聚(良興)_2.JPG
Data-DI 業務副總包威棣
圖/ 數位時代

賴志達則看得更遠:「這些教育訓練的內容,也將成為公司未來訓練機器人很好的原料。」

Data-DI 陪跑型顧問,帶領企業 AI 轉型

良興與 Data-DI 合作的兩個專案中,雙方共同克服了長提示詞邏輯混亂、AI 幻覺污染知識庫、逐字稿讀取逾時等技術難題。邁向下一步,賴志達表示,公司各部門很早就建置 Power BI 報表,但數據豐富不等於決策清晰。「數據是土壤,如果沒有梳理,就沒有用了。」因此,他的下一個目標是活化數據資本、推動行銷自動流,以精實的人力持續驅動成長。

數智聚(良興)_3.jpg
良興攜手 Data-DI 推動 AI 落地,以小步快跑模式為企業創造變革。
圖/ 數位時代

包威棣則從顧問視角歸納兩個觀察:AI 導入需要高層認同、由上而下推進,像賴志達這樣持續引領良興走在業界前端的決策者,就是不可或缺的推手;而單點工具的價值,終究要累積成組織體質的轉變才算真正落地。「就像會議記錄改變了會議當責的結構,人員訓練改變了知識傳承的方式。從點狀應用走向企業變革,這種決策思路才是 AI 真正深入落地產生價值的關鍵。」

最後,對於仍在觀望AI應用的企業,他則建議:「未來 AI 導致的落差只會愈來愈大,人會變成超級工作者,企業會變成超級企業。開始做就對了,先做一個三個月的小任務,降低落差、再急起追上。」從痛點切入、小步快跑,讓組織在實作中累積對 AI 的理解與信任,這正是 Data-DI 的陪跑哲學。

有關更多 Data-DI 相關資訊,請查詢網站:https://www.data-di.com/

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
代理式商務連動百兆商機
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓