【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
從 CDP 到 Agent,beBit TECH 如何打造懂企業、懂行銷的 AI 代理人?
從 CDP 到 Agent,beBit TECH 如何打造懂企業、懂行銷的 AI 代理人?

當眾多 AI 新創仍將焦點放在追求更強大的模型能力,或尋找下一個成功案例時,beBit TECH 已開始思考另一個層次的問題:如何打造一家能夠持續成長、且具備規模化複製能力的企業級 AI 公司。

近期,beBit TECH 完成與日本 beBit 集團的戰略分拆,不僅確立台灣為全球總部,也同步完成逾億元首輪募資,並預計不久後啟動在台 IPO 規劃。然而,真正值得市場與投資人關注的,不單是分拆或募資本身,而是這一連串布局背後所釋放的訊號—— beBit TECH 已正式跨越產品與市場驗證階段,邁向規模化擴張的新成長階段。

而產品、產業應用及海外市場,就是驅動 beBit TECH 下一階段成長的三大引擎。beBit TECH 創辦人暨執行長陳鼎文表示, 未來將聚焦三大布局,包括持續深化企業級 AI 產品、擴大跨產業應用版圖,以及拓展日本與東南亞等海外市場。首先,在產品面,將持續強化 AgentBit 智慧代理人的能力,結合 OmniSegment CDP 的數據底座與產業 Know-how,打造真正懂企業、懂行銷的 AI Agent。

beBit TECH 創辦人暨執行長陳鼎文
beBit TECH 創辦人暨執行長陳鼎文
圖/ 數位時代

產品布局:從理解數據的大腦,進化為「自主執行」的虛擬員工

陳鼎文進一步說明,近年企業紛紛導入各種 AI 或 AI Agent 應用,希望提升營運效率與員工生產力,但 AI 能否真正創造價值,關鍵並不在模型本身,而是資料品質。若企業的會員資料分散、格式不一致,甚至充滿錯誤,即使導入再先進的 AI 模型,也難以產出可靠的分析與決策。換句話說,企業唯有先建立穩固的數據底座,才能真正發揮代理式 AI 的價值。

正因如此,beBit TECH 選擇將 AgentBit 建立在 OmniSegment CDP 上,形成以 CDP 為數據底座、Agent 為執行核心的新一代企業級 AI 架構。陳鼎文形容,OmniSegment 就像一顆智慧大腦,可以完成跨通路數據整合,並進行資料清理與標準化,而 AgentBit 則是智慧代理人,它可以根據 CDP 大腦所提供的數據做出決策,自主完成受眾分群、內容生成、活動執行、成效監測與優化建議等行銷工作。

更重要的是,OmniSegment 多年來已累積眾多不同產業的實戰經驗與行銷 Know-how,使 AgentBit 不只具備內容生成的能力,更理解不同產業的會員經營模式與行銷邏輯,能依據企業情境挑選最適合的受眾、生成更精準的溝通內容,並持續優化策略。

以中秋節的節慶行銷活動為例,當過去行銷人員必須自行篩選受眾、撰寫文案,再依據活動成效反覆調整策略,整個促銷活動期間都要處於備戰狀態;如今,只要以自然語言輸入活動目標,AgentBit 即可串接 OmniSegment 的數據,自主完成後續工作。當行銷成效未達預期目標時,它還會持續分析結果、修正策略,直到找出轉換率更高的路徑為止,真正讓企業累積的數據,轉化為持續創造營收的智慧資產。

讓數據自己跑出營收!AgentBit 結合 CDP 乾淨數據與實戰 Know-how,只需輸入指令即
讓數據自己跑出營收!AgentBit 結合 CDP 乾淨數據與實戰 Know-how,只需輸入指令即可全自動執行行銷並自主優化成效,打造不斷線的 AI 營收引擎。
圖/ beBit TECH

市場布局:以電商護城河,打造 OMO 與金融雙成長引擎

其次,在產業應用面,beBit TECH 將持續擴大在實體零售、生活服務與金融業的市場布局。「電商是 beBit TECH 的核心基本盤,而實體零售與金融業則是我們下一波的成長引擎。」陳鼎文說。

beBit TECH 成軍初期聚焦於品牌電商,透過客戶數據平台 OmniSegment CDP 協助客戶整合並應用手中的第一方數據,提升會員價值與營收。至今,beBit TECH 已累積上百家品牌電商客戶,並在不同產業情境與應用需求中,持續驗證及優化 OmniSegment CDP 的產品能力。這些豐富的導入經驗,讓 beBit TECH 更深入掌握企業在數據應用上的實際痛點,進而推動產品與 AI 模型持續迭代成熟, 築起一條競業難以跨越的數據護城河。

有了電商戰場的成功經驗,beBit TECH 開始將目光投向線下與實體場域,運用 OmniSegment CDP 協助零售品牌打通線上與線下的會員數據,真正做到跨通路的數據即時整合,讓 OMO 經營不再只是口號。

過去一年,beBit TECH 更成功將觸角延伸至同樣擁有龐大數據的金融業,包括國際保險集團及指標金控,皆已導入 OmniSegment CDP,由系統依據客戶在不同通路的行為,即時判定其意圖並推薦最合適的金融產品。這意味著金融業也能運用電商「千人千面、即時觸及」的行銷模式,一改過去亂槍打鳥、只能照著名單一一撥電話的傳統做法。

「金融業的 AI 個人化行銷現在才剛開始,beBit TECH 能與多家指標性金融客戶合作,代表我們的數據安全和隱私合規性,已經通過了市場上最嚴格的標準,這對於未來跨足其他產業有非常大的幫助。」陳鼎文強調。

海外布局:立足台灣,加速拓展日本與東南亞市場

第三,在海外發展上,則是加速拓展日本與東南亞市場。陳鼎文表示,相較於多數台灣新創進軍日本市場,往往需要一、兩年才能站穩腳步,beBit TECH 憑藉與日本 beBit 集團的緊密合作,已經成功「逆向」打回日本市場,短短兩年多便累積超過 30 家大型企業客戶,涵蓋航空、餐飲集團等不同產業,未來日本仍將是 beBit TECH 拓展海外營收的核心關鍵。

除了日本之外,beBit TECH 也將東南亞視為下一階段的戰略要地。一方面,看好當地人口結構年輕與數位應用快速成長所帶來的商機;另一方面,隨著全球 AI 人才競爭白熱化,東南亞更是重要的人才庫,有助於 beBit TECH 持續推動產品全球化與技術迭代。

「我們希望將 beBit TECH 打造為『亞太區企業級 AI 的領導品牌』。」陳鼎文感性表示,這也是團隊確立將全球總部設在台灣的初衷。未來,beBit TECH 將持續以台灣為核心,向外輻射至日本、東南亞、甚至更廣泛的國際市場,讓世界看見來自台灣的 AI 技術實力與商業價值。

從台灣品牌電商起家,一路跨足實體、金融、日本與東南亞市場,beBit TECH 想做的不只是一套好用的 AI 工具,而是一個能讓企業把數據轉化為營收的企業級 AI 平台。當全球 AI 競爭開始從模型能力,轉向商業化與規模化,這家台灣新創正用清晰的策略布局,寫下屬於自己的下一個成長故事。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台達電全解讀
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓