【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

    上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

    所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

    但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  6. 商品本質、內容

  7. 商品描述 (meta-data) 與分類
  8. 最後才是商品的使用

    在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  9. 會自動化新增關鍵字詞的表

  10. 會自動化連結出語意網路的表

    這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

    只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  11. 關連分析 (一階, 或高階)

  12. 群落分析 (Clustering)
  13. 時間序列預測

    有了上面三個很基本的工具後,可以配合產出很多的可能性:

  14. 最常見的關連購買

  15. 在搜尋結果中做排序
  16. 從分類結果做語意分析產出因子
  17. 有了高階的關連分析可以透過配對做活動
  18. 從銷售預測中作備品或庫存準備
  19. 只要你想得到的

    當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

    記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

    所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
從台流轉型到跨界共創,2025亞洲新媒體高峰會以「RESILIENCE:韌性 · 突圍」驅動產業續航
從台流轉型到跨界共創,2025亞洲新媒體高峰會以「RESILIENCE:韌性 · 突圍」驅動產業續航

全球影視娛樂正處在結構翻轉的臨界點。從串流平台的競合與權力再分配,到生成式AI引爆的創作革命,再到觀眾注意力被碎片化的內容浪潮瓜分,市場規則幾乎在一年之內重寫。

在這樣的動盪中,「如何永續成長」成為所有內容產業的共同焦慮。台灣擁有豐沛的創作能量,卻在規模化與國際化的路上,始終面臨結構性瓶頸。為了回應時代考驗,NMEA(新媒體暨影視音發展協會)以「RESILIENCE:韌性 · 突圍」為題,將於11月24日至25日舉行2025亞洲新媒體高峰會,邀請超過五十位國內外產業領袖對話,從組織、內容、技術與商業模式出發,探討如何讓台灣影視娛樂在不確定中,創造屬於自己的續航動能。

韌性,從衝擊中找到成長的可能

「Resilience」一詞原本源自工程學,指材料在受壓後能回彈的能力。NMEA理事長李芃君指出,當這個詞被用於產業時,它所代表的已不只是「抗壓」,而是「擁抱變化與永續成長」的能力——在巨變中快速重組關鍵資源、甚至藉由創新找到新的突破。

她觀察,全球產業變動的背後,主要受到三股力道的衝擊:地緣政治的風險、科技典範的轉移,以及氣候與疫情等帶來的自然挑戰。這些因素同樣影響著台灣文化內容產業。

以台灣一家全球背光模組大廠為例。近年隨著國際電子品牌紛紛在筆電與平板產品導入OLED顯示技術,傳統背光模組市場面臨挑戰;該企業在察覺趨勢轉向後,選擇主動調整策略,透過併購前沿技術快速推出新產品,切入車用、醫療與AR/VR顯示等新領域。李芃君指出,這樣的轉向即是韌性的展現——在技術更迭的浪潮中重新定位自己,讓企業從被動防守,轉為開創下一波成長曲線。

「這種思維放回影視娛樂也一樣。當市場被新技術和新平台顛覆,產業若仍困於單一市場、單一資金、單一合作關係,就難以應對下一次衝擊。」她強調,建立韌性不能停留在抽象的口號,必須要有具體行動,而關鍵就在「多角化」。

多角化的市場讓故事能走出台灣、觸及不同文化的觀眾;多角化的技術與人才,讓製作不再受限於傳統框架;而多角化的資金與夥伴結構,則能減少對補助與單一委製案的依賴,形成正向循環的產業體質。諸如日本《鬼滅之刃》透過IP延伸創造跨世代效應,或泰國在政府策略支持與國際平台Netflix合作,讓在地內容走向全球,都是多角化的案例。

高峰會四大主軸,挖掘韌性的潛力

「政策當然重要,但最終能否長出韌性,關鍵仍在產業本身的自覺與行動力。」李芃君表示,第七屆亞洲新媒體高峰會以「台流轉型、跨界共創、影視創新、商模躍進」四大主軸為核心,期望讓韌性不再停留於口號,而能轉化為具體實踐。不只是思考「如何生存」,更要推動產業主動探索「如何成長」。

在「台流轉型」議題中,論壇將從亞洲娛樂的整體格局出發,思考台灣內容如何在國際市場中建立辨識度與合作機制。面對串流平台競爭與區域內容崛起,產業要重新定義「台流」的價值,從單點創作走向跨國布局。

「跨界共創」則從電競、音樂、體育到AI應用,剖析影視娛樂如何走向一個多層次的體驗場域。透過多個實際案例,探討不同產業之間的協作經驗,助攻內容突破原有框架,創造新的商業能量。

「影視創新」主軸聚焦於新技術與內容形式的融合。如:短劇風潮、現象級作品及AI生成式內容等,正改變影視產業的創作邏輯。論壇將聚焦技術如何成為創意夥伴,推動人才與內容的再進化。

最後,「商模躍進」則回應內容永續與變現挑戰。當觀眾行為與平台策略不斷重組,內容不再只是作品,也是可延伸、可轉化的商業資產。論壇將引導產業思考,如何讓內容價值在不同階段持續發酵,打造可長可久的生態循環。

李芃君強調,高峰會的價值,在於讓這些不同維度的討論彼此交會;唯有當創作、技術與資本願意對話,產業的韌性才能真正落地。「我們希望產業能從危機思維轉向成長思維,在對話與合作中,激盪出新的想像與行動。」

韌性,新媒體暨影視音產業必備的DNA

自2017年成立以來,NMEA持續扮演政策倡議與產業整合的推動者。每一屆高峰會也都對應時代命題,映照產業進化軌跡。從2023年「EMPOWERING」的全面賦能、2024年「CONSOLIDATION」的整合共榮,到今年的「RESILIENCE」發揮韌性、尋求突圍,李芃君形容,這是一條從能力啟動、資源整合到體質調整的路徑,引領台灣影視娛樂邁向國際舞台。

NMEA
NMEA理監事集結產業代表,共思壯大台灣內容產業之道。
圖/ NMEA

她指出,高峰會結束後,NMEA也將以工作坊與共創計畫延續對話熱度,讓產業交流落地為實際行動。協會也積極拓展跨域合作,從企業交流、IP授權推動到媒體合作,串聯更多產業能量。

值得注意的是,自2022年起,高峰會同步啟動線上直播,三年累計已吸引超過20萬名觀眾參與,單屆觀看更突破8.1萬人次。李芃君認為,這不僅是數據表現,更代表台灣影視產業逐漸建立國際話語權。當產業以開放與創新的態度前行,才能在全球文化浪潮中,站上屬於台灣的舞台。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂Vibe Coding
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓