【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

    上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

    所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

    但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  6. 商品本質、內容

  7. 商品描述 (meta-data) 與分類
  8. 最後才是商品的使用

    在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  9. 會自動化新增關鍵字詞的表

  10. 會自動化連結出語意網路的表

    這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

    只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  11. 關連分析 (一階, 或高階)

  12. 群落分析 (Clustering)
  13. 時間序列預測

    有了上面三個很基本的工具後,可以配合產出很多的可能性:

  14. 最常見的關連購買

  15. 在搜尋結果中做排序
  16. 從分類結果做語意分析產出因子
  17. 有了高階的關連分析可以透過配對做活動
  18. 從銷售預測中作備品或庫存準備
  19. 只要你想得到的

    當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

    記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

    所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
資誠加速器七年有成:從加速到對接,打造新創成長的全方位引擎
資誠加速器七年有成:從加速到對接,打造新創成長的全方位引擎

資誠創業成長加速器(Scale Programme)於日前盛大舉辦第七屆 Demo Day,邀請 11 家新創企業上台展現創新成果,成功吸引超過百位產業與投資人齊聚一堂,為創新與資本對接創造更多可能。

在當前市場環境中,資源整合與落地速度已成為新創邁向規模化的決勝關鍵。為此,資誠創業成長加速器自成立以來,便聚焦「厚創新X後加速」兩大主軸,為新創提供系統化的輔導與資源整合。七年來,已培育超過 79 家新創,涵蓋 AI 應用、生技醫療、金融科技、智慧交通與 ESG 等多元領域,並協助團隊完成累計逾 20 億元募資,展現強大的新創培育能量 。

創投俱樂部上線:從加速培育走向精準媒合

「PwC 自 2018 年起即深耕新創生態圈,見證台灣新創從萌芽走向蓬勃發展」,資誠聯合會計師事務所審計服務營運長林永智說。

在此過程中,PwC 不僅成立資誠創業成長加速器,整合財務、稅務、法務及管理顧問等多項專業資源,協助新創因應不同成長階段的營運與治理挑戰;亦透過每年發布的新創生態圈大調查,持續掌握新創在市場布局、營運管理與資本對接上的關鍵課題。2026 年,PwC 進一步啟動資誠創投俱樂部,打造更深入且精準的媒合機制,期望為新創串聯更多資源與機會,推動台灣新創生態圈持續向前。

pwc-2.jpg
資誠聯合會計師事務所審計服務營運長林永智
圖/ 數位時代

資誠聯合會計師事務所創新創業服務主持會計師顏裕芳進一步說明,資誠創投俱樂部每季舉辦一次不同主題的「Pitching Wednesday - 資誠新創投資媒合會」,讓投資人能與團隊展開深度交流,精準找到具潛力的投資標的。除了強化媒合機制,資誠亦持續優化加速器的服務內涵,從顧問輔導延伸至知識賦能。

自 2025 年起,PwC 每月發布「資誠新創加速報」,提供最新新創趨勢、產業觀察與內部專業觀點;同時亦於官網推出《創觀點》系列專欄,定期分享台灣新創生態圈關注的核心議題,協助新創掌握市場脈動,據此制定更具前瞻性的發展策略。

同樣關注台灣新創發展的櫃買中心,則推出創櫃板 plus 機制,提高中小微企業轉化創意、逐步邁入資本市場並增加市場曝光度和對接資金的機會,截至目前創櫃板公司已募資金額達72.9億元,並吸引到更多策略夥伴,顯見創櫃板不只能為企業進入資本市場提供支持,更能幫助企業在全球競爭環境中脫穎而出。

pwc-3.jpg
資誠聯合會計師事務所創新創業服務主持會計師顏裕芳
圖/ 數位時代

台灣新創趨勢解讀:從市場布局到投資邏輯的三大轉變

資誠聯合會計師事務所創新創業服務協理白淵凱則從「2025台灣新創生態圈大調查」中,歸納出三大關鍵趨勢。第一是日本首度超越美國,成為台灣新創海外發展的首選目標。過去七年調查中,美國始終名列首位,但最新調查顯示,高達 51.2% 的受訪新創預計在未來 1-2 年內佈局日本市場,顯示海外市場策略正出現明顯轉向。

第二是新創與投資人對 AI 的關注焦點出現落差。從新創角度看,其所應用的AI技術類型,前三大依序是生成式AI、自然語言處理及預測分析;但在投資端,最看好的 AI 技術則是預測分析與視覺辨識,第三才是生成式 AI。此外,一般創投(VC)在 AI 領域的投資布局,也較企業創投(CVC)更為積極。

第三是企業投資人正快速崛起,企業專責投資部門首度躍升為前三大投資者類型,且多透過政府、公協會、創新機構所舉辦的活動接觸新創。值得注意的是,無論 VC 或 CVC,在投資評估過程中,皆高度重視財務監管機制、退場條件與董事席次安排等治理面向,顯示制度化與治理能力,已成為新創能否獲得資本青睞的關鍵因素。

11 家新創齊發:五大領域勾勒未來產業樣貌

在掌握趨勢之餘,新創如何將技術落地並創造具體價值,仍是重要關鍵,就本屆 Demo Day 上登場的新創來看,雖然聚焦智慧醫療、生技製藥、綠色永續、企業營運及 B2C 服務等不同領域,但皆已走向應用落地,展現明確的商業模式與市場切入點。

在智慧醫療領域,AI 應用已深入不同環節。康統醫學科技推出的EVAS內視鏡AI助理,可自動生成醫學檢查報告,有效節省醫護人員作業時間。安德斯醫學科技聚焦 1 小時內可以完成的檢查治療,透過微型影像封裝與 AI 技術,改善傳統內視鏡檢查高建置成本、高風險、缺乏可視化等問題。神瑞人工智慧則以AI整合式篩檢為核心,讓病患只需一次低劑量電腦斷層,就能同時進行肺部、心臟、骨骼的疾病篩檢。

在生技製藥領域,新創運用創意來優化治療成效。益肸胞生醫開發異種細胞免疫療法,運用自體免疫系統對抗癌細胞,避免傳統化療或放射治療等方式對身體造成的傷害。瑞采生技鎖定高齡心腎代謝症候群患者,透過老藥新用和微脂體新劑型等技術,改變藥物傳遞方式,希望降低高齡患者死亡率及減輕醫療負擔。

在綠色永續領域,新創關注節能與循環經濟。博世科智能運用獨家專利的無線技術與系統,讓企業不必佈線就能掌握用電數據。台灣碳梭科技的吸附回收技術可以提取電子廢棄物中的高價值金屬,且具備高效率及低碳排等優勢。優泥來同樣專注在循環經濟,其將水庫淤泥、工業污泥等廢棄物,透過高溫燒結技術再製成高性能輕質粒料,可被應用在節能耐震的綠建材當中。

在企業營運領域,伊斯酷軟體科技運用電腦視覺影像辨識技術,突破傳統 RPA需要安裝軟體或 API 才能運作的挑戰,讓工業應用現場也能邁向流程自動化,提高作業效率。在 B2C 服務領域,優護平台為台灣第一家針對短期居家照護的第三方預約媒合平台,民眾透過手機App就能快速找到居家照護員、護理師等專業人員,滿足臨時、短期的照護需求。路朋科技則推出 LOOP CAR SHARE 平台,結合雲端、物聯網等技術,推動 P2P 汽車共享。

pwc-4.jpg
圖/ 數位時代

本屆 Demo Day 不僅展現新創團隊的技術實力與市場潛力,也再次凸顯資誠在串聯資本與產業資源上的關鍵角色。隨著第八屆資誠創業成長加速器將於今(2026)年 5 月開放申請、8 月正式啟動,PwC 將持續透過系統化輔導與精準媒合機制,協助更多新創加速成長,擴大台灣新創生態圈的整體影響力。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
代理式商務連動百兆商機
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓