【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  1. 商品本質、內容
  2. 商品描述 (meta-data) 與分類
  3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  1. 會自動化新增關鍵字詞的表
  2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  1. 關連分析 (一階, 或高階)
  2. 群落分析 (Clustering)
  3. 時間序列預測

有了上面三個很基本的工具後,可以配合產出很多的可能性:

  1. 最常見的關連購買
  2. 在搜尋結果中做排序
  3. 從分類結果做語意分析產出因子
  4. 有了高階的關連分析可以透過配對做活動
  5. 從銷售預測中作備品或庫存準備
  6. 只要你想得到的

當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
71% 台灣企業資安評級待強化!QNAP World Tour 2026盛大開場,剖析 Edge AI 與營運韌性新局
71% 台灣企業資安評級待強化!QNAP World Tour 2026盛大開場,剖析 Edge AI 與營運韌性新局

近年隨著主權 AI 議題持續升溫,企業開始重新思考資料與算力的部署方式,希望讓敏感資料留在地端,同時具備就近運算的能力,這也進一步加速 Edge AI 的發展。然而,當 AI 從雲端走向本地端與邊緣端時,企業除了追求運算效能與應用創新,更必須確保服務的穩定可靠。畢竟,再先進的 AI 應用,一旦因資安攻擊、設備故障或資料損毀而停擺,就會無法創造商業價值。

換句話說,「AI 創新」與「營運韌性」已不再是兩條各自獨立的單行道。企業加速 AI 布局的同時,也需要一套能守護資料安全、具備快速復原能力並確保營運不中斷的 IT 基礎架構。

因此,在本月 18 日盛大登場的「QNAP World Tour 2026 台北場|立足 Edge AI,決勝企業全方位韌性」論壇中,QNAP 總經理劉文義指出,企業需要的已經不只是把資料存下來,而是一套能同時支撐 AI 創新與營運不中斷的韌性平台。QNAP 此次聚焦企業韌性與 Edge AI 兩大主軸,深度剖析企業 IT 基礎架構如何兼顧穩健營運與 AI 智慧應用,同時展出高效能邊緣 AI 伺服器、企業級 ZFS 全快閃 NAS、網管型交換器等多項新產品,全面滿足企業下一階段的轉型需求。

QNAP
QNAP總經理劉文義指出,企業需要的已不只是把資料存下來,而是一套能同時支撐AI創新與營運不中斷的韌性平台。
圖/ 數位時代

從一站式 AI 平台至監控、影音應用,QNAP 加速 Edge AI 落地

在邊緣 AI 領域,QNAP 除了提供 GPU-Ready 的 Edge AI 平台與管理軟體 AI Service Center,更進一步推出 Qsirch AI、QuONE 及 QuAgent 等應用服務,打造從 AI 運算、模型管理、RAG 私有知識庫到 Agent 智慧應用的一站式企業 AI 平台。

QNAP資深智慧儲存產品經理 Yuna Chen形容,AI Service Center 就像一個管理中樞,IT 管理者可在單一介面統一管理所有 AI 應用所使用的模型與金鑰,也能隨時查詢 Token 用量、成本與稽核紀錄,清楚掌握誰在什麼時間點呼叫了哪些模型,讓企業在導入 AI 應用的同時,也能兼顧管理與治理需求。同時Yuna Chen也分享 NAS 結合AI 的使用者體驗,藉由執行在 QNAP NAS 上的對話式 AI 代理程式 QuAgent,自然語言能直接轉化為操作介面,使用者透過對話即可完成檔案搜尋、備份、系統查詢等工作;而 QuONE 則將行動裝置與 AI 技術深度結合,將原本分散的多款應用整合至單一入口,使用者只需一次登入,就能快速存取所需服務,徹底告別繁瑣的跨應用切換與登入流程,打造最直覺的 NAS 智慧助理體驗。

QNAP
QNAP資深智慧儲存產品經理Yuna Chen說明,AI Service Center可統一管理AI應用的模型與金鑰,並掌握Token用量、成本與稽核紀錄。
圖/ 數位時代

QNAP 智慧儲存產品經理 Vivian Luo 則說明,Qsirch AI 導入強大的語意理解與多模態檢索能力,能將 NAS 內的巨量檔案轉化為隨查即用的知識庫。使用者只要以自然語言描述內容,就能搜尋 NAS 裡的文件、圖片、影音與音訊等不同格式資料。影音檔案還可自動生成逐字稿,讓過去難以檢索的音訊與影片內容也能被全文搜尋。而所有索引皆在 NAS 本機完成,檔案不上傳雲端,兼顧搜尋效率與資料隱私。

QNAP
QNAP智慧儲存產品經理Vivian Luo表示,Qsirch AI具備語意理解與多模態檢索能力,索引皆在NAS本機完成,兼顧搜尋效率與資料隱私。
圖/ 數位時代

除了打造一站式 AI 平台,QNAP 也將 Edge AI 能力延伸至監視監控場域。QNAP 智慧視訊產品部部長 Hanz Sung 指出,QNAP 結合 AI 發展出 Deep Search、SkiLLM 等服務,使用者可以透過自然語言去描述想要搜尋的影像片段,或要求系統執行影像分析、產出調查報告與佐證影片等任務,不僅降低人工調閱影像與事件調查負擔,也讓視訊監控系統從被動記錄的角色,進一步升級為主動分析的監控顧問。

在視訊監控外,另一個 Edge AI 的應用則是影音內容產製。受到影音檔案容量指數級成長、AI 創作普及與多人協作之需求,高效能儲存與低延遲傳輸已成為影響創作效率的關鍵因素。

QNAP
QNAP智慧視訊產品部部長Hanz Sung指出,結合Deep Search、SkiLLM等AI服務,可讓視訊監控系統從被動記錄升級為主動分析的監控顧問。
圖/ 數位時代

QNAP 智慧儲存產品經理 Eddie Chuang 表示,QNAP 新一代 NAS 機種不僅支援 Thunderbolt™ 5 高速傳輸、可擴充 25GbE/100GbE、內建 NPU 加速等設計,更運用 AI 提升影音團隊管理與使用素材的效率,例如:透過地端 AI 運算,NAS 可以進一步化身為專案知識庫,協助團隊查詢過往剪輯邏輯、彙整客戶回饋,甚至快速確認素材版權狀態。

QNAP
QNAP智慧儲存產品經理Eddie Chuang表示,新一代NAS支援Thunderbolt 5高速傳輸與內建NPU加速,運用地端AI提升影音團隊協作效率。
圖/ 數位時代

從資料確信復原、高可用性到主動式威脅偵測,QNAP 層層築起營運韌性

除了 Edge AI 佈局,本場論壇的第二個主軸「營運韌性」,則從資料備份、高可用性與資安三個面向出發。QNAP 總經理劉文義也於開場引述 QNAP 於 8 月針對台灣 241 家企業進行的資安韌性調查,指出 71% 企業的資安綜合評級落在「待強化」以下,更有 53% 無法確保備份免於被刪除或篡改,揭示了國內企業 IT 架構在應對資安攻擊與營運中斷時的重大潛在風險。

QNAP 資深智慧儲存產品經理 Jack Wang 認為,企業資料備份現正面臨的挑戰是,遭遇災難或事故時,備份資料能否「真正被完整還原」,讓營運迅速恢復正常。為此,QNAP 在最新的備份解決方案 HDP for Business 中,整合自動化備份驗證與快速還原機制。當資料備份完成後,自動於 NAS 上以虛擬機 (VM) 開機驗證,並將過程錄影存證,讓 IT 主管與稽核人員有實際可查驗的復原證明;一旦事故真的發生,Instant Restore 則能直接將備份以 VM 型態在 NAS 上啟動、暫時接手服務,將復原時間從過去以天為單位來計算縮短至分鐘等級,為企業營運建立第一道防線。

QNAP
QNAP資深智慧儲存產品經理Jack Wang說明,HDP for Business整合自動化備份驗證,搭配Instant Restore可將復原時間縮短至分鐘等級。
圖/ 數位時代

除了備份資料的可復原性,確保關鍵服務在故障發生時依然能持續運作,更是營運韌性的重中之重。尤其隨著 AI 應用深入核心業務,一旦系統遭受非預期停擺,影響的不只是 IT 部門,更可能直接造成營運中斷與商業損失。為此,QNAP 針對硬體、系統、站點、容量及應用五個可能發生故障的層級,分別提出對應解決方案,協助企業打造高可用性的 IT 架構。

QNAP 資深儲存系統產品經理 Oliver Lam 進一步舉例,像是系統層的 QuTS hero High Availability Manager 採用 Active-Passive 雙機叢集,可在 90 秒內完成故障切換;硬體層的 ES NAS 則透過 Active-Active 雙主控架構,在控制器故障時,可於 30 至 60 秒內接管服務,讓企業在遭遇突發故障時,關鍵服務仍能快速切換至備援系統,將停機時間與營運衝擊降至最低。

QNAP
QNAP資深儲存系統產品經理Oliver Lam舉例,QuTS hero High Availability Manager可在90秒內完成故障切換,強化企業高可用性架構。
圖/ 數位時代

而造成系統停擺的原因,除了重大災害,可能是資安攻擊,因此,營運韌性的另一道防線,就是在威脅真正造成破壞之前,及早發現異常。QNAP 先進網通產品經理 Ruby Chan 指出,面對勒索軟體、零日攻擊等資安威脅,企業需要的資安工具,不只是可以防禦威脅,更要具備主動持續偵測與快速應變能力。

QNAP
QNAP先進網通產品經理Ruby Chan指出,面對勒索軟體與零日攻擊等資安威脅,企業所需的資安工具須具備主動持續偵測與快速應變能力。
圖/ 數位時代

自推出以來,深獲企業客戶青睞的 QNAP ADRA NDR X 內網資安防禦解決方案,內建超過 4.3 萬筆且還在持續更新的特徵規則,不僅能偵測出已知攻擊,還搭配 AI 行為分析技術去建立裝置的日常行為基準,主動辨識零時差攻擊與異常行為;更透過 LLM 將可疑封包與事件串連成完整攻擊鏈,協助 IT 人員快速掌握威脅脈絡。當系統偵測到高風險事件時,還能與 QNAP NAS 聯動、自動觸發快照,保留遭到加密或破壞前的資料版本,將資安防護從威脅偵測一路延伸到事件應變與資料復原,建立更完整的營運韌性防線,協助中小企業以高性價比的資安投資,輕鬆實現企業級內網防護能力。

當 AI 從雲端走向邊緣,企業 IT 基礎架構肩負的任務也隨之擴大,既要支撐 AI 創新,更要確保資料安全與營運不中斷。從 Edge AI 平台、場域應用,到資料復原、高可用性與資安防護,QNAP 正持續擴展 NAS 的角色,躍升為數位資產與營運連續性的關鍵守護者,協助企業打造穩健的 IT 底座,以全力追求創新、運用 AI 創造更大的商業價值;而QNAP 也深信再強大的技術,最終都要回到每一位使用者的日常體驗 ─ 安全、便利、穩定可靠。

QNAP
QNAP World Tour 2026台北場吸引大批IT從業人員到場,展區同步展示邊緣AI伺服器、企業級全快閃NAS等多項新品實機。
圖/ 數位時代
QNAP
現場同步展出Seagate等合作夥伴的「AI READY智慧資料管理」方案,呼應論壇聚焦Edge AI與企業韌性的雙主軸命題。
圖/ 數位時代

錯過了台北場沒關係! QNAP World Tour即將進行全台巡迴
立即報名:
QNAP World Tour 2026 高雄場
10/22 (四) | 13:00- 16:00 |
高雄翰品酒店春耕廳
https://campaign.qnap.com/registration_QNAPWorldTour2026_Taiwan_Kaohsiung
QNAP World Tour 2026 台中場
11/05 (四) | 13:00- 16:00|
台中福華大飯店 5F CR500 會議室
https://campaign.qnap.com/registration_QNAPWorldTour2026_Taiwan_Taichung

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台達電全解讀
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓