【黑貘來說】挖掘巨量資料的秘密步驟|數位時代 BusinessNext

現在已經有太多的報導說某某公司利用使用者的行為記錄，來算出每一個人的喜好，並且導出商機等等新聞到處可見，但我相信大家看再多次，不是覺得這樣會不會太可怕了？不然就是這好厲害阿！這兩種答案，不然就是兩種都有。

但事實上這件事並不神奇或可怕，會覺得這樣是因為大部份的人不知道怎麼做，或者是說這能夠做甚麼，若是你知道後，發現這跟本只是個套來套去經過計算的結果，甚至在某方面你用手來算都可以，只是不一樣的是人只能處理少量資料，而電腦可以處理巨量資料，當很多事情會有量變產生質變的時候，威力就在此顯現，但這些步驟，說穿了一點都不聰明，甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者，所以沒辦法寫給大多數的讀者看，而是寫給已經有一點實務經驗的人，尤其是程式設計師或資料庫管理師等工程師，但若沒有這技術背景，我相信做這樣的拆解，可以讓大家從一知半解變成知道個大概，而透過這樣的了解，讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提，就是我不會在這邊寫資料探勘的基礎，也就是說，「請先去看本資料探勘的書」，再來看下面幾篇文章吧。

目標：能夠知道某個特定人喜歡甚麼東西，購買每一個商品的機率，或者是說我們該如何推薦商品給他，以及知道他喜歡這商品的原因？

人與商品之間的行為有下面幾種：

瀏灠
放入清單
購買
評價或評論
其他

上面每一種行為都有其數量化的差異，有些是一年幾次，幾十次或到幾百次或更多，而每一個行為都可能有個「權重 (Weight)」，以及時間 (Time) 與次數 (Times) 的屬性，甚至更有可能是一個 Vector (向量) 的指標，例如喜好、觀感等等，無論是可以量化或不能量化，這些都可以成為建立人與商品的「關連」。

所有的資料探勘系統實作都是從這些資料做轉化，甚至是簡化，畢竟可以運算，以及算得出結果才是重點，甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的，畢竟除了人的行為之外，商品有有幾個屬性：

商品本質、內容
商品描述 (meta-data) 與分類
最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用，也就是我們使用者/消費者與商品/物品之間的關係，而在有了語意網路之後，我們就可以進一步的處理本質 (文化商品) 與描述了，只是在這之前還要有幾個前置作業。

會自動化新增關鍵字詞的表
會自動化連結出語意網路的表

這兩個表若是可以扣掉前面「會自動化新增/連結」的話，我相信很多人都有從很多單位去取得這樣的詞庫與關連庫，但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時，沒有一種機制能夠新增或更新的話，幾乎是不實用的。

只是這新增/更新有時不見得是自動化，因為自動化是件相當困難的事，就我所知有不少在做這項業務的公司單位，用的就是「工人智慧」，而不是人工智慧，但無論如何，有了這兩個表之後，再加上從資料探勘能夠得知的：

關連分析 (一階, 或高階)
群落分析 (Clustering)
時間序列預測

有了上面三個很基本的工具後，可以配合產出很多的可能性：

最常見的關連購買
在搜尋結果中做排序
從分類結果做語意分析產出因子
有了高階的關連分析可以透過配對做活動
從銷售預測中作備品或庫存準備
只要你想得到的

當然上面說得很簡單，好像是三兩天就可以開發出來的東西，但事實上單單一個「會自動化連結出語意網路的表」，我記得當時就弄了兩三個月才弄出來，當然現在再弄一次就只須要兩三天到兩三個星期了，畢竟有經驗跟沒有經驗還是差很多的。

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事，但現在的機器已經比 5 年前快 5 倍了，加上資料庫的多樣性，雲端系統的完善，讓寫這樣的系統跟之前簡單不只 5 倍，我在兩個月以前自己從無到有又自己跑一次，以前須要半年的現在只要半個多月就夠了，想想時代還真可怕阿。

所以說，在這樣成熟的時機而言，導入真正的巨量資料探勘已經不是預算的問題，也不是技術的問題，而是心態的問題了，你準備好了嗎？

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)

快速展店背後的挑戰　如何降低跨據點管理與維運負擔

對連鎖零售企業而言，展店代表商機與成長，但當門市數量快速增加，營運與管理的複雜度也隨之提升。尤其對便利商店（C-store）、餐飲連鎖與其他高密度展店型態的企業而言，總部需要面對的不只是據點數量增加，更包括不同門市的設備管理、系統維護、日常維運與人力配置等多方面挑戰。

過去多據點門市的設備與資訊管理，往往以單一門市為單位，各據點可能擁有不同的攝影機、錄影設備配置與管理模式。當總部需要掌握事件狀況、確認門市營運情形，或進行跨區域管理時，往往需要投入大量人力逐一確認資訊，不僅增加管理負擔，也提高維運成本。

此外，零售產業本身具有高度變動性。門市可能因應市場策略進行展店、搬遷、改裝，甚至調整營運規模。傳統一次性設備投資模式，容易讓企業在面對據點變化時缺乏彈性，也增加設備重新配置與後續維護的負擔。

因此，現代零售企業所需要的不只是單純記錄事件的設備，而是一套能隨企業成長彈性調整、協助總部有效掌握多據點安全資訊，並支援未來智慧應用發展的智慧化管理架構。

從既有設備開始升級　降低全面汰換設備的轉型負擔

面對智慧化轉型需求，許多企業最大的挑戰並非是否需要升級，而是如何在不中斷現有營運的情況下完成轉型。

對已經投入大量資源建置安全系統的零售企業而言，全面汰換既有架構不僅成本高，也可能影響門市日常運作。因此，能夠兼容既有設備並逐步升級的彈性架構，成為企業導入智慧安全管理的重要關鍵。

透過混合雲架構，企業可以從既有設備開始，逐步整合不同據點的安全資訊與管理需求，同時導入雲端管理能力。相較於一次性重新建置，新一代平台架構能協助企業延續既有投資價值，並依照實際需求逐步導入更集中化、智慧化的管理能力。

此外，訂閱式雲端服務模式和混合雲安防架構，也為零售企業帶來更靈活的資產管理方式。相較於頻繁的硬體汰換、傳統一次性採購或繁瑣的跨品牌安防系統的管理，企業更有彈性的因應門市拓展、搬遷、調整或營運規模調整，精準配置資源，降低一次性投入壓力，也減少因據點變動造成設備閒置的情況。

對快速成長的連鎖零售企業而言，安全管理不再是一套固定且難以調整的架構，而是一個能隨企業規模與需求持續演進的平台。無論是新增門市、跨區域管理，或因應營運策略調整，都能以更彈性的方式完成管理升級。

AI 不只是安防工具　更開始協助零售提升營運效率

隨著 AI 技術快速發展，安全管理的角色也正在改變。過去企業導入影像系統主要用於事件記錄、事後查看與追蹤；如今，智慧雲端安防平台則能進一步從大量影像資訊中辨識人、車與行為，協助企業從「看見發生什麼」進一步「理解正在發生什麼」，甚至主動協助管理者發現與處理事件。對門市數量眾多、人力有限的連鎖零售業者而言，AI 正逐步成為降低管理負擔、提升營運效率的重要工具。

從基本事件偵測到自然語言規則　讓 AI 主動理解更多異常情境。 AI 智慧辨識已能針對跌倒、奔跑、徘徊、跨線等常見事件進行自動偵測，協助門市減少人工查看影像的需求。而進一步透過 Think Alert，管理者更可以直接以自然語言設定客製化的偵測條件，將 AI 應用延伸至傳統事件規則以外。以門市尖峰時段為例，店員往往需要同時處理結帳、補貨與顧客服務，總部也難以持續掌握每個據點的即時狀況。透過 Think Alert，管理者可以直接以自然語言設定「在門店入口抽菸的人」等情境；當符合設定條件的畫面出現時，系統即可主動發出警報，協助管理者即時掌握異常狀況。對於門市數量龐大的企業而言，這代表 AI 不只是協助辨識既定事件，更能依據不同營運需求，讓管理者以更直覺的方式設定希望 AI 主動關注的情境。

從大海撈針到快速完成調查　Think Search 搭配 Case Vault(案例庫) 掌握完整事件脈絡。 當事件發生後，如何從大量、多據點的影像中找到關鍵人物與事件脈絡，往往是最耗費人力的環節。透過 Think Search，管理者可以直接用自然語言描述想尋找的對象與情境，例如，當家長反映孩童可能在門市附近走失時，店員或總部人員不需要逐一查看不同攝影機的錄影畫面，只要在 Think Search 輸入「昨日上午，牽著小女孩的男性」等自然語言描述，系統即可協助從大量影像中篩選相關畫面，快速找到相關人物可能出現的時間與位置。若需要進一步追蹤，還能將不同搜尋階段找到的重要畫面與資訊整理至 Case Vault，建立事件時間線與人物移動路徑，協助管理者更完整掌握事件脈絡。

從安全管理延伸至顧客服務與門市營運　讓既有影像創造更多價值。 AI 的應用也不只限於安全事件。例如在咖啡店、餐飲等場景，若顧客將手機、包包等物品遺留在座位或櫃台附近，遺留物與遺失物偵測可以協助門市人員更快發現異常，主動確認並協助顧客處理失物問題；人流分析則能協助企業掌握不同時段的門市活動趨勢，作為空間配置與人力安排的參考；車牌辨識可應用於停車區域或門市周邊管理，而工安防護裝備辨識則能協助後場、倉儲等區域進行安全規範管理。透過這些應用，企業能在既有設備基礎上，進一步將影像資料延伸至安全、服務與營運等不同場景。

對連鎖零售業而言，AI 的價值已不只是「看得更清楚」，而是讓企業更快發現問題、更快找到資訊，並進一步理解事件脈絡與營運狀況。從基本事件偵測、自然語言設定規則，到 AI 搜尋與事件調查，再延伸至顧客服務與營運分析，雲端安防平台正讓影像從被動的紀錄工具，逐步成為支援多據點安全管理與營運決策的重要資訊來源。