淺談探索式資料分析 -- 從一個資安小故事談起|數位時代 BusinessNext

在上一次的分享中，藉由資訊圖表的幫助讓我們對於《巴拿馬報告》（Panama Paper）能夠快速又正確的掌握基本訊息，進而能夠開始展開對於資料的詮釋及應用——探索式資料分析（Exploratory Data Analysis，簡稱 EDA），就是運用視覺化、基本的統計等工具，來「看」一下資料；以期進行複雜或嚴謹的分析之前，能夠對資料有更多的認識。今天，就以一個資安小故事，讓我們演練一下在資料分析的方法論中，能夠讓你事半功倍的「探索式資料分析」。

故事是這樣開始的：

Data Genetics 的一位分析人員收到一封朋友寄來的笑話，信中宣稱「震驚全球的事實！世界上所有的信用卡 PIN 碼都被破解了！」——接著就列出了一連串從 0000 - 9999 的數字。（信用卡 PIN 碼其實就是一組四碼的數字密碼，在國外刷卡消費時作為認證使用，等同於我們在台灣刷卡時的簽名這個動作）因為四碼的密碼就只有這一萬種組合，所以看到這種「廢文」般的笑話大多數人當然是一笑置之；然而，這引起了這位分析人員的興趣：短短的四個數字裡面，哪些密碼是最容易被猜中的呢？

現在，讓我們跟著這個故事，演練在資料分析的方法論中，如何進行「探索式資料分析」：

##一、資料收集

首先，顯然地 Data Genetics 不是信用卡或銀行單位、也不是專門攻擊這些單位的黑帽駭客；身為一個資料科學家，資料的取得是很重要的一環；當無法取得原始資料或是完整資料、資料來源受到限制的時候，就必須做出假設，並根據這些假設取得合理的資料來源，透過適當的取樣、逼近或模擬我們的研究對象。

在這個故事裡，分析人員從各種已經公開釋出、曝光或被揭發的數字密碼資料庫與資安漏洞中，過濾出共三百四十多萬筆的四碼數字密碼，並且假設人們傾向於在不同情境中使用同一組密碼，將這組資料集作為研究對象，試著從密碼組成的頻率去分析。

##二、基本統計工具：敘述統計量

利用基本的統計工具，可以由組成數字的頻率直接知道哪一些密碼是最常被使用的，換句話說，哪些密碼是最容易被猜到的？

	PIN	Freq		PIN	Freq
#1	1234	10.71%	#9980	8557	0.00%
#2	1111	6.02%	#9981	9047	0.00%
#3	0	1.88%	#9982	8438	0.00%
#4	1212	1.20%	#9983	439	0.00%
#5	7777	0.75%	#9984	9539	0.00%
#6	1004	0.62%	#9985	8196	0.00%
#7	2000	0.61%	#9986	7063	0.00%
#8	4444	0.53%	#9987	6093	0.00%
#9	2222	0.52%	#9988	6827	0.00%
#10	6969	0.51%	#9989	7394	0.00%
#11	9999	0.45%	#9990	859	0.00%
#12	3333	0.42%	#9991	8957	0.00%
#13	5555	0.40%	#9992	9480	0.00%
#14	6666	0.39%	#9993	6793	0.00%
#15	1122	0.37%	#9994	8398	0.00%
#16	1313	0.30%	#9995	738	0.00%
#17	8888	0.30%	#9996	7637	0.00%
#18	4321	0.29%	#9997	6835	0.00%
#19	2001	0.29%	#9998	9629	0.00%
#20	1010	0.29%	#9999	8093	0.00%
	⋯⋯	⋯⋯	#10000	8068	0.00%

分析的結果，不意外地，老梗的「1234」、「0000」、「6969」等規律排列堆疊的數字組合名列前茅。但是，他同時也發現有些特別的規律：例如高居第六名的「1004」在韓文中的讀音接近「天使」（從這點我們也可以推測該分析人員使用的資料集有部分應該來自韓國）、還有第二十二名的「2580」看起來毫無規律，但是大家只要拿起手機或看看電話的撥號鍵，就知道原因了。

手機的電話撥號鍵圖

##三、資料視覺化 v. s. 資訊圖表

即使是簡單的統計作圖，也能告訴你很多一眼看不出來的秘密。不相信嗎？讓我們來看看幾張讓你秒懂密碼內幕的圖表⋯⋯

###1. 累積頻率圖：

從累積頻率圖可以明顯地看出，少部分的密碼就佔了絕大多數的比重；基本上不到五百組就把資料集的一半密碼都破解了。

###2. 同樣是累積頻率圖，如果我們關注一些特別的模式（pattern）？
累積頻率圖2
例如，「19XX」的數字，都在資料佔比的前半段，似乎人們格外偏好「19XX」系列的密碼？

###3. 進一步的檢視，試著去比較「19XX」vs「??XX」：

可以看到，「19」開頭的出現頻率確實明顯高過其他的組合（同時也看到疊字組合仍是萬年不敗）；再來看看所有「19??」的分佈：

可能跟出生、或是生活中的重大事件有關，「195X」一直到「198X」的出現頻率遠遠高過其他年份，這點也符合直覺——會使用密碼的族群主要也是在這些年份出生的青壯年人口為主。

#矩陣視覺化

矩陣的視覺化一直是個強大的工具：以四字密碼作為範例，可以將其拆成前後兩組兩位數字的組成，將出現頻率描繪在一個 100 x 100 的矩陣中。

100 x 100 的矩陣

越偏白黃的顏色就是頻率越高的組合，偏紅黑色即是頻率低的組合。

透過矩陣的視覺化，我們其實能夠直接得到前面的圖表中呈現的資訊；換句話說，矩陣視覺化在同樣的篇幅中，提供了更豐富的資訊。以上面提到的「19XX」模式為例：

可以看到有一排很亮的直線，它代表了「19」開頭的這一排

可以看到有一排很亮的直線，它代表了「19」開頭的這一排，可以跟前面的「19XX」分布圖做個對照，他們其實是說同一件事：可以看成是上圖的高度改成用顏色取代，變成了下圖的一條直線。

比較「19XX」分布圖

除了「19XX」開頭，其實只要是「1XXX」都是相對亮的區域；從矩陣視覺化可以很明顯看出界線；不需要另外繪製一張下圖這樣的相對頻率分佈就可以清楚的指出來。

只要是「1XXX」都是相對亮的區域

將矩陣做灰階處理後，也可以很輕鬆地找出「亮點」，把常見的數字組合標記出來。

相對頻率分佈

花了不少的篇幅也介紹了幾樣工具，不知道大家有沒有什麼收穫呢？如果對於最後提到的矩陣視覺化有興趣的朋友，在這邊也推薦中央研究院統計科學研究所的陳君厚研究員於 2014 資料科學愛好者年會分享的《Collaboration with Statistician? 矩陣視覺化於探索式資料分析》，學習愉快！

Collaboration with Statistician? 矩陣視覺化於探索式資料分析 from 台灣資料科學愛好者年會

延伸閱讀：
PIN Analysis by Data Genetics
什麼是信用卡 PIN 碼？
Collaboration with Statistician? 矩陣視覺化於探索式資料分析

快速展店背後的挑戰　如何降低跨據點管理與維運負擔

對連鎖零售企業而言，展店代表商機與成長，但當門市數量快速增加，營運與管理的複雜度也隨之提升。尤其對便利商店（C-store）、餐飲連鎖與其他高密度展店型態的企業而言，總部需要面對的不只是據點數量增加，更包括不同門市的設備管理、系統維護、日常維運與人力配置等多方面挑戰。

過去多據點門市的設備與資訊管理，往往以單一門市為單位，各據點可能擁有不同的攝影機、錄影設備配置與管理模式。當總部需要掌握事件狀況、確認門市營運情形，或進行跨區域管理時，往往需要投入大量人力逐一確認資訊，不僅增加管理負擔，也提高維運成本。

此外，零售產業本身具有高度變動性。門市可能因應市場策略進行展店、搬遷、改裝，甚至調整營運規模。傳統一次性設備投資模式，容易讓企業在面對據點變化時缺乏彈性，也增加設備重新配置與後續維護的負擔。

因此，現代零售企業所需要的不只是單純記錄事件的設備，而是一套能隨企業成長彈性調整、協助總部有效掌握多據點安全資訊，並支援未來智慧應用發展的智慧化管理架構。

從既有設備開始升級　降低全面汰換設備的轉型負擔

面對智慧化轉型需求，許多企業最大的挑戰並非是否需要升級，而是如何在不中斷現有營運的情況下完成轉型。

對已經投入大量資源建置安全系統的零售企業而言，全面汰換既有架構不僅成本高，也可能影響門市日常運作。因此，能夠兼容既有設備並逐步升級的彈性架構，成為企業導入智慧安全管理的重要關鍵。

透過混合雲架構，企業可以從既有設備開始，逐步整合不同據點的安全資訊與管理需求，同時導入雲端管理能力。相較於一次性重新建置，新一代平台架構能協助企業延續既有投資價值，並依照實際需求逐步導入更集中化、智慧化的管理能力。

此外，訂閱式雲端服務模式和混合雲安防架構，也為零售企業帶來更靈活的資產管理方式。相較於頻繁的硬體汰換、傳統一次性採購或繁瑣的跨品牌安防系統的管理，企業更有彈性的因應門市拓展、搬遷、調整或營運規模調整，精準配置資源，降低一次性投入壓力，也減少因據點變動造成設備閒置的情況。

對快速成長的連鎖零售企業而言，安全管理不再是一套固定且難以調整的架構，而是一個能隨企業規模與需求持續演進的平台。無論是新增門市、跨區域管理，或因應營運策略調整，都能以更彈性的方式完成管理升級。

AI 不只是安防工具　更開始協助零售提升營運效率

隨著 AI 技術快速發展，安全管理的角色也正在改變。過去企業導入影像系統主要用於事件記錄、事後查看與追蹤；如今，智慧雲端安防平台則能進一步從大量影像資訊中辨識人、車與行為，協助企業從「看見發生什麼」進一步「理解正在發生什麼」，甚至主動協助管理者發現與處理事件。對門市數量眾多、人力有限的連鎖零售業者而言，AI 正逐步成為降低管理負擔、提升營運效率的重要工具。

從基本事件偵測到自然語言規則　讓 AI 主動理解更多異常情境。 AI 智慧辨識已能針對跌倒、奔跑、徘徊、跨線等常見事件進行自動偵測，協助門市減少人工查看影像的需求。而進一步透過 Think Alert，管理者更可以直接以自然語言設定客製化的偵測條件，將 AI 應用延伸至傳統事件規則以外。以門市尖峰時段為例，店員往往需要同時處理結帳、補貨與顧客服務，總部也難以持續掌握每個據點的即時狀況。透過 Think Alert，管理者可以直接以自然語言設定「在門店入口抽菸的人」等情境；當符合設定條件的畫面出現時，系統即可主動發出警報，協助管理者即時掌握異常狀況。對於門市數量龐大的企業而言，這代表 AI 不只是協助辨識既定事件，更能依據不同營運需求，讓管理者以更直覺的方式設定希望 AI 主動關注的情境。

從大海撈針到快速完成調查　Think Search 搭配 Case Vault(案例庫) 掌握完整事件脈絡。 當事件發生後，如何從大量、多據點的影像中找到關鍵人物與事件脈絡，往往是最耗費人力的環節。透過 Think Search，管理者可以直接用自然語言描述想尋找的對象與情境，例如，當家長反映孩童可能在門市附近走失時，店員或總部人員不需要逐一查看不同攝影機的錄影畫面，只要在 Think Search 輸入「昨日上午，牽著小女孩的男性」等自然語言描述，系統即可協助從大量影像中篩選相關畫面，快速找到相關人物可能出現的時間與位置。若需要進一步追蹤，還能將不同搜尋階段找到的重要畫面與資訊整理至 Case Vault，建立事件時間線與人物移動路徑，協助管理者更完整掌握事件脈絡。

從安全管理延伸至顧客服務與門市營運　讓既有影像創造更多價值。 AI 的應用也不只限於安全事件。例如在咖啡店、餐飲等場景，若顧客將手機、包包等物品遺留在座位或櫃台附近，遺留物與遺失物偵測可以協助門市人員更快發現異常，主動確認並協助顧客處理失物問題；人流分析則能協助企業掌握不同時段的門市活動趨勢，作為空間配置與人力安排的參考；車牌辨識可應用於停車區域或門市周邊管理，而工安防護裝備辨識則能協助後場、倉儲等區域進行安全規範管理。透過這些應用，企業能在既有設備基礎上，進一步將影像資料延伸至安全、服務與營運等不同場景。

對連鎖零售業而言，AI 的價值已不只是「看得更清楚」，而是讓企業更快發現問題、更快找到資訊，並進一步理解事件脈絡與營運狀況。從基本事件偵測、自然語言設定規則，到 AI 搜尋與事件調查，再延伸至顧客服務與營運分析，雲端安防平台正讓影像從被動的紀錄工具，逐步成為支援多據點安全管理與營運決策的重要資訊來源。