淺談探索式資料分析 -- 從一個資安小故事談起|數位時代 BusinessNext

在上一次的分享中，藉由資訊圖表的幫助讓我們對於《巴拿馬報告》（Panama Paper）能夠快速又正確的掌握基本訊息，進而能夠開始展開對於資料的詮釋及應用——探索式資料分析（Exploratory Data Analysis，簡稱 EDA），就是運用視覺化、基本的統計等工具，來「看」一下資料；以期進行複雜或嚴謹的分析之前，能夠對資料有更多的認識。今天，就以一個資安小故事，讓我們演練一下在資料分析的方法論中，能夠讓你事半功倍的「探索式資料分析」。

故事是這樣開始的：

Data Genetics 的一位分析人員收到一封朋友寄來的笑話，信中宣稱「震驚全球的事實！世界上所有的信用卡 PIN 碼都被破解了！」——接著就列出了一連串從 0000 - 9999 的數字。（信用卡 PIN 碼其實就是一組四碼的數字密碼，在國外刷卡消費時作為認證使用，等同於我們在台灣刷卡時的簽名這個動作）因為四碼的密碼就只有這一萬種組合，所以看到這種「廢文」般的笑話大多數人當然是一笑置之；然而，這引起了這位分析人員的興趣：短短的四個數字裡面，哪些密碼是最容易被猜中的呢？

現在，讓我們跟著這個故事，演練在資料分析的方法論中，如何進行「探索式資料分析」：

##一、資料收集

首先，顯然地 Data Genetics 不是信用卡或銀行單位、也不是專門攻擊這些單位的黑帽駭客；身為一個資料科學家，資料的取得是很重要的一環；當無法取得原始資料或是完整資料、資料來源受到限制的時候，就必須做出假設，並根據這些假設取得合理的資料來源，透過適當的取樣、逼近或模擬我們的研究對象。

在這個故事裡，分析人員從各種已經公開釋出、曝光或被揭發的數字密碼資料庫與資安漏洞中，過濾出共三百四十多萬筆的四碼數字密碼，並且假設人們傾向於在不同情境中使用同一組密碼，將這組資料集作為研究對象，試著從密碼組成的頻率去分析。

##二、基本統計工具：敘述統計量

利用基本的統計工具，可以由組成數字的頻率直接知道哪一些密碼是最常被使用的，換句話說，哪些密碼是最容易被猜到的？

	PIN	Freq		PIN	Freq
#1	1234	10.71%	#9980	8557	0.00%
#2	1111	6.02%	#9981	9047	0.00%
#3	0	1.88%	#9982	8438	0.00%
#4	1212	1.20%	#9983	439	0.00%
#5	7777	0.75%	#9984	9539	0.00%
#6	1004	0.62%	#9985	8196	0.00%
#7	2000	0.61%	#9986	7063	0.00%
#8	4444	0.53%	#9987	6093	0.00%
#9	2222	0.52%	#9988	6827	0.00%
#10	6969	0.51%	#9989	7394	0.00%
#11	9999	0.45%	#9990	859	0.00%
#12	3333	0.42%	#9991	8957	0.00%
#13	5555	0.40%	#9992	9480	0.00%
#14	6666	0.39%	#9993	6793	0.00%
#15	1122	0.37%	#9994	8398	0.00%
#16	1313	0.30%	#9995	738	0.00%
#17	8888	0.30%	#9996	7637	0.00%
#18	4321	0.29%	#9997	6835	0.00%
#19	2001	0.29%	#9998	9629	0.00%
#20	1010	0.29%	#9999	8093	0.00%
	⋯⋯	⋯⋯	#10000	8068	0.00%

分析的結果，不意外地，老梗的「1234」、「0000」、「6969」等規律排列堆疊的數字組合名列前茅。但是，他同時也發現有些特別的規律：例如高居第六名的「1004」在韓文中的讀音接近「天使」（從這點我們也可以推測該分析人員使用的資料集有部分應該來自韓國）、還有第二十二名的「2580」看起來毫無規律，但是大家只要拿起手機或看看電話的撥號鍵，就知道原因了。

手機的電話撥號鍵圖

##三、資料視覺化 v. s. 資訊圖表

即使是簡單的統計作圖，也能告訴你很多一眼看不出來的秘密。不相信嗎？讓我們來看看幾張讓你秒懂密碼內幕的圖表⋯⋯

###1. 累積頻率圖：

從累積頻率圖可以明顯地看出，少部分的密碼就佔了絕大多數的比重；基本上不到五百組就把資料集的一半密碼都破解了。

###2. 同樣是累積頻率圖，如果我們關注一些特別的模式（pattern）？
累積頻率圖2
例如，「19XX」的數字，都在資料佔比的前半段，似乎人們格外偏好「19XX」系列的密碼？

###3. 進一步的檢視，試著去比較「19XX」vs「??XX」：

可以看到，「19」開頭的出現頻率確實明顯高過其他的組合（同時也看到疊字組合仍是萬年不敗）；再來看看所有「19??」的分佈：

可能跟出生、或是生活中的重大事件有關，「195X」一直到「198X」的出現頻率遠遠高過其他年份，這點也符合直覺——會使用密碼的族群主要也是在這些年份出生的青壯年人口為主。

#矩陣視覺化

矩陣的視覺化一直是個強大的工具：以四字密碼作為範例，可以將其拆成前後兩組兩位數字的組成，將出現頻率描繪在一個 100 x 100 的矩陣中。

100 x 100 的矩陣

越偏白黃的顏色就是頻率越高的組合，偏紅黑色即是頻率低的組合。

透過矩陣的視覺化，我們其實能夠直接得到前面的圖表中呈現的資訊；換句話說，矩陣視覺化在同樣的篇幅中，提供了更豐富的資訊。以上面提到的「19XX」模式為例：

可以看到有一排很亮的直線，它代表了「19」開頭的這一排

可以看到有一排很亮的直線，它代表了「19」開頭的這一排，可以跟前面的「19XX」分布圖做個對照，他們其實是說同一件事：可以看成是上圖的高度改成用顏色取代，變成了下圖的一條直線。

比較「19XX」分布圖

除了「19XX」開頭，其實只要是「1XXX」都是相對亮的區域；從矩陣視覺化可以很明顯看出界線；不需要另外繪製一張下圖這樣的相對頻率分佈就可以清楚的指出來。

只要是「1XXX」都是相對亮的區域

將矩陣做灰階處理後，也可以很輕鬆地找出「亮點」，把常見的數字組合標記出來。

相對頻率分佈

花了不少的篇幅也介紹了幾樣工具，不知道大家有沒有什麼收穫呢？如果對於最後提到的矩陣視覺化有興趣的朋友，在這邊也推薦中央研究院統計科學研究所的陳君厚研究員於 2014 資料科學愛好者年會分享的《Collaboration with Statistician? 矩陣視覺化於探索式資料分析》，學習愉快！

Collaboration with Statistician? 矩陣視覺化於探索式資料分析 from 台灣資料科學愛好者年會

延伸閱讀：
PIN Analysis by Data Genetics
什麼是信用卡 PIN 碼？
Collaboration with Statistician? 矩陣視覺化於探索式資料分析

集結百年洗地技術與智慧科技，四大特點樹立清潔標竿

事實上，市場不乏新創科技公司推出清潔機器人，但凱馳業務總監李敍均指出，大多新創公司擅長科技部分，但對於「如何把地洗乾淨」的清潔本質缺乏經驗。德國凱馳成立近百年來，早已是這方面的專家，歷經總部反覆打磨，KIRA BR 50結合凱馳的專業工藝與前沿科技，以四大特點樹立智慧清潔標竿。

首先是「高效清潔」，相較一般清潔機器人使用盤刷，容易讓污垢在地面旋轉滯留，KIRA BR 50採用獨家滾刷技術，一次完成預掃、收集垃圾、洗地與擦乾，搭配側刷貼近牆角，完成零死角邊緣清潔。每分鐘超過1300轉的高轉速刷頭，加上業界最高刷壓，大幅提升清潔效果，最高每小時可自主清潔高達2365平方公尺，相當於5.6座籃球場，一小時即可完成約兩次台北車站大廳的清潔作業，非常適合面積廣大的車站、機場、物流中心等大型場域使用。

第二是「極致安全」，隨著智慧設備進入高科技產業與政府機關等敏感場域，企業對設備安全與隱私防護的要求也日益提高，KIRA BR 50配備「3D點陣式影像偵測技術」，當機器人在環境感知與避障時僅呈現去識別化的點陣雲，不記錄或上傳實體影像，從源頭杜絕案場影像與隱私資訊被記錄或外洩的疑慮。此外資料傳輸裝置均支援AES-256位元高規格加密，並通過IEC與Syss等多項國際認證的自主導航、電氣安全與防駭客入侵設計，領先競品，建立清潔機器人極致安全的新標準。

第三是「解放人力」，大面積且重複的洗地工作交給機器人後，第一線員工便能投入更多需要專業服務的細緻清潔工作；同時搭配四合一自動工作基站，能自動高速充電、補充清水、排放汙水、清洗水箱，讓清潔人員更加省事。

第四是「友善操作」，考量許多清潔人員為中高齡族群，機身特別以簡單顏色和圖形化介面標示清潔人員可獨立操作的簡易按鈕，直覺易懂。針對開放式大面積，僅需人工操作一次，機器人便可在短時間內自主完成地圖掃描與路徑規劃，並具備智慧記憶功能，能自動回補因臨時障礙物而漏洗的區域，無須專業工程師提前設定地圖與電子圍籬，大幅降低使用門檻。

第一線清潔龍頭實測驗證，人機協作打造清潔新紀元

這套智慧清潔方案在正式推向市場前，也已在台灣機場等第一線大型場域實地驗證，與凱馳合作長達10多年的台灣清潔產業龍頭——信實集團，正是這場科技變革的最佳見證者。

信實集團承攬機場、車站等眾多大型公共標案，對設備品質與安全極為挑剔，信實集團副總經理趙雪吟坦言，「服務業缺工已經是全面性挑戰，第一線清潔產業長期面臨人力招募困境，引進自動化設備是不可逆趨勢。」

早在一、兩年前他親赴德國凱馳，看到KIRA BR 50後，便非常期待正式在台上市的一天。此次信實率先參與驗證，對KIRA BR 50展現出的穩定度與清潔效率印象深刻，不僅能高效自主洗地，完成後還會返回工作站維護充電，讓有限人力集中於精細工作上。

趙雪吟也特別強調，公家機關與大型企業標案對設備的製造品質、電氣安全與資安防護有嚴格標準，凱馳耗費數年進行嚴謹測試與多項國際認證，正是信實能放心將機器人引入重要案場的關鍵，期望未來導入至更多大型公共場域。

隨著KIRA BR 50正式登台，凱馳不僅為缺工時代提供最佳解方，也展現作為全球清潔設備領導品牌的前瞻視野，敏銳洞察清潔產業缺工、高齡化的必然趨勢，從第一線人員與企業實際需求出發，提前佈局研發對應智慧產品。未來凱馳將持續以領航者之姿，引進多元的專業清潔機型，讓「人機協作」不再只是前瞻概念，而是兼顧品質、安全與人本價值的最佳幫手，全力助攻台灣清潔產業邁向更高效、智慧、也更有溫度的全新紀元。