原題：大數(shù)據(jù)安全分析之三（可視化篇）

熟悉金字塔原理的人都了解一個事實，人腦的短期記憶最大能夠保持7個左右的元素，這意味著在分析工作中只能跟蹤非常有限的數(shù)據(jù)。

而可視化作為探索、展示和表達數(shù)據(jù)含義的一種方法，充分利用人的視覺系統(tǒng)特點（視覺是向大腦輸入信息最直接、數(shù)據(jù)帶寬最大的方式，每秒可以接收相當于100萬字符的信息），可以讓人在更高層面上去觀察和理解數(shù)據(jù)，可以比其它方式讓人們更好的利用大量的信息去思考更復(fù)雜的問題。可視化在分析復(fù)雜數(shù)據(jù)時必不可少，自然在大數(shù)據(jù)安全分析中同樣發(fā)揮了至關(guān)重要的作用。

筆者不是可視化方面的專家，也因深知其重要意義，因此以一孔之見希望能引發(fā)真正領(lǐng)域?qū)＜业闹橛裰裕餐龠M可視化技術(shù)在安全領(lǐng)域的應(yīng)用。

一、網(wǎng)絡(luò)安全與可視化

在網(wǎng)絡(luò)安全領(lǐng)域，可視化做的不只是安全分析，市場營銷中就廣泛使用了可視化技術(shù)。在數(shù)據(jù)驅(qū)動安全的概念流行的今天，每個安全廠商都希望展現(xiàn)自己在數(shù)據(jù)方面的實力，無論數(shù)據(jù)的豐富程度或者及時性都可以通過可視化很好的展現(xiàn)出來，并且通過極具視覺沖擊力的形式，形成強悍的沖擊力。各個廠商自然紛紛效法，因此我們看到了TK做描述的一幕：“基本就是一張地圖，然后激光炮、氣功彈打來打去”。不能否定這是可視化的價值之一，在傳播上具備較大的優(yōu)勢，否則你說你積累了多少數(shù)據(jù)、部署了多少采集器，這些數(shù)字往往只對極少數(shù)業(yè)內(nèi)認識有意義，在大眾傳播上是不能和可視化帶來的直觀、豐富的體驗相比的。

但我們同時需要看到業(yè)內(nèi)對可視化的最大期待是在安全分析上，希望通過可視化方式，讓大數(shù)據(jù)更好的被使用，為用戶產(chǎn)生價值，尤其是在急需APT或者定向攻擊檢測方案的今天。可視化可以應(yīng)用的場景，其中包括了安全分析的各個階段：異常發(fā)現(xiàn)、誤報分析、調(diào)查取證、關(guān)聯(lián)分析等等。相對業(yè)界的期待，國際上有了一批做出一定成績的廠商，而國內(nèi)這方面還沒有看到有所突破的產(chǎn)品，就其原因，大家都還在起步階段，而可視化技術(shù)和數(shù)據(jù)挖掘一樣，屬于跨領(lǐng)域的專業(yè)，但卻沒有向數(shù)據(jù)挖掘一樣被正確認識，我們可以看到安全領(lǐng)域的專家和數(shù)據(jù)挖掘算法、數(shù)理統(tǒng)計方面的團隊協(xié)同工作，但可視化在很多時候往往被認為是設(shè)計師和前端開發(fā)的工作，這種認識無疑是國內(nèi)安全行業(yè)的可視化發(fā)展進展緩慢。

二、跨領(lǐng)域的知識結(jié)構(gòu)

需要怎樣的知識，能夠在安全產(chǎn)品中更好的使用可視化方法，這里根據(jù)個人之前的工作中的摸索（主要在產(chǎn)品需求及設(shè)計方面），認為以下四方面的知識對設(shè)計工作有比較大的影響：

1. 需要掌握可視化的一些基本理論和方法：個人推薦一本Stephen Few的《Now You See It: Simple Visualization Techniques for Quantitative Analysis》雖然不是很新，但很多內(nèi)容有針對性，值得一讀；另外邱南特的《數(shù)據(jù)之美：一本書學會可視化設(shè)計》作為可視化理念入門也非常不錯；

2. 深入了解安全分析人員的工作流程、方法：他們最經(jīng)常的工作是什么，之前如何完成，他們認為怎樣的工具可以幫助他們更好的完成。或者還有一種選擇，讓自己成為一個安全分析師，設(shè)身處地的想一下，自己需要怎樣的工具來幫助自己更好的完成工作。

3. 對已有安全分析類產(chǎn)品的剖析：我就曾經(jīng)從對Splunk和Palantir的分析中得到很多啟發(fā)，而今年以來這方面的國際廠商更是越發(fā)多了，有機會思考一下他們的設(shè)計邏輯對提升產(chǎn)品感覺非常有幫助；需要注意的是要剖析同類的產(chǎn)品，可視化的在某些領(lǐng)域的經(jīng)驗和安全分析領(lǐng)域是有很大不同的，如果不區(qū)分具體場景，而參考一些其它領(lǐng)域的可視化成功經(jīng)驗，也許會走入誤區(qū)。

4. 從相關(guān)行業(yè)獲取靈感：安全分析和情報、刑偵機構(gòu)的情報分析有極高的相似性，網(wǎng)絡(luò)安全領(lǐng)域的安全分析是可以借鑒他們所使用的工具和理念。例如幾年前被廣泛使用在警務(wù)、情報、安全組織的可視化分析調(diào)查軟件i2，即使現(xiàn)在軟件架構(gòu)上已經(jīng)過時了，但分析的場景及業(yè)務(wù)邏輯等都有很好的借鑒。同時如果能夠?qū)η閳蠓治鲋械慕Y(jié)構(gòu)化分析方法有一定了解，相信對思路拓展就有更高的價值。

這是一個相對全面的內(nèi)容了，對應(yīng)很多人來講難以快速掌握，那么最小程度上，應(yīng)該對第2、3兩點有充分的了解。

三、兩個成功要素

學習和實踐的過程總是相互交織在一起，談完了需要學習的領(lǐng)域知識，緊接著就應(yīng)該是實踐問題。總結(jié)個人參與的項目，發(fā)現(xiàn)有兩個關(guān)鍵點，如果能夠牢牢把握住，相對就可以事倍功半。而這兩點分別是以業(yè)務(wù)為中心和提供良好的交互操作。

一：以業(yè)務(wù)為中心

這里的業(yè)務(wù)無疑指的是我們在安全分析過程中，希望用可視化解決怎樣的問題，以及需要怎樣的可視化方式。可視化不只是采用漂亮的圖形講數(shù)據(jù)展示出來，它更需要解決實際問題。要做到這點可以采用以下過程方法：

1. 首先明確業(yè)務(wù)角度需要了解什么

業(yè)務(wù)需求方面的內(nèi)容，在之前的文章《大數(shù)據(jù)安全分析—分析篇》中已經(jīng)有了討論，可以參考那篇文章，這里不再重復(fù)。

2. 其次要研究確定相關(guān)的數(shù)據(jù)及數(shù)據(jù)間的關(guān)系

這是可視化設(shè)計中的難點，近乎于靈感、經(jīng)驗和跨領(lǐng)域知識（可視化、安全知識、結(jié)構(gòu)分析等）的綜合能力，在掌握了基本技能后，主要的差異就是從這里表現(xiàn)出來的。這里舉一個Splunk中的簡單圖表設(shè)計為例，給予說明。先看下圖：

這張表是設(shè)計用來快速識別誤報及需要優(yōu)先處理的報警的，采用的是典型的TOPN 方式。不難發(fā)現(xiàn)這個TOP攻擊的表要比我們常見的多了攻擊源和目的的計數(shù)，因為產(chǎn)生報警數(shù)量特別巨大的簽名可能是誤報，也可能是需要優(yōu)先處理的，單純從報警數(shù)量上難以做判斷，這里加入源和目的的計數(shù)，就可以進行初步的判斷：

數(shù)量較少的主機產(chǎn)生了大量報警，這些主機更有必要進行調(diào)查；

正常流量相關(guān)活動通常分布在許多主機間，也就是說生成事件的源主機數(shù)如果很高，有很大可能，這種事件屬于正常網(wǎng)絡(luò)使用；

這樣的設(shè)計，不是對分析人員的工作痛點有足夠了解，在安全知識上有足夠積累，并進行了深入思考和開拓創(chuàng)新，難以做到。

3. 最后根據(jù)數(shù)據(jù)的關(guān)系確定使用的可視化方式

這個方面的知識比較成熟，各種資料和研究各種可視化方法的用途有充分的研究，就如下面從IBM的《Choosing a successful structure for your visualization》一文截取的圖表：

需要說明的是這個表格的圖表類型并不完整，并且可視化方法中除了圖類型的選擇外，還需要考慮顏色、線型、大小、形狀等，在需要的時候還可以綜合在一個設(shè)計中使用多個類型的圖表。感興趣的人可以去深入學習，我前面推薦的《Now You See It》就有更詳細的論述。

以業(yè)務(wù)為中心，并不能保障設(shè)計出杰出的可視化產(chǎn)品，但可以保證走在正確的道路上，避免走彎路，如：單純的考慮數(shù)據(jù)呈現(xiàn)而忽略其價值和內(nèi)在關(guān)系，一味追求設(shè)計包含的更大的數(shù)據(jù)量、只愿意使用獨特、復(fù)雜的圖形方式等等，這些都可能造成產(chǎn)品價值、可用性方面的問題。

二：交互操作

在可視化相關(guān)的文章中，樹圖的發(fā)明者，本-施奈德曼教授在其論文《眼見為實》（The Eyes Have It）中這句話最經(jīng)常被引用“先總覽，再縮放并篩選，然后按需尋找細節(jié)”，這句話在說明可視化中典型交互模式的同時也表明了分析需要良好的交互操作的。 Raffael Marty （國際權(quán)威的安全數(shù)據(jù)分析和應(yīng)用安全可視化專家之一，安天組織的ISF2014中做過首發(fā)演講）對這個模型做了形象化的展示：

我們需要考慮到界面對這樣的操作模型有良好的支持，可以讓分析人員很自如的觀察、縮放、篩選并查看細節(jié)，而不因為界面操作的問題打亂其分析思路。

同時也需要考慮使用中的涉及到的相關(guān)任務(wù)，如：

·確定是誤報后，是否可以提供快速處理機制

·狩獵中發(fā)現(xiàn)的線索，如何快速升級到事件

·調(diào)查期間的線索如何匯集和管理

·… …

總的來說，只有提供了高度可交互操作的安全分析平臺，才是一個具備高度可用性的產(chǎn)品，才可以數(shù)十倍的提高分析人員的效率。

小結(jié)

可視化在安全分析產(chǎn)品中的重要性毋庸置疑，個人甚至認為是高于數(shù)據(jù)挖掘的，是一個非常重要但沒有被很好重視的領(lǐng)域。由于個人工作經(jīng)歷和所學限制，這篇文章內(nèi)容更偏產(chǎn)品管理和設(shè)計方面，但也希望不止這兩方面的人看到它，也許是開發(fā)工程師，也許是管理者，更有可能是安全響應(yīng)分析人員，希望能了解從你們角度如何看這個問題，等待大家的意見。

參考資料

· 邱南特：《數(shù)據(jù)之美：一本書學會可視化設(shè)計》

· IBM：《Choosing a successful structure for your visualization》

· http://www.splunk.com

· http://pixlcloud.com

　　*本文作者：ZenMind，來自：FreeBuf黑客與極客