原題：大數(shù)據(jù)安全分析之三（可視化篇）

熟悉金字塔原理的人都了解一個(gè)事實(shí)，人腦的短期記憶最大能夠保持7個(gè)左右的元素，這意味著在分析工作中只能跟蹤非常有限的數(shù)據(jù)。

而可視化作為探索、展示和表達(dá)數(shù)據(jù)含義的一種方法，充分利用人的視覺(jué)系統(tǒng)特點(diǎn)（視覺(jué)是向大腦輸入信息最直接、數(shù)據(jù)帶寬最大的方式，每秒可以接收相當(dāng)于100萬(wàn)字符的信息），可以讓人在更高層面上去觀察和理解數(shù)據(jù)，可以比其它方式讓人們更好的利用大量的信息去思考更復(fù)雜的問(wèn)題?？梢暬诜治鰪?fù)雜數(shù)據(jù)時(shí)必不可少，自然在大數(shù)據(jù)安全分析中同樣發(fā)揮了至關(guān)重要的作用。

筆者不是可視化方面的專家，也因深知其重要意義，因此以一孔之見(jiàn)希望能引發(fā)真正領(lǐng)域?qū)＜业闹橛裰?，共同促進(jìn)可視化技術(shù)在安全領(lǐng)域的應(yīng)用。

一、網(wǎng)絡(luò)安全與可視化

在網(wǎng)絡(luò)安全領(lǐng)域，可視化做的不只是安全分析，市場(chǎng)營(yíng)銷中就廣泛使用了可視化技術(shù)。在數(shù)據(jù)驅(qū)動(dòng)安全的概念流行的今天，每個(gè)安全廠商都希望展現(xiàn)自己在數(shù)據(jù)方面的實(shí)力，無(wú)論數(shù)據(jù)的豐富程度或者及時(shí)性都可以通過(guò)可視化很好的展現(xiàn)出來(lái)，并且通過(guò)極具視覺(jué)沖擊力的形式，形成強(qiáng)悍的沖擊力。各個(gè)廠商自然紛紛效法，因此我們看到了TK做描述的一幕：“基本就是一張地圖，然后激光炮、氣功彈打來(lái)打去”。不能否定這是可視化的價(jià)值之一，在傳播上具備較大的優(yōu)勢(shì)，否則你說(shuō)你積累了多少數(shù)據(jù)、部署了多少采集器，這些數(shù)字往往只對(duì)極少數(shù)業(yè)內(nèi)認(rèn)識(shí)有意義，在大眾傳播上是不能和可視化帶來(lái)的直觀、豐富的體驗(yàn)相比的。

但我們同時(shí)需要看到業(yè)內(nèi)對(duì)可視化的最大期待是在安全分析上，希望通過(guò)可視化方式，讓大數(shù)據(jù)更好的被使用，為用戶產(chǎn)生價(jià)值，尤其是在急需APT或者定向攻擊檢測(cè)方案的今天?？梢暬梢詰?yīng)用的場(chǎng)景，其中包括了安全分析的各個(gè)階段：異常發(fā)現(xiàn)、誤報(bào)分析、調(diào)查取證、關(guān)聯(lián)分析等等。相對(duì)業(yè)界的期待，國(guó)際上有了一批做出一定成績(jī)的廠商，而國(guó)內(nèi)這方面還沒(méi)有看到有所突破的產(chǎn)品，就其原因，大家都還在起步階段，而可視化技術(shù)和數(shù)據(jù)挖掘一樣，屬于跨領(lǐng)域的專業(yè)，但卻沒(méi)有向數(shù)據(jù)挖掘一樣被正確認(rèn)識(shí)，我們可以看到安全領(lǐng)域的專家和數(shù)據(jù)挖掘算法、數(shù)理統(tǒng)計(jì)方面的團(tuán)隊(duì)協(xié)同工作，但可視化在很多時(shí)候往往被認(rèn)為是設(shè)計(jì)師和前端開(kāi)發(fā)的工作，這種認(rèn)識(shí)無(wú)疑是國(guó)內(nèi)安全行業(yè)的可視化發(fā)展進(jìn)展緩慢。

二、跨領(lǐng)域的知識(shí)結(jié)構(gòu)

需要怎樣的知識(shí)，能夠在安全產(chǎn)品中更好的使用可視化方法，這里根據(jù)個(gè)人之前的工作中的摸索（主要在產(chǎn)品需求及設(shè)計(jì)方面），認(rèn)為以下四方面的知識(shí)對(duì)設(shè)計(jì)工作有比較大的影響：

1. 需要掌握可視化的一些基本理論和方法：個(gè)人推薦一本Stephen Few的《Now You See It: Simple Visualization Techniques for Quantitative Analysis》雖然不是很新，但很多內(nèi)容有針對(duì)性，值得一讀；另外邱南特的《數(shù)據(jù)之美：一本書(shū)學(xué)會(huì)可視化設(shè)計(jì)》作為可視化理念入門也非常不錯(cuò)；

2. 深入了解安全分析人員的工作流程、方法：他們最經(jīng)常的工作是什么，之前如何完成，他們認(rèn)為怎樣的工具可以幫助他們更好的完成?；蛘哌€有一種選擇，讓自己成為一個(gè)安全分析師，設(shè)身處地的想一下，自己需要怎樣的工具來(lái)幫助自己更好的完成工作。

3. 對(duì)已有安全分析類產(chǎn)品的剖析：我就曾經(jīng)從對(duì)Splunk和Palantir的分析中得到很多啟發(fā)，而今年以來(lái)這方面的國(guó)際廠商更是越發(fā)多了，有機(jī)會(huì)思考一下他們的設(shè)計(jì)邏輯對(duì)提升產(chǎn)品感覺(jué)非常有幫助；需要注意的是要剖析同類的產(chǎn)品，可視化的在某些領(lǐng)域的經(jīng)驗(yàn)和安全分析領(lǐng)域是有很大不同的，如果不區(qū)分具體場(chǎng)景，而參考一些其它領(lǐng)域的可視化成功經(jīng)驗(yàn)，也許會(huì)走入誤區(qū)。

4. 從相關(guān)行業(yè)獲取靈感：安全分析和情報(bào)、刑偵機(jī)構(gòu)的情報(bào)分析有極高的相似性，網(wǎng)絡(luò)安全領(lǐng)域的安全分析是可以借鑒他們所使用的工具和理念。例如幾年前被廣泛使用在警務(wù)、情報(bào)、安全組織的可視化分析調(diào)查軟件i2，即使現(xiàn)在軟件架構(gòu)上已經(jīng)過(guò)時(shí)了，但分析的場(chǎng)景及業(yè)務(wù)邏輯等都有很好的借鑒。同時(shí)如果能夠?qū)η閳?bào)分析中的結(jié)構(gòu)化分析方法有一定了解，相信對(duì)思路拓展就有更高的價(jià)值。

這是一個(gè)相對(duì)全面的內(nèi)容了，對(duì)應(yīng)很多人來(lái)講難以快速掌握，那么最小程度上，應(yīng)該對(duì)第2、3兩點(diǎn)有充分的了解。

三、兩個(gè)成功要素

學(xué)習(xí)和實(shí)踐的過(guò)程總是相互交織在一起，談完了需要學(xué)習(xí)的領(lǐng)域知識(shí)，緊接著就應(yīng)該是實(shí)踐問(wèn)題?？偨Y(jié)個(gè)人參與的項(xiàng)目，發(fā)現(xiàn)有兩個(gè)關(guān)鍵點(diǎn)，如果能夠牢牢把握住，相對(duì)就可以事倍功半。而這兩點(diǎn)分別是以業(yè)務(wù)為中心和提供良好的交互操作。

一：以業(yè)務(wù)為中心

這里的業(yè)務(wù)無(wú)疑指的是我們?cè)诎踩治鲞^(guò)程中，希望用可視化解決怎樣的問(wèn)題，以及需要怎樣的可視化方式?？梢暬恢皇遣捎闷恋膱D形講數(shù)據(jù)展示出來(lái)，它更需要解決實(shí)際問(wèn)題。要做到這點(diǎn)可以采用以下過(guò)程方法：

1. 首先明確業(yè)務(wù)角度需要了解什么

業(yè)務(wù)需求方面的內(nèi)容，在之前的文章《大數(shù)據(jù)安全分析—分析篇》中已經(jīng)有了討論，可以參考那篇文章，這里不再重復(fù)。

2. 其次要研究確定相關(guān)的數(shù)據(jù)及數(shù)據(jù)間的關(guān)系

這是可視化設(shè)計(jì)中的難點(diǎn)，近乎于靈感、經(jīng)驗(yàn)和跨領(lǐng)域知識(shí)（可視化、安全知識(shí)、結(jié)構(gòu)分析等）的綜合能力，在掌握了基本技能后，主要的差異就是從這里表現(xiàn)出來(lái)的。這里舉一個(gè)Splunk中的簡(jiǎn)單圖表設(shè)計(jì)為例，給予說(shuō)明。先看下圖：

這張表是設(shè)計(jì)用來(lái)快速識(shí)別誤報(bào)及需要優(yōu)先處理的報(bào)警的，采用的是典型的TOPN 方式。不難發(fā)現(xiàn)這個(gè)TOP攻擊的表要比我們常見(jiàn)的多了攻擊源和目的的計(jì)數(shù)，因?yàn)楫a(chǎn)生報(bào)警數(shù)量特別巨大的簽名可能是誤報(bào)，也可能是需要優(yōu)先處理的，單純從報(bào)警數(shù)量上難以做判斷，這里加入源和目的的計(jì)數(shù)，就可以進(jìn)行初步的判斷：

數(shù)量較少的主機(jī)產(chǎn)生了大量報(bào)警，這些主機(jī)更有必要進(jìn)行調(diào)查；

正常流量相關(guān)活動(dòng)通常分布在許多主機(jī)間，也就是說(shuō)生成事件的源主機(jī)數(shù)如果很高，有很大可能，這種事件屬于正常網(wǎng)絡(luò)使用；

這樣的設(shè)計(jì)，不是對(duì)分析人員的工作痛點(diǎn)有足夠了解，在安全知識(shí)上有足夠積累，并進(jìn)行了深入思考和開(kāi)拓創(chuàng)新，難以做到。

3. 最后根據(jù)數(shù)據(jù)的關(guān)系確定使用的可視化方式

這個(gè)方面的知識(shí)比較成熟，各種資料和研究各種可視化方法的用途有充分的研究，就如下面從IBM的《Choosing a successful structure for your visualization》一文截取的圖表：

需要說(shuō)明的是這個(gè)表格的圖表類型并不完整，并且可視化方法中除了圖類型的選擇外，還需要考慮顏色、線型、大小、形狀等，在需要的時(shí)候還可以綜合在一個(gè)設(shè)計(jì)中使用多個(gè)類型的圖表。感興趣的人可以去深入學(xué)習(xí)，我前面推薦的《Now You See It》就有更詳細(xì)的論述。

以業(yè)務(wù)為中心，并不能保障設(shè)計(jì)出杰出的可視化產(chǎn)品，但可以保證走在正確的道路上，避免走彎路，如：?jiǎn)渭兊目紤]數(shù)據(jù)呈現(xiàn)而忽略其價(jià)值和內(nèi)在關(guān)系，一味追求設(shè)計(jì)包含的更大的數(shù)據(jù)量、只愿意使用獨(dú)特、復(fù)雜的圖形方式等等，這些都可能造成產(chǎn)品價(jià)值、可用性方面的問(wèn)題。

二：交互操作

在可視化相關(guān)的文章中，樹(shù)圖的發(fā)明者，本-施奈德曼教授在其論文《眼見(jiàn)為實(shí)》（The Eyes Have It）中這句話最經(jīng)常被引用“先總覽，再縮放并篩選，然后按需尋找細(xì)節(jié)”，這句話在說(shuō)明可視化中典型交互模式的同時(shí)也表明了分析需要良好的交互操作的。 Raffael Marty （國(guó)際權(quán)威的安全數(shù)據(jù)分析和應(yīng)用安全可視化專家之一，安天組織的ISF2014中做過(guò)首發(fā)演講）對(duì)這個(gè)模型做了形象化的展示：

我們需要考慮到界面對(duì)這樣的操作模型有良好的支持，可以讓分析人員很自如的觀察、縮放、篩選并查看細(xì)節(jié)，而不因?yàn)榻缑娌僮鞯膯?wèn)題打亂其分析思路。

同時(shí)也需要考慮使用中的涉及到的相關(guān)任務(wù)，如：

·確定是誤報(bào)后，是否可以提供快速處理機(jī)制

·狩獵中發(fā)現(xiàn)的線索，如何快速升級(jí)到事件

·調(diào)查期間的線索如何匯集和管理

·… …

總的來(lái)說(shuō)，只有提供了高度可交互操作的安全分析平臺(tái)，才是一個(gè)具備高度可用性的產(chǎn)品，才可以數(shù)十倍的提高分析人員的效率。

小結(jié)

可視化在安全分析產(chǎn)品中的重要性毋庸置疑，個(gè)人甚至認(rèn)為是高于數(shù)據(jù)挖掘的，是一個(gè)非常重要但沒(méi)有被很好重視的領(lǐng)域。由于個(gè)人工作經(jīng)歷和所學(xué)限制，這篇文章內(nèi)容更偏產(chǎn)品管理和設(shè)計(jì)方面，但也希望不止這兩方面的人看到它，也許是開(kāi)發(fā)工程師，也許是管理者，更有可能是安全響應(yīng)分析人員，希望能了解從你們角度如何看這個(gè)問(wèn)題，等待大家的意見(jiàn)。

參考資料

· 邱南特：《數(shù)據(jù)之美：一本書(shū)學(xué)會(huì)可視化設(shè)計(jì)》

· IBM：《Choosing a successful structure for your visualization》

· http://www.splunk.com

· http://pixlcloud.com

　　*本文作者：ZenMind，來(lái)自：FreeBuf黑客與極客