原題：用大數據解決網絡安全分析
一、引言
單純的防御措施無法阻止蓄意的攻擊者，這已經是大家都認同的事實，應對挑戰業界有了諸多方面的探索和實踐，而其中最有趣的就非安全分析莫屬了，圍繞著安全分析展開，我們可以看到大數據、安全智能、情景感知、威脅情報、數據挖掘、可視化等等，因為這些都是安全分析師手中的武器。
二、安全戰略思路的變化
壞的消息是，入侵總會發生，再強的防御也難以做到御敵于國門之外，攻擊者總會進入到你的網絡中；那么好消息就是入侵和破環是兩回事，雖然也存在入侵開始到實際損害發生之間時間窗口很短的情況，但是我們也還是看到，大多數入侵如果想達到目的，需要較長的時間，特別定向攻擊和APT攻擊。那么如果安全團隊可以在攻擊者完成使命之前阻止其活動，就可以做到這點：我們有可能遭受入侵，但可能不會遭遇破環。
據此有效的戰略是盡可能多的進行實時防御，來防止入侵的可能，同時配合積極的檢測(Hunting)與事件響應來避免出現破環，或者最大限度的減少破壞的影響。
由此我們知道，傳統的安全產品沒有過時，我們還是需要4A，需要防火墻、IDPs以及AV這些不同的產品，形成一定的防御縱深，阻止隨機性的攻擊(通常追求機會，被選中往往是因為展現了易被利用的漏洞)，并且延緩攻擊節奏，擴大檢測和響應的時間窗口。這是一切的基礎，如果沒有這一步，后續的檢測和響應也就缺少了根基，在現實中無法實施。
從這點上說，個人也不贊成將某些針對特定組織的攻擊都歸屬于APT范圍，如果它是一些傳統的安全措施就可以防范的。這可能誤導某些組織，在缺乏基本防護措施(產品、組織、制度等)的情況下，盲目的追新求異，達不到切實的安全效果。
三、以威脅為中心的安全理念
實時防御是以漏洞為中心的，基于漏洞的簽名檢測機制有著較高的準確性，可以用以進行自動化的阻截。但當基于已知威脅的簽名機制不能檢測針對其的高級別威脅時，我們就需要轉化思路，因此積極的檢測和響應則是以威脅為中心，它不再強調單點的檢測，也不再單純的追求告警的精確性，它促使你從面上去著手，將若干的點關聯起來，以數據為驅動來解決問題。在整個過程中(數據收集、檢測、分析)都需要以威脅為中心，如果丟掉這個中心點，單純的追求數據的大而全，則必然達不到效果。以威脅為中心，用數據來驅動安全，是檢測APT類型威脅的有效手段。
需要強調的是，以威脅為中心聚焦在數據收集，但并不強調數據的大，而是價值的高，認為它是一個動態的、周期性的過程，隨著威脅的變化，以及分析能力的改變，數據收集的范圍將會產生變化的。
四、數據收集
古語言“磨刀不誤砍柴工”，這句諺語非常適合來描述數據收集的重要性。但如果我們單純的強調全量的數據，會是什么樣子？通過簡單的數據計算，我們可以知道監控1G的數據流量，如果采用PCAP文件格式存儲完整的內容數據，那么一天就需要大約10T的磁盤空間。如果我們要保留90天的數據，再考慮備份、數據索引等需要的空間，哪會是多少？如果你需要監控的網絡流量不止1G，如果還需要考慮主機及業務應用的日志？龐大數據的存儲和維護固然是問題，還需要考慮到當盲目收集數據之后，也許這些數據的命運是永遠躺在磁盤中，仿佛從不存在，更甚者還會給后續分析過程帶來混亂、不確定性和低效率。
因此明智的問題是“我從哪里獲得所需要的數據？”，而不是“我需要對該數據提出什么樣的問題？”Gartner在《Security Information and Event Management Futures and Big Data Analytics for Security》一文中也特別的強調“分析的意識和探索數據的欲望”，認為這才是大數據安全中最關鍵的成功標準，首先學會問問題，而不是盲目收集數據或者是急于建立一套Hadoop大數據平臺。
五、數據種類
以威脅為中心進行數據收據，自然包括威脅情報的收集，在之前的《小議威脅情報》中已有涉及，后續有時間也會就如何建立組織的威脅情報平臺整理自己的觀點和大家共同討論，這里不再多言，而專注于組織內部的數據收集。企業內部數據一般需要考慮一下幾個種類：
1. 環境業務類數據：包括資產及屬性(業務、服務、漏洞、使用者…)、員工與賬號、組織結構等，這類數據也會被稱環境感知數據、友好類情報等。此類數據往往難以從機器中直接獲取，但對安全分析會有巨大的幫助，往往要依賴安全體系建設而逐步完善;
2. 網絡數據：包括FPC(Full Packet Capture，一般是PCAP格式)、會話或Flow數據，PSTR(Packet String，這種數據格式包括指定的協議頭部內容，如HTTP頭數據)。PSTR數據大約是FPC的4%左右，而Flow數據則是0.01%。PSTR 是大小更容易管理，并且允許增強可見性的一種數據類型。
3. 設備、主機及應用的日志：它可以包括諸如Web代理日志、路由器防火墻日志、VPN日志、windows安全及系統日志等，不同來源的數據類型在大小和實用價值上都不同。
4. 報警數據：檢測工具基于其配置發現異常，進而生成的通知就是報警，通常的報警數據來自IDS(主機或網絡)、防火墻、AV等安全設備。依據環境和配置，日志的數據量可以有很大的變化，但通常小于PSTR。
六、ACF方法
那么如何確定需要采集用以進行安全分析的數據呢，這里介紹一個ACF(Applied Collection Framework)方法[1]，它可以幫助評估哪些數據應該是收集工作的重點。ACF不是一個純技術的手段，需要安全團隊從其他業務部門收集早期的信息，并配合完成整個工作。它由四個階段組成：定義威脅、量化風險、確定數據源、篩選聚焦。
1. 定義威脅：這里不是泛泛而談，如競爭對手、腳本小子等，需要確定針對具體組織的具體威脅。它應該是“發生什么樣糟糕的事情，會影響到組織的生存”這樣的問題，并且答案應該來自領導層或者是被其認可。一旦關鍵業務安全需求確定了，就需要深入挖掘可能的威脅，通過研究網絡基礎設施及相關的業務流程，明確相關研究、生產、存儲、加工、訪問等相關環節，進而明確可能的入侵及破壞方法。
2. 量化風險：一旦潛在的威脅名單確定，就需要考慮優先級，一般實現的方式是通過計算威脅影響和概率的乘積，得到每個潛在威脅的風險。雖然這種方法可以提供和威脅相關的量化指標，但畢竟是主觀的。為保障評估確實符合實際，往往需要一組人來參與量化風險的過程，有些機構還會在這個過程中引入第三方的網絡滲透測試人員，共同參與完成這個過程。
3. 確定數據源：在這個階段確定可以提供檢測和分析價值的主要數據元，從具有最高風險權重的技術威脅開始，考慮可以從哪里看到威脅相應的線索、證據。比如考慮關鍵文件服務器的數據泄露威脅，應該確定服務器的架構、網絡位置、具有訪問權的用戶，以及可以獲得數據的其它途徑。根據這些信息，得到相應的數據源清單。
4. 篩選聚焦：在最后的階段你需要選擇最需要的數據源，這是技術上最深入的步驟，需要評估每個數據源以評估其價值。往往有一些數據源需要很高的存儲空間，它提供的價值和處理管理的開銷相比，可能不值得收藏。組織必須考慮成本/效益關系，從成本的角度看，這種分析應該考慮到硬件和軟件的資源，例如維護產生的人員組織成本，數據存儲資源等。可以評估有問題的數據源在分析過程中可能出現的幾率。考慮需要到類似這樣的程度：哪些類型(源目的地址、端口協議)的PACP 包需要捕獲，那種windows日志(如登錄成功、登錄失敗、賬號創建、文件權限變更等)是最重要的需要保留。
通過這樣的方法，你可以通過直接和業務目標掛鉤，以及對業務連續性的威脅來證明需求的合理性，這樣也可以較大限度保證之后在基礎設施建設上的投入。
正如之上曾經提到的，威脅為中心的方法強調周期性的過程，需要明白，永遠不會完成數據收集的工作，當你做了更多的檢測和分析的工作，當網絡逐步擴展，需要重新評估你的收集計劃。
七、基于威脅情報和攻擊鏈的方法
ACF 雖然是一個經過實踐驗證的方法，但是也有自身的不足，特別是缺乏實踐經驗情況下，往往集中在入侵的后期階段相關數據收集，存在檢測縱深不足，缺少冗余的響應時間等風險。這時可以參照一種基于威脅情報和攻擊鏈的方法，用來驗證、完善數據收集計劃，此方法來源于David J. Bianco的關于情報驅動的企業安全監控的講演(PPT、視頻)。
這種方法大體步驟如下，對更詳細內容感興趣的可以去參考他的PPT及視頻：
1.以攻擊鏈為橫軸，檢測指標(參考之前的《小議威脅情報》)為縱軸，完成對應的表格，體現在攻擊的各個階段可以利用的相關數據;
2.基于不同檢測指標對黑客攻擊的影響程度，給出評估;
3.基于有效檢測APT類型攻擊而不被大量報警淹沒，給出評估(參見下圖);
4.基于現實中可達的工具能夠實現，給出評估;
5.綜合以上3項評估的數據，確定數據收集計劃。
這種方法也是一種周期性的活動，需要根據新的威脅情報和分析工作的進展而不斷修訂，個人更傾向于認為它是對ACF方法中步驟3、4的具體化操作指南，ACF中的步驟3對應著這里的步驟1，而ACF的步驟4對應了這里的步驟2-5。
八、小結
大數據安全分析的第一部分內容就寫到這里了。我們反思了當前威脅形式下安全理念的變化，我們需要以實時防御為基礎的積極檢測(Hunting)和響應來避免出現或者緩解可能的破壞活動，它以威脅為中心，側重于數據的收集。在考慮數據收集計劃時，我們可以參考ACF方法，以及基于威脅情報和攻擊鏈的方法，確定最佳的成本/效益。完成了初步的數據收集之后，就是安全分析師體現風采的時間了，我們將在下一篇文章來討論安全分析的具體工作以及相關分析平臺產品的話題。
參考資料
[1]《Applied Network Security Monitoring ：Collection, Detection, and Analysis》
作者：Chris Sanders、Jason Smith、David J. Bianco、Liam Randall
來源：FreeBuf黑客與極客
400-603-8000
