splunk

Splunk是一個託管的日誌文件管理工具，它的主要功能包括：

· 日誌聚合功能

· 搜索功能

· 提取意義

· 對結果進行分組，聯合，拆分和格式化

· 可視化功能

· 電子郵件提醒功能

首先注意的是，日誌文件分散在在主機和隨機的源中。這表示你可以從一台機器或一組機器中快速搜索出所有的日誌。

搜索功能設定的非常簡單，只需輸入你想要搜索的字符串，或者可以使用以下語句來進行高級搜索：

· sourcetype="hsl-prod-fe" "Chase Seibert"

· sourcetype="hsl-prod-fe" e186f85c914261eec9e54d3767fdd3cc BEGIN

· sourcetype="hsl-prod-crawl" |regex _raw="fanmgmt\.(analytics|metrics)"

· sourcetype="hsl-prod-crawl" facebook OR twitter NOT linkedin

· sourcetype="hsl-prod-crawl" facebook OR linkedin OR twitter earliest=-24h

你可以使用內置的GUI來定義一個正則表達式，從每一行中抽取變量，可以對其進行過濾，分組和聚合操作。

如果變更日誌格式，你可以通過將鍵值對變成key=value格式，不用定義正則表達式。以下為示例：

def key_value(prefix, log_level='info', **kwargs):

log_message = '%s: %s' % (

prefix, ' '.join(['%s="%s"' % (k, v) for k, v in kwargs.items()]))

getattr(logging, log_level)(log_message.strip())

同Unix類似，你可以將多個命令組合起來生成更復雜的查詢。比如sourcetype="hsl-prod-crawl" succeeded |stats count perc95(task_seconds) by python_module |sort count desc |head 10.

其他命令包括：

· | uniq

· | script python myscript myarg1 myarg2

· | bucket _time span=5m

· | eval name=coalesce(firstName, lastName)

· | rare, | anomalous

· | spath output=commit_author path=commits.author.name # extract xml/json values

其他可以調用的函數包括：

· avg()

· | eval description=case(error == 404, "Not found", error == 200, "OK")

· floor(), ceiling()

· len()

· isbool(), isint(), etc

· upper(), lower()

· trim(), ltrim(), rtrim()

· md5()

· now()

· random()

· replace()

· split()

· substr()

通過GUI builder點擊就可以創建可視化圖表，還可以通過命令行和函數來創建。包括餅圖，柱狀圖，行列圖以及計量圖等其他複雜的圖表。

可以對Splunk進行設定，根據不同的事件來觸發郵件提醒。更多關於Splunk的使用方法，可以參考官方文檔以及論壇。 ^[1] 

1、多平台支持

Splunk是一個可以在所有主流操作系統上運行的獨立軟件包 - 只需選擇您的平台，然後下載並安裝即可。您需要處理和運行的是用户使用的 Web 界面，以及用於索引計算機數據的引擎。

Splunk支持的平台有Windows XP, Vista, 7, and 8 (32-bit/64-bit)/Windows Server 2003, 2003 R2, 2008, and 2008 R2 (32-bit/64-bit)、2.6+ kernel Linux distributions(32-bit/64-bit)、Solaris（8,9,10,11）、OSX（10.5，10.6，10.7）、FreeBSD 7,8（32-bit/64-bit）、AIX （5.3，6.1，7.1） 、HP-UX（11i v2，11i v3）.

2、從任意源索引任意數據

Splunk 可以從任何源實時索引任何類型的計算機數據。可以在 Splunk 中指向您的服務器或網絡設備的系統日誌、設置 WMI 輪詢、監視實時日誌文件，並能夠監視您的文件系統或 Windows 註冊表中的更改，或安排腳本獲取系統指標。Splunk 可以索引您的所有機器數據，而無需購買、編寫或維護任何特定的分析器或適配器。原始數據和豐富索引均存儲在高效、已壓縮的、基於文件系統的數據存儲中，並提供可選數據簽名和數據的完整性審核。

3、從遠程系統轉發數據

在無法通過網絡提供所需數據，或安裝了 Splunk 的服務器上看不見所需數據的情況下，可以部署 Splunk Forwarder。Splunk forwarder 為成千上萬的端點提供安全、分佈式實時全局數據收集。它們可以監視本地應用程序日誌文件、捕獲有關時間表的狀態命令輸出、獲取來自虛擬或非虛擬來源的性能指標，或監控配置、權限和屬性變化的文件系統。它們都是屬於可以快速部署的輕量級服務器，而且不會產生任何額外費用。

4、關聯複雜事件

藉助 Splunk，您可以跨許多數據來源關聯整個工作環境中的複雜事件。Splunk 支持五種關聯類型。基於時間的關聯，用於根據時間、接近性或距離來確定關係。基於交易的關聯，用於跟蹤構成單次交易的一系列相關事件，進而評估時間長度、狀態或進行其它分析。子搜索，用於獲取其中一個搜索的結果並在其它搜索中使用這些結果。查找，用於關聯 Splunk 以外的外部數據來源。連接，用於支持類似 SQL 的內部和外部連接。關聯 Splunk 中的事件有助於從機器數據中獲得更豐富的分析和洞察力，為 IT 和業務提供更好的可見性和智能。

5、專為大型數據構建

使用 Splunk ，每天可收集和索引成千上萬太字節的數據。其可擴展性體系結構基於 MapReduce，因此，隨着日常數據量和數據來源不斷增長，您只需添加更多商品服務器即可擴展效能。自動負載平衡可以優化工作負載和響應時間，並提供內置故障轉移機制。開箱即用的報告和分析功能可避免部署第三方報告工具的需要。還可以配置 Splunk 使用 SAN 或其它存儲設備，以滿足長期存儲需求。

6、在整個數據中心擴展

Splunk 分佈式體系結構可讓您在一個數據中心跨多個部署進行搜索，或在您的所有數據中心進行全局搜索。藉助基於角色的訪問，您可以控制指定用户的搜索將要跨越的範圍。區域用户可以查看區域系統的數據，而企業範圍內用户則可以查看所有數據中心的數據。Splunk 願景是讓每一位已授權員工都能夠看到他們需要的計算機數據；並將數據用於調查、報告和儀表板或分析，以便不斷提高 IT 運營並獲得有價值的業務洞察力。花幾分鐘時間安全連接您的 Splunk 安裝，能讓您設計一個可管理的企業數據結構。

7、提供角色型的安全性

從各個方面來説，Splunk 均可謂是一種強大的安全模型。各項 Splunk 交易均會得到驗證，其中包括通過 Web 用户界面和命令行接口執行的用户活動，以及通過 Splunk API 執行的系統活動。使用一整套按用户類型來限制功能的記錄控制點，您可以自己為 Splunk 用户定義角色。這些精細的訪問控制可以限制搜索、警報、報告、儀表板以及不同 Splunk 角色可以查看的視圖。Splunk 還可以集成兼容 LDAP 的外部目錄服務器和 Active Directory 服務器，以執行企業範圍內的安全策略。此外，還提供單一登錄集成，以啓動對用户憑據的傳遞身份驗證。由於進行故障排除、調查安全事件和證明合規所需的全部數據都保存在 Splunk 中，您可以嚴格限制訪問生產服務器。

Splunk 實時收集並索引所有機器數據（物理、虛擬和雲中）。它允許您訪問、使用數據，併發掘數據價值。它能夠對各項事宜進行索引，以便深入瞭解、商討和解決問題。它可以在您與您的小組共享有用的搜索時，進行智能輔助，並添加您的 IT 環境所特有的知識。它能創建臨時報告，以確認趨勢或證明合規控制；構建實時儀表板，以便監視安全事件和攻擊、應用程序 SLA 和其他關鍵性能指標；實時分析用户交易、客户行為、機器行為、安全威脅、欺詐活動等。

1、索引任何數據

2、搜索和調查

3、與搜索結果互動

4、新增知識

5、關聯複雜事件

6、監視和警報

7、報告和分析

8、自定義儀表板和視圖

9、構建和部署 Splunk 應用程序

功能比較表

Splunk Free 專供個人使用。Splunk Enterprise 添加了支持多用户和分佈式部署的功能，幷包括警報、基於角色的安全、單一登錄、預設的 PDF 交付以及對無限數據量的支持。

2019年8月，Splunk（SPLK.US）：叫板IBM（IBM.US）的大數據後起之秀 ^[2] 

1、無風險快速回報

作為一種免費下載或低成本的企業許可證，Splunk 部署簡單並可以從單一服務器部署擴展至全局大規模運營，以及提供快速的投資回報。在您的筆記本電腦或任何商品服務器上免費下載和安裝 Splunk 只需五分鐘，然後可以輸入任何機器數據並啓動 Splunking。Splunk 通常在緊急時刻首次部署。正在發生的重大服務中斷或安全事件會使人傷透腦筋，但您可以使用 Splunk 便能在幾分鐘內完成調查，而不是幾個小時或幾天。

2、受到用户喜愛

大多數用户很快就會成為 Splunk 的忠實用户，因為我們的開發人員專注於開發他們自己想要使用的軟件。所有相關人員 - 系統管理員、安全分析師、網絡工程師、開發人員、服務枱和支持人員 - 均可以即刻部署 Splunk 並能夠更好、更快和更輕鬆地完成他們很難完成的部分工作。Splunk Web 界面非常直觀且快速，並支持快速、臨時深入分析搜索結果。

3、處理您所有的機器數據

與其它需要您花費幾天或幾周時間來開發或配置特定分析器和自定義連接器的系統管理、SIEM 和日誌管理產品不同，Splunk 可以連接至任何數據來源。即時未提供連接器，您也無需依賴某個廠商來生產特定連接器。Splunk 能夠實時持續索引您的所有機器數據 - 日誌、配置數據、變化事件、診斷命令輸出、API 和消息隊列中的數據，甚至自定義應用程序中的日誌。您可以輕鬆處理對解決問題、調查安全事件、報告合法性和其它有價值的任務至關重要的企業數據。如果機器可以生成數據，則 Splunk 就可以對其進行索引、搜索，並用其生成警報和報告。

4、適應動態環境

在當今動態和可視化的數據中心，唯一不變的常量就是變化。傳統的 IT 管理和安全技術假設您知道前方的所有可能失敗和風險，且您的數據格式將不會發生變化，但這種做法已經不再有效。Splunk 能夠實時持續索引您的所有計算機數據，不會依賴脆性架構來限制靈活性，當數據格式發生變化時也不會中斷。您需要對數據進行的任何解釋，例如提取共同的字段或標記主機的子集，都可以在搜索時輕鬆完成，無需格式轉換。這就是您從全球 Splunk 用户瞭解到的重要事情之一，即 Splunk 擁有卓越的靈活性的原因。

5、適用於所有類型的用户

Splunk 可以輕鬆創建自定義儀表板和報告，使您能夠清楚地處理大量數據。將預定義的搜索、圖表和報告合併成一個強大的儀表板，或使用其它基於網絡的應用程序創建聚合應用程序，例如 Tivoli、SAP、Oracle 和安全控制枱等。Splunk 有助於網絡工程師、系統管理員、安全和合法性分析師、開發人員、支持人員、服務枱工作人員，甚至業務用户及時瞭解在 IT 基礎結構中發生的任何事件。

6、滿足整個 IT 行業的策略需求

Splunk 發明了一種用來管理機器數據和釋放其巨大價值的新方法。將 Splunk 用作引擎來搜索和分析計算機數據，不但能改變用户完成其工作的方式，而且還能提升 IT 在組織中的作用。這樣能使用户大大提高生產率，使企業增加更多正常運行時間並減少收入中斷，從而使客户更加滿意。許多客户開始使用 Splunk 來解決具體問題領域，使他們的初始使用案例快速成為內部成功案例，然後將 Splunk 部署到其它 IT 關鍵領域（如應用程序管理、安全與合規性、基礎結構與運營管理），並獲取新的商業智能。

7、從筆記本電腦擴展至數據中心

您必須以更低的成本、更快的速度，完成更多工作。Splunk 能讓您在一台商業服務器上，在幾秒內便可搜索數十億個事件。它的並行架構意味着，其搜索和索引效能將跨整個 CPU 核心和商品服務器線性攀升。Splunk 使用它自己的高效數據存儲，這樣不會受到傳統數據庫的吞吐量限制或僵化架構的限制，從而使它成為搜索企業數據，進行警報和報告的最快和最靈活的方法。