elasticsearch

Elasticsearch 是一個分佈式、高擴展、高實時的搜索與數據分析引擎。它能很方便的使大量數據具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸縮性，能使數據在生產環境變得更有價值。Elasticsearch 的實現原理主要分為以下幾個步驟，首先用户將數據提交到Elasticsearch 數據庫中，再通過分詞控制器去將對應的語句分詞，將其權重和分詞結果一併存入數據，當用户搜索數據時候，再根據權重將結果排名，打分，再將返回結果呈現給用户。

Elasticsearch是與名為Logstash的數據收集和日誌解析引擎以及名為Kibana的分析和可視化平台一起開發的。這三個產品被設計成一個集成解決方案，稱為“Elastic Stack”（以前稱為“ELK stack”）。

Elasticsearch可以用於搜索各種文檔。它提供可擴展的搜索，具有接近實時的搜索，並支持多租户。Elasticsearch是分佈式的，這意味着索引可以被分成分片，每個分片可以有0個或多個副本。每個節點託管一個或多個分片，並充當協調器將操作委託給正確的分片。再平衡和路由是自動完成的。相關數據通常存儲在同一個索引中，該索引由一個或多個主分片和零個或多個複製分片組成。一旦創建了索引，就不能更改主分片的數量。

Elasticsearch使用Lucene，並試圖通過JSON和Java API提供其所有特性。它支持facetting和percolating，如果新文檔與註冊查詢匹配，這對於通知非常有用。另一個特性稱為“網關”，處理索引的長期持久性；例如，在服務器崩潰的情況下，可以從網關恢復索引。Elasticsearch支持實時GET請求，適合作為NoSQL數據存儲，但缺少分佈式事務。 ^[1] 

Shay Banon在2004年創造了Elasticsearch的前身，稱為Compass。在考慮Compass的第三個版本時，他意識到有必要重寫Compass的大部分內容，以“創建一個可擴展的搜索解決方案”。因此，他創建了“一個從頭構建的分佈式解決方案”，並使用了一個公共接口，即HTTP上的JSON，它也適用於Java以外的編程語言。Shay Banon在2010年2月發佈了Elasticsearch的第一個版本。

Elasticsearch BV成立於2012年，主要圍繞Elasticsearch及相關軟件提供商業服務和產品。2014年6月，在成立公司18個月後，該公司宣佈通過C輪融資籌集7000萬美元。這輪融資由新企業協會(NEA)牽頭。其他投資者包括Benchmark Capital和Index Ventures。這一輪融資總計1.04億美元

2015年3月，Elasticsearch公司更名為Elastic。

在2018年6月，Elastic提交了首次公開募股申請，估值在15億到30億美元之間。公司於2018年10月5日在紐約證券交易所掛牌上市。一些組織將Elasticsearch作為託管服務提供。這些託管服務提供託管、部署、備份和其他支持。大多數託管服務還包括對Kibana的支持。

Elasticsearch 自從誕生以來，其應用越來越廣泛，特別是大數據領域，功能也越來越強大，但是如何有效的監控管理 Elasticsearch 一直是公司所面對的難題，由於 Elasticsearch 集羣的穩定性，決定了其業務發展的高度，對於一個應用來説其穩定是第一目標，所以完善的監控體系是必不可少的。此外，Elasticsearch 寫入和查詢對資源的消耗都很大，如何合理有效地控制資源，既能滿足寫入和查詢的需求，又能滿足資源充分利用，這是公司必須面對的問題。

在國內，還沒較為完善的面向 Elasticsearch 的監控管理平台，很多企業往往只關注搭建一套簡單分佈式的集羣環境，而對這個集羣的缺乏監控和管理，元數據混亂，寫入和查詢耦合，缺乏監控一旦集羣出現問題，就會導致數據丟失，甚至很容易導致線上應用故障。相比於小公司，中大型公司的資金較為充足，所以中大型公司，會選擇為每個應用去維護一套集羣，但是這每當資源不夠需要擴容或者縮容時，極其不方便，需要增加刪除節點，其運維成本過高。而且對每個應用來説，可能不能夠充分利用資源，但是如果和其他應用混合部署，但是又涉及到複雜的資源分配問題，而且隨着應用的發展，資源經常需要變動。在國外，ELasticsearch 的應用也很廣泛，也有對 Elasticsearch 進行很好的監控和管理，Amazon AWS中也有基於 Elasticsearch 構建的平台服務，幫助電商應用程序，網站等提供安全、高可靠、低成本、低延時、高吞吐量的個性化搜索。雖然，對集羣進行了監控和管理，但是管理的維度還是集羣級別的，而對於應用往往是模板級別的，如果應用無法與集羣一一對應，那就無法進行更高效的管理。這無法滿足公司級別想要高效利用資源，集羣內部能支持多個應用的場景 ^[2]  。

cluster：代表一個集羣，集羣中有多個節點，其中有一個為主節點，這個主節點是可以通過選舉產生的，主從節點是對於集羣內部來説的。es的一個概念就是去中心化，字面上理解就是無中心節點，這是對於集羣外部來説的，因為從外部來看es集羣，在邏輯上是個整體，你與任何一個節點的通信和與整個es集羣通信是等價的。

shards：代表索引分片，es可以把一個完整的索引分成多個分片，這樣的好處是可以把一個大的索引拆分成多個，分佈到不同的節點上。構成分佈式搜索。分片的數量只能在索引創建前指定，並且索引創建後不能更改。

replicas：代表索引副本，es可以設置多個索引的副本，副本的作用一是提高系統的容錯性，當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率，es會自動對搜索請求進行負載均衡。

recovery：代表數據恢復或叫數據重新分佈，es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配，掛掉的節點重新啓動時也會進行數據恢復。

river：代表es的一個數據源，也是其它存儲方式（如：數據庫）同步數據到es的一個方法。它是以插件方式存在的一個es服務，通過讀取river中的數據並把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。

gateway：代表es索引快照的存儲方式，es默認是先把索引存放到內存中，當內存滿了時再持久化到本地硬盤。gateway對索引快照進行存儲，當這個es集羣關閉再重新啓動時就會從gateway中讀取索引備份數據。es支持多種類型的gateway，有本地文件系統（默認），分佈式文件系統，Hadoop的HDFS和amazon的s3雲存儲服務。

discovery.zen：代表es的自動發現節點機制，es是一個基於p2p的系統，它先通過廣播尋找存在的節點，再通過多播協議來進行節點之間的通信，同時也支持點對點的交互。

Transport：代表es內部節點或集羣與客户端的交互方式，默認內部是使用tcp協議進行交互，同時它支持http協議（json格式）、thrift、servlet、memcached、zeroMQ等的傳輸協議（通過插件方式集成）。

以windows操作系統和ES0.19.7版本為例：

①下載elasticsearch-6.4.1.zip

②直接解壓至某目錄，設置該目錄為ES_HOME環境變量

③安裝JDK，並設置JAVA_HOME環境變量

④在windows下，運行 %ES_HOME%\bin\elasticsearch.bat即可運行

以head插件為例：

聯網時，直接運行%ES_HOME%\bin\plugin --install mobz/elasticsearch-head。

不聯網時，下載elasticsearch-head的zipball的master包，然後運行%ES_HOME%\bin\plugin --url file:///[path-to-downloadfile] --install head，其中[path-to-downloadfile]是下載後master包的絕對路徑。

安裝完成，重啓服務，在瀏覽器打開 http://localhost:9200/_plugin/head/ 即可。