-
Greenplum
鎖定
Greenplum公司簡介
Greenplum是一家總部位於美國加利福尼亞州,為全球大型企業用户提供新型企業級數據倉庫(EDW)、企業級數據雲(EDC)和商務智能(BI)提供解決方案和諮詢服務的公司,在全球已有:納斯達克,紐約證券交易所,Skype. FOX,T-Mobile;中國已有:中信實業銀行,東方航空公司,阿里巴巴,華泰保險,中國遠洋(Cosco),李寧公司等大型企業用户選擇Greenplum的產品。
MPP 系統
Greenplum的架構採用了MPP(大規模並行處理)。在 MPP 系統中,每個 SMP節點也可以運行自己的操作系統、數據庫等。換言之,每個節點內的 CPU 不能訪問另一個節點的內存。節點之間的信息交互是通過節點互聯網絡實現的,這個過程一般稱為數據重分配(Data Redistribution) 。與傳統的SMP架構明顯不同,通常情況下,MPP系統因為要在不同處理單元之間傳送信息,所以它的效率要比SMP要差一點,但是這也不是絕對的,因為 MPP系統不共享資源,因此對它而言,資源比SMP要多,當需要處理的事務達到一定規模時,MPP的效率要比SMP好。這就是看通信時間佔用計算時間的比例而定,如果通信時間比較多,那MPP系統就不佔優勢了,相反,如果通信時間比較少,那MPP系統可以充分發揮資源的優勢,達到高效率。
名字來源
Greenplum的大中華區總裁Stanley Chen告訴我們:“Greenplum這個名字是一個7歲小女孩無意中脱口而出的。”起初幾個創始人在斟酌公司名字的時候都很沒頭緒,於是他們去問了朋友的孩子,一個年僅7歲的可愛小姑娘告訴他們叫“Apple”,但是爸爸告訴她,這個名字已經被別人用了,還有其他的麼?很快孩子便隨口説了“Greenplum”,於是“Greenplum”公司的名字就這樣誕生了。
Greenplum中國運營
Greenplum於2008年12月進入中國市場,經過一年多的開拓,2010年1月1日Greenplum正式宣佈在中國獨立運營,並任命Stanley Chen先生為Greenplum大中華區總裁職務,Stanley Chen先生在IT行業從業25年以上,曾在Oracle公司工作16年擔任亞太區副總裁。Stanley Chen總裁將管理和運營Greenplum在大中華區的業務,Greenplum公司將為大中華區的企業級用户提供世界領先的數據倉庫解決方案和服務。Greenplum在中國迅速而高效的適應能力已經彰顯了其卓越的實力,宣佈在中國的獨立運營展示了Greenplum對中國市場的信心,也體現了Greenplum描繪中國市場宏偉藍圖的決心,也預示着新一代超級數據引擎Greenplum在中國市場的無限前景。
[2]
2010年7月EMC收購Greenplum,2010年4月Greenplum藉助EMC中國卓越研發集團進入中國,組建Greenplum研發並穩步成長,覆蓋了Chorus,Greenplum和Hadoop等多個產品研發。2014年4月,伴隨着全球Pivotal公司的組建,馮雷(RayFeng,時任EMC中國卓越研發集團Greenplum部門經理)在範承工博士和Greenplum創始人ScottYara的支持下組建了Pivotal中國研發中心。Greenplum作為Pivotal的核心大數據產品,有着一支技術實力很強的團隊。Greenplum中國研發團隊佔全球研發團隊的一半以上,在研發總監姚延棟,產品經理高小明的帶領下,專注於Greenplum分佈式數據庫內核開發。此外中國研發團隊還獨立負責GPText(文本檢索)和GPCC(Greenplum數據庫監控管理)兩個產品的全部研發工作。Greenplum中國研發團隊將敏捷軟件開發方法學引入到分佈式數據庫的開發中,通過使用站立會議、回顧會議、結對編程、持續集成、測試驅動、單週迭代等敏捷方法建立了高效的快速反饋系統,大大提高了產品的質量和客户的滿意度。Greenplum中國研發團隊開放、協作、創新的文化吸引了大量來自於清華、北大、中科院、人大、北航等國內知名院校的人才,是分佈式數據庫研發領域的知名團隊
[3]
。
Greenplum中國研發團隊 全新的辦公場所(10張)
2016年,Pivotal中國研發中心總經理馮雷和Pivotal全球設施團隊一起為Greenplum中國研發團隊打造了一個全新的辦公場所,新辦公室位於北京融科資訊中心B座,設施先進,科技創新氛圍濃厚,體現了Pivotal的企業文化和創新精神
[4]
。
Greenplum發展歷史
2012年,Greenplum大數據分析工具亮相EMC World
[8]
2012年,EMC、VMware和Greenplum又聯手建新公司
[9]
2016年,Pivotal Greenplum數據庫4.3.10.0引入了S3可寫表,開啓了Greenplum對亞馬遜S3的全面讀寫支持。用户可以非常方便地在亞馬遜雲平台上使用到Greenplum大數據服務,並且可以快速讀寫存儲在S3上的數據
[4]
。
2016年11月,新版GPCC3.0發佈,給用户提供了一個更好的管理Greenplum數據庫的工具。管理員可以通過GPCC查詢系統的性能指標,查看當前在系統中運行的查詢,監控資源使用情況,並且方便問題診斷和報告。GPCC3.0徹底拋棄了過時的Flash技術,使用了對瀏覽器更加友好和安全的HTML5方案。採用響應式佈局設計,增強了與圖表間的交互式操作
[4]
。
Greenplum目標宗旨
公司專注於OLAP系統數據引擎開發,有世界級的研發團隊進行高性能計算和數據庫系統的前沿開發工作,宗旨是向客户提供高性能的超級數據引擎,並將強大的並行計算能力融入到大規模數據倉庫分析領域中。公司具有發展趨勢超前的視野和洞察力,為全球很多最大規模的數據倉庫提供推動力;公司最先將SQL和Map Reduce的功能整合到統一的數據處理框架中。
Greenplum中國公司擁有一支具備豐富行業經驗的銷售和技術團隊,具備金融、電信、政府、互聯網等等行業的數據倉庫項目行業經驗,專注於推動Greenplum在數據倉庫分析領域的應用,為客户實現投資回報、價值增長。
Greenplum軟件優勢
Greenplum數據存儲
Greenplum支持50PB(1PB=1024TB)級海量數據的存儲和處理,Greenplum將來自不同源系統的、不同部門、不同平台的數據集成到數據庫中集中存放,並且存放詳盡歷史的數據軌跡,業務用户不用再面對一個又一個信息孤島,也不再困惑於不同版本數據導致的偏差,同時對於IT人員也降低管理維護工作的複雜度。
Greenplum高併發
Greenplum提供資源管理功能(workload managemnt)來管理數據庫資源,利用資源隊列管理可實現按用户組的進行資源分配,如Session同時激活數、最大資源值等。通過資源管理功能,可以按用户級別進行資源分配和管理用户SQL查詢優先級別,同時也能防止低質量SQL(如沒有條件的多表join等)對系統資源的消耗。
Greenplum線性擴展
Greenplum與其他分佈式大數據產品如Yonghong Z-DataMart一樣採用了通用的MPP並行處理架構,在MPP架構中增加節點就可以線性提高系統的存儲容量和處理能力。Greenplum在擴展節點時操作簡單,在很短時間內就能完成數據的重新分佈。
Greenplum線性擴展支持為數據分析系統將來的拓展給予了技術上的保障,用户可根據實施需要進行容量和性能的擴展。
Greenplum高性價比
Greenplum數據庫軟件系統節點基於業界各種開放式硬件平台,如SUN/HP/DELL等廠商的PC Server等,在普通的x86 Server上就能達到很高的性能,因此性價比很高,相比於其他封閉式數據倉庫專用系統,Greenplum每TB的投資是前者的1/5甚至更低。同樣,Greenplum產品的維護成本相比同類廠商也低許多。
Greenplum反應速度
我們面對的是一個瞬息變化的市場,誰能首先感知到市場的需求和變化,就能在競爭中先行一步,獲得主動權,在競爭中立於不敗之地。
Greenplum通過準實時、實時的數據加載方式,實現數據倉庫的實時更新,進而實現動態數據倉庫(ADW)。基於動態數據倉庫,業務用户能對當前業務數據進行BI實時分析-“Just In Time BI”,能夠讓企業敏鋭感知市場的變化,加快決策支持反應速度。
Greenplum高可用性
Greenplum是高可用的系統,在已有案例中最多使用了96台機器的集羣MPP環境。除了硬件級的Raid技術外,Greenplum還提供數據庫層Mirror機制保護,即每個節點數據在另外的節點中同步鏡像,單個節點的錯誤不影響整個系統的使用。
對於主節點,Greenplum提供Master/Stand by機制進行主節點容錯,當主節點發生錯誤時,可以切換到Stand by節點繼續服務。
Greenplum系統易用
Greenplum產品是基於流行的PostgreSQL之上開發,幾乎所有的PostgreSQL客户端工具及PostgreSQL應用都能運行在Greenplum平台上,在Internet上有着豐富的PostgreSQL資源供用户參考。
最新進展
Greenplum 被EMC公司收購,將其整合到EMC雲計算戰略中。
Greenplum公司優勢
Greenplum數據量
依照需求,快速簡便的建立任意大小和種類的數據倉庫
使用業界的標準硬件,擴充符合成本效益
[10]
Greenplum查詢能力
相比於傳統查詢,可以以10倍到100倍的超快速度得到答案
Greenplum數據處理
一個平台可以支持數據查詢,機器學習,文本挖掘,統計計算等
TB量級到PB量級的數據進行分組,存儲和分析,因為 Greenplum數據引擎在處理數據的時候儘可能接近的數據源,快速的並行處理,如此的技術可以提供超級大量的數據處理和無與倫比的導入和查詢性能。 同時Greenplum數據引擎可以很容易依照需求,增加存儲容量和處理能力,避免代價高昂的設備升級。
Greenplum數據引擎-世界上最強大的分析數據庫
Greenplum數據引擎是為了支持新一代數據倉庫和分析處理大規模數據而建立的軟件解決 方案。Greenplum支持SQL和MapReduce的並行處理功能,並能以較低的成本向管;理TB量到PB量級數據的企業提供業界領先的性能。
[10]
- 參考資料
-
- 1. EMC收購Greenplum 繼續為雲計算發力 .騰訊數碼[引用日期2016-12-17]
- 2. Greenplum .金山詞霸漢語解釋[引用日期2013-03-12]
- 3. Pivotal Greenplum 4.3.9.0正式發佈 .中新網[引用日期2016-08-30]
- 4. HybridDB正式上線 支持Greenplum大數據服務 .環球網[引用日期2016-12-15]
- 5. Sun與Greenplum聯手打造即時數據倉庫 .搜狐IT[引用日期2016-08-30]
- 6. 國外數據引擎Greenplum進軍中國市場 .網易科技[引用日期2016-08-30]
- 7. Green plum中國首屆電信行業產品推廣會將開幕 .搜狐IT[引用日期2016-12-17]
- 8. Greenplum大數據分析工具亮相EMC World .騰訊數碼[引用日期2016-08-30]
- 9. EMC、VMware和Greenplum又聯手建新公司 .騰訊數碼[引用日期2016-08-30]
- 10. Greenplum .Greenplum永亞軟件[引用日期2013-06-03]