大數據時代

進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，並命名與之相關的技術發展與創新。它已經上過《紐約時報》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。 ^[1] 

數據正在迅速膨脹並變大，它決定着企業的未來發展，雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患，但是隨着時間的推移，人們將越來越多的意識到數據對企業的重要性。

正如《紐約時報》2012年2月的一篇專欄中所稱，“大數據”時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。

哈佛大學社會學教授加里·金説：“這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。” ^[2] 

現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。

隨着雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。大數據（Big data）通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關係型數據庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。 ^[2] 

在現今的社會，大數據的應用越來越彰顯他的優勢，它佔領的領域也越來越大，電子商務、O2O、物流配送等，各種利用大數據進行發展的領域正在協助企業不斷地發展新業務，創新運營模式。有了大數據這個概念，對於消費者行為的判斷，產品銷售量的預測，精確的營銷範圍以及存貨的補給已經得到全面的改善與優化。

“大數據”在互聯網行業指的是這樣一種現象：互聯網公司在日常運營中生成、累積的用户網絡行為數據。這些數據的規模是如此龐大，以至於不能用G或T來衡量。

大數據到底有多大？一組名為“互聯網上一天”的數據告訴我們，一天之中，互聯網產生的全部內容可以刻滿1.68億張DVD；發出的郵件有2940億封之多（相當於美國兩年的紙質信件數量）；發出的社區帖子達200萬個（相當於《時代》雜誌770年的文字量）；賣出的手機為37.8萬台，高於全球每天出生的嬰兒數量37.1萬…… ^[1] 

截止到2012年，數據量已經從TB（1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)級別。國際數據公司（IDC）的研究結果表明，2008年全球產生的數據量為0.49ZB，2009年的數據量為0.8ZB，2010年增長為1.2ZB，2011年的數量更是高達1.82ZB，相當於全球每人產生200GB以上的數據。而到2012年為止，人類生產的所有印刷材料的數據量是200PB，全人類歷史上説過的所有話的數據量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數據中，有90%是過去兩年內產生的。而到了2020年，全世界所產生的數據規模將達到今天的44倍。 ^[3]  每一天，全世界會上傳超過5億張圖片，每分鐘就有20小時時長的視頻被分享。然而，即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。

這樣的趨勢會持續下去。我們還處於所謂“物聯網”的最初級階段，而隨着技術成熟，我們的設備、交通工具和迅速發展的“可穿戴”科技將能互相連接與溝通。科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬件、軟件、人才及服務之上的商業投資也增長了整整50%，達到了4000億美元。 ^[3] 

大數據帶給我們的三個顛覆性觀念轉變：是全部數據，而不是隨機採樣；是大體方向，而不是精確制導；是相關關係，而不是因果關係。

A.不是隨機樣本，而是全體數據：在大數據時代，我們可以分析更多的數據，有時候甚至可以處理和某個特別現象相關的所有數據，而不再依賴於隨機採樣(隨機採樣，以前我們通常把這看成是理所應當的限制，但高性能的數字技術讓我們意識到，這其實是一種人為限制);

B.不是精確性，而是混雜性：研究數據如此之多，以至於我們不再熱衷於追求精確度;之前需要分析的數據很少，所以我們必須儘可能精確地量化我們的記錄，隨着規模的擴大，對精確度的痴迷將減弱;擁有了大數據，我們不再需要對一個現象刨根問底，只要掌握了大體的發展方向即可，適當忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力;

C.不是因果關係，而是相關關係：我們不再熱衷於找因果關係，尋找因果關係是人類長久以來的習慣，在大數據時代，我們無須再緊盯事物之間的因果關係，而應該尋找事物之間的相關關係;相關關係也許不能準確地告訴我們某件事情為何會發生，但是它會提醒我們這件事情正在發生。

十年前，葛大爺曾説過，“21世紀什麼最貴?”——“人才”，深以為然。只是，十年後的今天，大數據時代也帶來了身價不斷翻番的各種數據。由於急速拓展的網絡帶寬以及各種穿戴設備所帶來的大量數據，數據的增長從未停歇，甚至呈井噴式增長。

一分鐘內，微博推特上新發的數據量超過10萬；社交網絡“臉譜”的瀏覽量超過600萬……

這些龐大數字，意味着什麼？

它意味着，一種全新的致富手段也許就擺在面前，它的價值堪比石油和黃金。

事實上，當你仍然在把微博等社交平台當作抒情或者發議論的工具時，華爾街的斂財高手們卻正在挖掘這些互聯網的“數據財富”，先人一步用其預判市場走勢，而且取得了不俗的收益。

讓我們一起來看看——他們是怎麼做的。

這些數據都能幹啥。具體有六大價值：

●1、華爾街根據民眾情緒拋售股票；

●2、對沖基金依據購物網站的顧客評論，分析企業產品銷售狀況；

●3、銀行根據求職網站的崗位數量，推斷就業率；

●4、投資機構蒐集並分析上市企業聲明，從中尋找破產的蛛絲馬跡；

●5、美國疾病控制和預防中心依據網民搜索，分析全球範圍內流感等病疫的傳播狀況；

●6、美國總統奧巴馬的競選團隊依據選民的微博，實時分析選民對總統競選人的喜好。 ^[1] 

“數據是新的石油。”亞馬遜前任首席科學家Andreas Weigend説。Instagram以10億美元出售之時，成立於1881年的世界最大影像產品及服務商柯達正申請破產。

大數據是如此重要，以至於其獲取、儲存、搜索、共享、分析，乃至可視化地呈現，都成為了當前重要的研究課題 ^[1]  。

“當時時變幻的、海量的數據出現在眼前，是怎樣一幅壯觀的景象？在後台注視着這一切，會不會有接近上帝俯視人間星火的感覺？”

這個問題我曾請教過劉建國，中國著名的搜索引擎專家。劉曾主持開發過國內第一個大規模中英文搜索引擎系統“天網”。

要知道，劉建國曾任至百度的首席技術官，在這樣一家每天需應對網民各種搜索請求1.7億次（2013年約為8.77億次）的網站中，如果只是在後台靜靜端坐，可能片刻都不能安心吧。百度果然在提供搜索服務之外，逐漸增添了百度指數，後又建立了基於網民搜索數據的重要產品“貼吧”及百度統計產品等。

劉建國沒有直接回答這個問題，他想了很久，似乎陷入了回憶，嘴角的笑容含着詭秘。

倒是有公司已經在大數據中有接近上帝俯視的感覺，美國洛杉磯就有企業宣稱，他們將全球夜景的歷史數據建立模型，在過濾掉波動之後，做出了投資房地產和消費的研究報告。

在數據可視化呈現方面，我最新接收到的故事是，一位在美國思科物流部門工作的朋友，很聰明的印度裔小夥子，被Facebook高價挖角，進入其數據研究小組。他後來驚訝地發現，裏面全是來自物流企業、供應鏈方面的技術人員和專家，“Facebook想知道，能不能用物流的角度和流程的方式，分析用户的路徑和行為。”

第一個特徵是數據量大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。

第二個特徵是數據類型繁多。包括網絡日誌、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。

價值密度低（Value）

第三個特徵是數據價值密度相對較低。如隨着物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數據的價值“提純”，是大數據時代亟待解決的難題。

第四個特徵是處理速度快，時效性要求高。這是大數據區分於傳統數據挖掘最顯著的特徵。

既有的技術架構和路線，已經無法高效處理如此海量的數據，而對於相關組織來説，如果投入巨大采集的信息無法通過及時處理反饋有效信息，那將是得不償失的。可以説，大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。 ^[2] 

當數據的處理技術發生翻天覆地的變化時，大數據時代，我們的思維也要變革。

第一個思維變革：利用所有的數據，而不再僅僅依靠部分數據，即不是隨機樣本，而是全體數據。

第二個思維變革：我們唯有接受不精確性，才有機會打開一扇新的世界之窗，即不是精確性，而是混雜性。

第三個思維變革：不是所有的事情都必須知道現象背後的原因，而是要讓數據自己“發聲”，即不是因果關係，而是相關關係。

你開心他就買你焦慮他就拋 ^[2] 

華爾街“德温特資本市場”公司首席執行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬户的留言，進而判斷民眾情緒，再以“1”到“50”進行打分。根據打分結果，霍廷再決定如何處理手中數以百萬美元計的股票。

霍廷的判斷原則很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。

這一招收效顯著——當年第一季度，霍廷的公司獲得了7%的收益率。

國際商用機器公司（IBM）估測，這些“數據”值錢的地方主要在於時效。對於片刻便能定輸贏的華爾街，這一時效至關重要。曾經，華爾街2%的企業蒐集微博等平台的“非正式”數據；如今，接近半數企業採用了這種手段。

●“社會流動”創業公司在“大數據”行業生機勃勃，和微博推特是合作伙伴。它分析數據，告訴廣告商什麼是正確的時間，誰是正確的用户，什麼是應該發表的正確內容，備受廣告商熱愛。

●通過喬希·詹姆斯的Omniture（著名的網頁流量分析工具）公司，你可以知道有多少人訪問你的網站，以及他們呆了多長時間——這些數據對於任何企業來説都至關重要。詹姆斯把公司賣掉，進賬18億美元。

●微軟專家吉拉德喜歡把這些“大數據”結果可視化：他把客户請到辦公室，將包含這些公司的數據圖譜展現出來——有些是普通的時間軸，有些像蒲公英，有些則是鋪滿整個畫面的泡泡，泡泡中顯示這些客户的粉絲正在談論什麼話題。

●“臉譜”數據分析師傑弗遜的工作就是搭建數據分析模型，弄清楚用户點擊廣告的動機和方式。

處理和分析工具

用於分析大數據的工具主要有開源與商用兩個生態圈。

開源大數據生態圈：

1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態圈逐步形成。

2、. Hypertable是另類。它存在於Hadoop生態圈之外，但也曾經有一些用户。

3、NoSQL，membase、MongoDb

商用大數據生態圈：

1、一體機數據庫/數據倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。

2、數據倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。

3、數據集市：QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。

越來越多的政府、企業等機構開始意識到數據正在成為組織最重要的資產，數據分析能力正在成為組織的核心競爭力。具體有以下三大案例：

1、2012年3月22日，奧巴馬政府宣佈投資2億美元拉動大數據相關產業發展，將“大數據戰略”上升為國家意志。奧巴馬政府將數據定義為“未來的新石油”，並表示一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分，未來，對數據的佔有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產。

2、聯合國也在2012年發佈了大數據政務白皮書，指出大數據對於聯合國和各國政府來説是一個歷史性的機遇，人們如今可以使用極為豐富的數據資源，來對社會經濟進行前所未有的實時分析，幫助政府更好地響應社會和經濟運行。

3、而最為積極的還是眾多的IT企業。麥肯錫在一份名為《大數據，是下一輪創新、競爭和生產力的前沿》的專題研究報告中提出，“對於企業來説，海量數據的運用將成為未來競爭和增長的基礎”，該報告在業界引起廣泛反響。

IBM則提出，上一個十年，他們拋棄了PC，成功轉向了軟件和服務，而這次將遠離服務與諮詢，更多地專注於因大數據分析軟件而帶來的全新業務增長點。IBM執行總裁羅睿蘭認為，“數據將成為一切行業當中決定勝負的根本因素，最終數據將成為人類至關重要的自然資源。”

在國內，百度已經致力於開發自己的大數據處理和存儲系統；騰訊也提出2013年已經到了數據化運營的黃金時期，如何整合這些數據成為未來的關鍵任務。

事實上，自2009年以來，有關“大數據” 主題的併購案層出不窮，且併購數量和規模呈逐步上升的態勢。其中，Oracle對Sun、惠普對Autonomy兩大併購案總金額高達176億美元，大數據的產業價值由此可見一斑。 ^[1-2] 

大數據是信息通信技術發展積累至今，按照自身技術發展邏輯，從提高生產效率向更高級智能階段的自然生長。無處不在的信息感知和採集終端為我們採集了海量的數據，而以雲計算為代表的計算技術的不斷進步，為我們提供了強大的計算能力，這就圍繞個人以及組織的行為構建起了一個與物質世界相平行的數字世界 ^[1-2]  。

大數據雖然孕育於信息通信技術的日漸普遍和成熟，但它對社會經濟生活產生的影響絕不限於技術層面，更本質上，它是為我們看待世界提供了一種全新的方法，即決策行為將日益基於數據分析做出，而不是像過去更多憑藉經驗和直覺做出。

事實上，大數據的影響並不僅僅限於信息通信產業，而是正在“吞噬”和重構很多傳統行業，廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中，數據分析的技術與手段更是得到廣泛的應用，傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用户提供更加專業化和個性化的服務。

最讓人吃驚的例子是，社交媒體監測平台DataSift監測了Facebook（臉譜） IPO當天Twitter上的情感傾向與Facebook股價波動的關聯。在Facebook開盤前Twitter上的情感逐漸轉向負面，25分鐘之後Facebook的股價便開始下跌。而當Twitter上的情感轉向正面時，Facebook股價在8分鐘之後也開始了回彈。最終當股市接近收盤、Twitter上的情感轉向負面時，10分鐘後Facebook的股價又開始下跌。最終的結論是：Twitter上每一次情感傾向的轉向都會影響Facebook股價的波動。

這僅僅只是基於社交網絡產生的大數據“預見未來”的眾多案例之一，此外還有谷歌通過網民搜索行為預測流感爆發等例子。不僅在商業方面，大數據在社會建設方面的作為同樣令人驚歎，智能電網、智慧交通、智慧醫療、智慧環保、智慧城市等的蓬勃興起，都與大數據技術與應用的發展息息相關。

“大數據”可能帶來的巨大價值正漸漸被人們認可，它通過技術的創新與發展，以及數據的全面感知、收集、分析、共享，為人們提供了一種全新的看待世界的方法。更多地基於事實與數據做出決策，這樣的思維方式，可以預見，將推動一些習慣於靠“差不多”運行的社會發生巨大變革。

一個好的企業應該未雨綢繆，從現在開始就應該着手準備，為企業的後期的數據收集和分析做好準備，企業可以從下面六個方面着手，這樣當面臨鋪天蓋地的大數據的時候，以確保企業能夠快速發展，具體為下面六點。

幾乎每個組織都可能有源源不斷的數據需要收集，無論是社交網絡還是車間傳感器設備，而且每個組織都有大量的數據需要處理，IT人員需要了解自己企業運營過程中都產生了什麼數據，以自己的數據為基準，確定數據的範圍。

雖然每個企業都會產生大量數據，而且互不相同、多種多樣的，這就需要企業IT人員開始收集確認什麼數據是企業業務需要的，找到最能反映企業業務情況的數據。

大數據需要在服務器和存儲設施中進行收集，並且大多數的企業信息管理體系結構將會發生重要大變化，IT經理則需要準備擴大他們的系統，以解決數據的不斷擴大，IT經理要了解公司現有IT設施的情況，以組建處理大數據的設施為導向，避免一些不必要的設備的購買。

大數據是最近幾年才興起的詞語，而並不是所有的IT人員對大數據都非常瞭解，例如如今的Hadoop，MapReduce，NoSQL等技術都是2013年剛興起的技術，企業IT人員要多關注這方面的技術和工具，以確保將來能夠面對大數據的時候做出正確的決定。

大多數企業最缺乏的是人才，而當大數據到臨的時候，企業將會缺少這方面的採集收集分析方面的人才，對於一些公司，特別是那種人比較少的公司，工作人員面臨大數據將是一種挑戰，企業要在平時的時候多對員工進行這方面的培訓，以確保在大數據到來時，員工也能適應相關的工作。

Teradata大中華區首席執行官辛兒倫對新浪科技表示，隨着大數據時代的到來，企業應該在內部培養三種能力。第一，整合企業數據的能力；第二，探索數據背後價值和制定精確行動綱領的能力；第三，進行精確快速實時行動的能力。

做到上面的幾點，當大數據時代來臨的時候，面臨大量數據將不是束手無策，而是成竹在胸，而從數據中得到的好處也將促進企業快速發展。