網站架構

在選擇機房的時候，根據網站用户的地域分佈，可以選擇網通或電信機房，但更多時候，可能雙線機房才是合適的。越大的城市，機房價格越貴，從成本的角度看可以在一些中小城市託管服務器，比如説北京的公司可以考慮把服務器託管在天津，廊坊等地，不是特別遠，但是價格會便宜很多。

通常老闆花錢請我們架構網站的時候，會給我們提出一些目標，諸如網站每天要能承受100萬PV的訪問量等等。這時我們要預算一下大概需要多大的帶寬，計算帶寬大小主要涉及兩個指標（峯值流量和頁面大小），我們不妨在計算前先做出必要的假設：

第一：假設峯值流量是平均流量的5倍。

第二：假設每次訪問平均的頁面大小是100K字節左右。

如果100萬PV的訪問量在一天內平均分佈的話，摺合到每秒大約12次訪問，如果按平均每次訪問頁面的大小是100K字節左右計算的話，這12次訪問總計大約就是1200K字節，字節的單位是Byte，而帶寬的單位是bit，它們之間的關係是1Byte = 8bit，所以1200K Byte大致就相當於9600K bit，也就是9Mbps的樣子，實際情況中，我們的網站必須能在峯值流量時保持正常訪問，所以按照假設的峯值流量算，真實帶寬的需求應該在45Mbps 左右。

當然，這個結論是建立在前面提到的兩點假設的基礎上，如果你的實際情況和這兩點假設有出入，那麼結果也會有差別。

先看我們都需要哪些服務器：圖片服務器，頁面服務器，數據庫服務器，應用服務器，日誌服務器等等。

對於訪問量大點的網站而言，分離單獨的圖片服務器和頁面服務器相當必要，我們可以用lighttpd來跑圖片服務器，用apache來跑頁面服務器，當然也可以選擇別的，甚至，我們可以擴展成很多台圖片服務器和很多台頁面服務器，並設置相關域名，如img.domain和 www.domain，頁面裏的圖片路徑都使用絕對路徑，如<img src="http://img.domain/abc.gif" />，然後設置DNS輪循，達到最初級的負載均衡。當然，服務器多了就不可避免的涉及一個同步的問題，這個可以使用rsync軟件來搞定。

數據庫服務器是重中之重，因為網站的瓶頸問題十有八九是出在數據庫身上。一般的中小網站多使用MySQL數據庫，不過它的集羣功能似乎還沒有達到stable的階段，所以這裏不做評價。一般而言，使用MySQL數據庫的時候，我們應該搞一個主從（一主多從）結構，主數據庫服務器使用innodb表結構，從數據服務器使用myisam表結構，充分發揮它們各自的優勢，而且這樣的主從結構分離了讀寫操作，降低了讀操作的壓力，甚至我們還可以設定一個專門的從服務器做備份服務器，方便備份。不然如果你只有一台主服務器，在大數據量的情況下，mysqldump基本就沒戲了，直接拷貝數據文件的話，還得先停止數據庫服務再拷貝，否則備份文件會出錯。但對於很多網站而言，即使數據庫服務僅停止了一秒也是不可接受的。如果你有了一台從數據庫服務器，在備份數據的時候，可以先停止服務（slave stop）再備份，再啓動服務（slave start）後從服務器會自動從主服務器同步數據，一切都沒有影響。但是主從結構也是有致命缺點的，那就是主從結構只是降低了讀操作的壓力，卻不能降低寫操作的壓力。

為了適應更大的規模，可能只剩下最後這招了：橫向/縱向分割數據庫。所謂橫向分割數據庫，就是把不同的表保存到不同的數據庫服務器上，比如説 用户表保存在A數據庫服務器上，文章表保存在B數據庫服務器上，當然這樣的分割是有代價的，最基本的就是你沒法進行LEFT JOIN之類的操作了。所謂縱向分割數據庫，一般是指按照用户標識（user_id）等來劃分數據存儲的服務器，比如説：我們有5台數據庫服務器，那麼 “user_id % 5 + 1”等於1的就保存到1號服務器，等於2的就保存到2號服務器，以此類推，縱向分隔的原則有很多種，可以視情況選擇。不過和橫向分割數據庫一樣，縱向分割數據庫也是有代價的，最基本的就是我們在進行如COUNT, SUM等彙總操作的時候會麻煩很多。綜上所述，數據庫服務器的解決方案一般視情況往往是一個混合的方案，以其發揮各種方案的優勢，有時候還需要藉助memcached之類的第三方軟件，以便適應更大訪問量的要求。

如果有專門的應用服務器來跑PHP腳本是最合適不過的了，那樣我們的頁面服務器只保存靜態頁面就可以了，可以給應用服務器設置一些諸如app.domain之類的域名來和頁面服務器加以區別。對於應用服務器，我還是更傾向於使用prefork模式的apache，配上必要的xcache之類的PHP緩存軟件，加載模塊要越少越好，除了mod_rewrite等必要的模塊，不必要的東西統統捨棄，儘量減少httpd進程的內存消耗，而那些圖片服務器，頁面服務器等靜態內容就可以使用lighttpd或者tux來搞，充分發揮各種服務器的特點。

如果條件允許，獨立的日誌服務器也是必要的，一般小網站的做法都是把頁面服務器和日誌服務器合二為一了，在凌晨訪問量不大的時候cron運行前一天的日誌計算，不過如果你使用awstats之類的日誌分析軟件，對於百萬級訪問量而言，即使按天歸檔，也會消耗很多時間和服務器資源去計算，所以分離單獨的日誌服務器還是有好處的，這樣不會影響正式服務器的工作狀態。

PHP框架有很多選擇，比如：CakePHP，Symfony，Zend Framework等等，至於應該使用哪一個並沒有唯一的答案，要根據Team裏團隊成員對各個框架的瞭解程度而定。很多時候，即使沒有使用框架，一樣能 寫出好的程序來，比如Flickr據説就是用Pear+Smarty這樣的類庫寫出來的，所以，是否用框架，用什麼框架，一般不是最重要的，重要的是我們 的編程思想裏要有框架的意識。

網站規模到了一定的程度之後，代碼裏各種邏輯糾纏在一起，會給維護和擴展帶來巨大的障礙，這時我們的解決方式其實很簡單，那就是重構，將邏輯進行分層。通常，自上而下可以分為表現層，應用層，領域層，持久層。

所謂表現層，並不僅僅就指模板，它的範圍要更廣一些，所有和表現相關的邏輯都應該被納入表現層的範疇。比如説某處的字體要顯示為紅色，某處的開頭要空兩格，這些都屬於表現層。很多時候，我們容易犯的錯誤就是把本屬於表現層的邏輯放到了其他層面去完成，這裏説一個很常見的例子：我們在列表頁顯示文章標題的時候，都會設定一個最大字數，一旦標題長度超過了這個限制，就截斷，並在後面顯示“..”，這就是最典型的表現層邏輯，但是實際情況，有很多程序員都是在非表現層代碼裏完成數據的獲取和截斷，然後賦值給表現層模板，這樣的代碼最直接的缺點就是同樣一段數據，在這個頁面我可能想顯示前10個字，再另一個頁面我可能想顯示前15個字，而一旦我們在程序裏固化了這個字數，也就喪失了可移植性。正確的做法是應該做一個視圖助手之類的程序來專門處理此類邏輯，比如説：Smarty裏的truncate就屬於這樣的視圖助手（不過它那個實現不適合中文）。

所謂應用層，它的主要作用是定義用户可以做什麼，並把操作結果反饋給表現層。至於如何做，通常不是它的職責範圍（而是領域層的職責範圍），它會通過委派把如何做的工作交給領域層去處理。在使用MVC架構的網站中，我們可以看到類似下面這樣的URL： domain/articles/view/123，其內部編碼實現，一般就是一個Articles控制器類，裏面有一個view方法，這就是一 個典型的應用層操作，因為它定義了用户可以做一個查看的動作。在MVC架構中，有一個準則是這麼説的：Rich Model Is Good。言外之意，就是Controller要保持“瘦”一些比較好，進而説明應用層要儘量簡單，不要包括涉及領域內容的邏輯。

所謂領域層，最直接的解釋就是包含領域邏輯的層。它是一個軟件的靈魂所在。先來看看什麼叫領域邏輯，簡單的説，具有明確的領域概念的邏輯就是領域邏輯，比如我們在ATM機上取錢，過程大致是這樣的：插入銀聯卡，輸入密碼，輸入取款金額，確定，拿錢，然後ATM吐出一個交易憑條。在這個過程中，銀聯卡 在ATM機器裏完成錢從帳户上劃撥的過程就是一個領域邏輯，因為取錢在銀行中是一個明確的領域概念，而ATM機吐出一個交易憑條則不是領域邏輯，而僅是一 個應用邏輯，因為吐出交易憑條並不是銀行中一個明確的領域概念，只是一種技術手段，對應的，我們取錢後不吐交易憑條，而發送一條提醒短信也是可能的，但並 不是一定如此，如果在實際情況中，我們要求取款後必須吐出交易憑條，也就是説吐出交易憑條已經和取款緊密結合，那麼你也可以把吐出交易憑條看作是領域邏輯 的一部分，一切都以問題的具體情況而定。

在Eric那本經典的領域驅動設計中，把領域層分為了五種基本元素：實體，值對象，服務，工廠，倉儲。具體可以參 閲書中的介紹。領域層最常犯的錯誤就是把本應屬於領域層的邏輯泄露到了其他層次，比如説在一個CMS系統，對熱門文章的定義是這樣的：每天被瀏覽的次數多 於1000次，被評論的次數多於100次，這樣的文章就是熱門文章。對於一個CMS來説，熱門文章這個詞無疑是一個重要的領域概念，那麼我們如何實現這個 邏輯的設計的？你可能會給出類似下面的代碼：“SELECT ... FROM ... WHERE 瀏覽 ＞1000 AND 評論 ＞100”，沒錯，這是最簡單的實現方式，但是這裏需要注意的是“每天被瀏覽的次數多於1000次，被評論的次數多於100次”這個重要的領域邏輯被隱藏到 了SQL語句中，SQL語句顯然不屬於領域層的範疇，也就是説，我們的領域邏輯泄露了。

所謂持久層，就是指把我們的領域模型保存到數據庫中。因為我們的程序代碼是面向對象風格的，而數據庫一般是關係型的數據庫，所以我們需要把領域模型碾平，才能保存到數據庫中，但是在PHP裏，還沒有非常好的ORM出現，所以這方面的解決方案不是特別多，參考Martin的企業應用架構模式一 書，大致可以使用的方法有行數據入口（Row Data Gateway）或者表數據入口（Table Data Gateway），或者把領域層和持久層合二為一變成活動記錄（Active Record）的方式。

HTML靜態化

其實大家都知道，效率最高、消耗最小的就是純靜態化的html頁面，所以我們儘可能使我們的網站架構上的頁面採用靜態頁面來實現，這個最簡單的方法其實也是最有效的方法。但是對於大量內容並且頻繁更新的網站，我們無法全部手動去挨個實現，於是出現了我們常見的信息發佈系統CMS，像我們常訪問的各個門户站點的新聞頻道，甚至他們的其他頻道，都是通過信息發佈系統來管理和實現的，信息發佈系統可以實現最簡單的信息錄入自動生成靜態頁面，還能具備頻道管理、權限管理、自動抓取等功能，對於一個大型網站來説，擁有一套高效、可管理的CMS是必不可少的。

除了門户和信息發佈類型的網站，對於交互性要求很高的社區類型網站來説，儘可能的靜態化也是提高性能的必要手段，將社區內的帖子、文章進行實時的靜態化，有更新的時候再重新靜態化也是大量使用的策略，像Mop的大雜燴就是使用了這樣的策略，網易社區等也是如此。

同時，html靜態化也是某些緩存策略使用的手段，對於系統中頻繁使用數據庫查詢但是內容更新很小的應用，可以考慮使用html靜態化來實現，比如論壇中論壇的公用設置信息，這些信息的主流論壇都可以進行後台管理並且存儲在數據庫中，這些信息其實大量被前台程序調用，但是更新頻率很小，可以考慮將這部分內容進行後台更新的時候進行靜態化，這樣避免了大量的數據庫訪問請求。

圖片服務器分離

大家知道，對於Web服務器來説，不管是Apache、IIS還是其他容器，圖片是最消耗資源的，於是我們有必要將圖片與頁面進行分離，這是基本上大型網站都會採用的策略，他們都有獨立的圖片服務器，甚至很多台圖片服務器。這樣的架構可以降低提供頁面訪問請求的服務器系統壓力，並且可以保證系統不會因為圖片問題而崩潰，在應用服務器和圖片服務器上，可以進行不同的配置優化，比如apache在配置ContentType的時候可以儘量少支持，儘可能少的LoadModule，保證更高的系統消耗和執行效率。

圖片託管應用程序

有時，你會在線上傳圖片，而一些大型網站需要託管和傳送大量的圖片，這對於構建一個具有成本效益、高可用性並具有低延時（快速檢索）的架構是一項挑戰。

在一個圖片系統中，用户可以上傳圖片到一箇中央服務器裏，通過網絡連接或API對這些圖片進行請求，就像Flickr或者Picasa。簡單點，我們就假設這個應用程序只包含兩個核心部分：上傳（寫）圖片和檢索圖片。圖片上傳時最好能夠做到高效，傳輸速度也是我們最關心的，當有人向圖片發出請求時（例如是一個Web頁面或其他應用程序）。這是非常相似的功能，提供Web服務或內容分發網絡（一個CDN服務器可以在許多地方存儲內容，所以無論是在地理上還是物理上都更加接近用户，從而導致更快的性能）邊緣服務器。

數據庫集羣和庫表散列

大型網站都有複雜的應用，這些應用必須使用數據庫，那麼在面對大量訪問的時候，數據庫的瓶頸很快就能顯現出來，這時一台數據庫將很快無法滿足應用，於是我們需要使用數據庫集羣或者庫表散列。在數據庫集羣方面，很多數據庫都有自己的解決方案，Oracle、Sybase等都有很好的方案，常用的MySQL提供的Master/Slave也是類似的方案，您使用了什麼樣的DB，就參考相應的解決方案來實施即可。

上面提到的數據庫集羣由於在架構、成本、擴張性方面都會受到所採用DB類型的限制，於是我們需要從應用程序的角度來考慮改善系統架構，庫表散列是常用並且最有效的解決方案。我們在應用程序中安裝業務和應用或者功能模塊將數據庫進行分離，不同的模塊對應不同的數據庫或者表，再按照一定的策略對某個頁面或者功能進行更小的數據庫散列，比如用户表，按照用户ID進行表散列，這樣就能夠低成本的提升系統的性能並且有很好的擴展性。sohu的論壇就是採用了這樣的架構，將論壇的用户、設置、帖子等信息進行數據庫分離，然後對帖子、用户按照板塊和ID進行散列數據庫和表，最終可以在配置文件中進行簡單的配置便能讓系統隨時增加一台低成本的數據庫進來補充系統性能。

緩存

緩存一詞搞技術的都接觸過，很多地方用到緩存。網站架構和網站開發中的緩存也是非常重要。這裏先講述最基本的兩種緩存。高級和分佈式的緩存在後面講述。

架構方面的緩存，對Apache比較熟悉的人都能知道Apache提供了自己的緩存模塊，也可以使用外加的Squid模塊進行緩存，這兩種方式均可以有效的提高Apache的訪問響應能力。

網站程序開發方面的緩存，Linux上提供的MemoryCache是常用的緩存接口，可以在web開發中使用，比如用Java開發的時候就可以調用MemoryCache對一些數據進行緩存和通訊共享，一些大型社區使用了這樣的架構。另外，在使用web語言開發的時候，各種語言基本都有自己的緩存模塊和方法，PHP有Pear的Cache模塊，Java就更多了，.net不是很熟悉，相信也肯定有。 ^[1] 

鏡像

鏡像是大型網站常採用的提高性能和數據安全性的方式，鏡像的技術可以解決不同網絡接入商和地域帶來的用户訪問速度差異，比如ChinaNet和EduNet之間的差異就促使了很多網站在教育網內搭建鏡像站點，數據進行定時更新或者實時更新。在鏡像的細節技術方面，這裏不闡述太深，有很多專業的現成的解決架構和產品可選。也有廉價的通過軟件實現的思路，比如Linux上的rsync等工具。

負載均衡

負載均衡將是大型網站解決高負荷訪問和大量併發請求採用的終極解決辦法。

負載均衡技術發展了多年，有很多專業的服務提供商和產品可以選擇，我個人接觸過一些解決方法，其中有兩個架構可以給大家做參考。

硬件四層交換

第四層交換使用第三層和第四層信息包的報頭信息，根據應用區間識別業務流，將整個區間段的業務流分配到合適的應用服務器進行處理。　第四層交換功能就象是虛IP，指向物理服務器。它傳輸的業務服從的協議多種多樣，有HTTP、FTP、NFS、Telnet或其他協議。這些業務在物理服務器基礎上，需要複雜的載量平衡算法。在IP世界，業務類型由終端TCP或UDP端口地址來決定，在第四層交換中的應用區間則由源端和終端IP地址、TCP和UDP端口共同決定。

在硬件四層交換產品領域，有一些知名的產品可以選擇，比如Alteon、F5等，這些產品很昂貴，但是物有所值，能夠提供非常優秀的性能和很靈活的管理能力。Yahoo中國當初接近2000台服務器使用了三四台Alteon就搞定了。

軟件四層交換

大家知道了硬件四層交換機的原理後，基於OSI模型來實現的軟件四層交換也就應運而生，這樣的解決方案實現的原理一致，不過性能稍差。但是滿足一定量的壓力還是遊刃有餘的，有人説軟件實現方式其實更靈活，處理能力完全看你配置的熟悉能力。

軟件四層交換我們可以使用Linux上常用的LVS來解決，LVS就是Linux VirtualServer，他提供了基於心跳線heartbeat的實時災難應對解決方案，提高系統的魯棒性，同時可供了靈活的虛擬VIP配置和管理功能，可以同時滿足多種應用需求，這對於分佈式的系統來説必不可少。

一個典型的使用負載均衡的策略就是，在軟件或者硬件四層交換的基礎上搭建squid集羣，這種思路在很多大型網站包括搜索引擎上被採用，這樣的架構低成本、高性能還有很強的擴張性，隨時往架構裏面增減節點都非常容易。這樣的架構我準備空了專門詳細整理一下和大家探討。

WEB層這塊壓力比較大的網站都換成了WEB應用服務器，事實上，它的抗併發能力確實超過了預期。文件服務器層，由於網站的後期宣傳策話，名氣也越來越大，PV值也越來越高，已經越來越頂不住壓力了。數據庫層的壓力，保證了數據的高可用性，當然價格也是非常昂貴的。 ^[1] 

對於大型網站來説，前面提到的每個方法可能都會被同時使用到，我這裏介紹得比較淺顯，具體實現過程中很多細節還需要大家慢慢熟悉和體會，有時一個很小的squid參數或者apache參數設置，對於系統性能的影響就會很大，希望大家一起討論，達到拋磚引玉之效。