隨著Internet業(yè)務(wù)量爆炸性的增長，使得傳統(tǒng)的單一數(shù)據(jù)庫服務(wù)器不堪重負。不斷更新的硬件只會使整個系統(tǒng)的代價升高且收效甚微，并且還會造成資源的浪費。由此，基于集群的網(wǎng)絡(luò)負載平衡策略應(yīng)運而生并成為有效的新對策。
　　本文提出了一種構(gòu)架于Linux虛擬服務(wù)器(LVS)基礎(chǔ)之上的數(shù)據(jù)庫集群服務(wù)器體系結(jié)構(gòu)，用于解決數(shù)據(jù)量在100G以下且數(shù)據(jù)庫訪問頻繁和對響應(yīng)速度要求較高的需求。重點提出了與這種體系結(jié)構(gòu)相對應(yīng)的基于SQL語句分發(fā)請求的復(fù)制算法，并通過實驗來驗證算法的可行性。由于所采用的設(shè)備均是普通的PC機和交換機，所使用的系統(tǒng)平臺是源碼開放的Linux操作系統(tǒng)，并且系統(tǒng)是針對Anycast型^[2]任務(wù)開發(fā)的，可以應(yīng)用于絕大多數(shù)的網(wǎng)站和論壇，所以具有一定的推廣價值。
1 數(shù)據(jù)復(fù)制技術(shù)
　　通常，服務(wù)器的數(shù)據(jù)分為兩種：一種是結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù)，另一種是非結(jié)構(gòu)化或半結(jié)構(gòu)化的文件^[4]。這里只討論結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù)。
　　數(shù)據(jù)庫集群的數(shù)據(jù)復(fù)制包括數(shù)據(jù)定位和數(shù)據(jù)更新。對于數(shù)據(jù)定位，目前有三種方式：
　　(1)采用分區(qū)方式，即對數(shù)據(jù)庫中的數(shù)據(jù)進行劃分操作，其保證了數(shù)據(jù)操作的高效率，但不能保證數(shù)據(jù)的高可用性和高可靠性" title="高可靠性">高可靠性。
　　(2)采用不分區(qū)方式，使得數(shù)據(jù)庫在每個節(jié)點上都保存有副本，其保證了數(shù)據(jù)的高可用性和高可靠性，但數(shù)據(jù)同步困難。本文則是由此切入，提出一種新算法用以解決在保證數(shù)據(jù)的高可用性和高可靠性的情況下數(shù)據(jù)同步困難的問題。
　　(3)上述兩者相結(jié)合，這樣就需要動態(tài)的數(shù)據(jù)分配策略來管理這些數(shù)據(jù)，當然也可以通過手動管理方式來模擬此過程。
　　數(shù)據(jù)更新一般使用即時更新。
　　對于采取不分區(qū)方式的數(shù)據(jù)定位，其數(shù)據(jù)更新常用的算法有快照復(fù)制、基于主節(jié)點的對稱復(fù)制、基于TOKEN的對稱復(fù)制和混合復(fù)制。這些算法都各有千秋，但它們有一個共同的特點，即都是在節(jié)點之間或主節(jié)點與從節(jié)點之間拷貝數(shù)據(jù)。人們知道，任何情況下，對數(shù)據(jù)庫的操作無非只有四種：增、刪、改、查。對于這種基于負載調(diào)度請求的且不能識別請求內(nèi)容而只把數(shù)據(jù)庫當作文件來操作的算法，不但不能發(fā)揮數(shù)據(jù)庫存取數(shù)據(jù)的優(yōu)勢，同時也為整個集群帶來了額外的開銷，所以不能說是真正意義上的數(shù)據(jù)庫集群。
2 系統(tǒng)設(shè)計
　　為了保證數(shù)據(jù)的高可用性和高可靠性，同時又能提高數(shù)據(jù)更新的效率，充分發(fā)揮數(shù)據(jù)庫本身的優(yōu)勢，本文提出一種新的思路，即在LVS基礎(chǔ)之上，將其內(nèi)網(wǎng)中傳送的數(shù)據(jù)包變成SQL語句，通過數(shù)據(jù)接口，在各個節(jié)點機上對其各自擁有數(shù)據(jù)庫進行讀寫操作。由于所傳送的對象不是整塊數(shù)據(jù)而是一條條的SQL語句，使得整個集群減少了更新時間并且增強了負載能力。
　　如圖1所示，本系統(tǒng)是基于LVS的直接路由模式(DR)來構(gòu)建的。其采用單工連接方式，節(jié)點服務(wù)器處理過的應(yīng)答數(shù)據(jù)不再經(jīng)過均衡器" title="均衡器">均衡器，而直接返回給客戶端" title="客戶端">客戶端，這就是說，每個節(jié)點服務(wù)器都擁有能夠到達客戶端的合法IP地址，并且負載均衡器" title="負載均衡器">負載均衡器與各節(jié)點服務(wù)器必須有一塊網(wǎng)卡與內(nèi)網(wǎng)交換機相連。同時，為了使節(jié)點間負載平衡、節(jié)點內(nèi)有序執(zhí)行，在每個節(jié)點服務(wù)器上都設(shè)置有一個隊列結(jié)構(gòu)，用于保證操作的順序性，并且在負載均衡器上設(shè)置有兩個對列結(jié)構(gòu)用于協(xié)調(diào)節(jié)點間查詢和更新的操作。

3 基于SQL語句分發(fā)請求的復(fù)制算法
　　復(fù)制算法一般包括數(shù)據(jù)的定位和數(shù)據(jù)副本的同步兩部分，本算法也是如此。
3.1 數(shù)據(jù)的定位
　　如上所述，基于本算法的系統(tǒng)結(jié)構(gòu)中所使用的定位技術(shù)是基于定位服務(wù)器的方式。也就是說，從客戶端發(fā)出的對數(shù)據(jù)庫操作的任何請求都必須經(jīng)過定位服務(wù)器的分發(fā)后，請求才能在節(jié)點服務(wù)器上得到響應(yīng)。本系統(tǒng)中，定位服務(wù)器就是負載均衡器。
　　如圖2所示，當負載均衡器收到客戶端對數(shù)據(jù)庫操作的請求后，首先要進行區(qū)分，即是SELECT語句還是非SELECT語句，當請求是SELECT語句時，則通過負載平衡算法^[2]選擇當前負載最輕的節(jié)點，然后將SELECT語句發(fā)送到此節(jié)點，在節(jié)點數(shù)據(jù)庫中進行查詢處理后直接將應(yīng)答數(shù)據(jù)返回給客戶端，而此時的返回數(shù)據(jù)包的源IP地址仍然是負載均衡器上的VIP地址(這是由LVS的直接路由模式?jīng)Q定的)。

　　可是，當請求是非SELECT語句時，情況則有所不同，因為所有非SELECT語句均是更新語句，如INSERT、DELECT和UPDATE。此時，負載均衡器通過其所擁有的鄰接表查找各節(jié)點的MAC地址，然后復(fù)制與節(jié)點數(shù)量相同請求包，再分別封裝成幀并改寫幀上的MAC地址，使每個節(jié)點都成為目的節(jié)點，接著將這批幀發(fā)送到內(nèi)網(wǎng)。于是，每個節(jié)點服務(wù)器都將收到符合自己MAC地址的幀后，拆裝、提取SQL信息，在節(jié)點數(shù)據(jù)庫中進行數(shù)據(jù)更新，最后再將更新后的狀態(tài)信息(如更新成功或失敗)直接返回給客戶端，同樣此時的返回包的源IP地址仍然是均衡器上的VIP。
3.2 數(shù)據(jù)副本的同步
　　本系統(tǒng)在進行數(shù)據(jù)同步時，采用即時更新的同步技術(shù)。
　　由于數(shù)據(jù)庫集群服務(wù)器的數(shù)據(jù)庫都是相對獨立的，每臺服務(wù)器都可以獨立承擔服務(wù)工作，且數(shù)據(jù)的復(fù)制度較高，不存在單點失效的問題，所以節(jié)點服務(wù)器的工作重點應(yīng)是數(shù)據(jù)快速而穩(wěn)定的存取，保持各節(jié)點間數(shù)據(jù)的一致性。因此，當有請求到達時，無論是查詢語句(SELECT語句)還是更新語句(非SELECT語句)，都先進入節(jié)點機上的操作隊列，如圖3所示，然后逐一順序取出執(zhí)行，這樣可以保證對數(shù)據(jù)庫操作的順序性和一致性。

3.3 復(fù)制算法的實現(xiàn)
　　(1)負載均衡器上鄰接狀態(tài)表，請求隊列和更新隊列
　　可以看出，負載均衡器是這個集群系統(tǒng)" title="集群系統(tǒng)">集群系統(tǒng)的核心。均衡器是通過鄰接狀態(tài)表來管理集群中節(jié)點服務(wù)器的。鄰接狀態(tài)表是由節(jié)點名、MAC地址和狀態(tài)構(gòu)成。節(jié)點名是管理員預(yù)先定義的，用于區(qū)分各節(jié)點機； MAC地址是指節(jié)點服務(wù)器對應(yīng)于內(nèi)網(wǎng)的那塊網(wǎng)卡的地址；狀態(tài)是指當前節(jié)點機的狀態(tài)(0為可操作，1為忙，2為停機)。當有請求到達時，均衡器首先區(qū)分請求中的是SELECT語句還是非SELECT語句，若是SELECT語句，則從鄰接狀態(tài)表中查找狀態(tài)為0的節(jié)點，若為0的節(jié)點多于一個時，則通過負載平衡算法^[2]選出負載最輕的節(jié)點進行分配；若是非SELECT語句，均衡器便查找狀態(tài)不為2(即停機)的節(jié)點分發(fā)請求，若其中有節(jié)點的狀態(tài)為1(即忙，也就是說此節(jié)點服務(wù)器上的操作隊列已滿)，則將該語句入均衡器上的更新隊列排隊，直到所有運行節(jié)點均為不忙，才出隊分發(fā)；若所有運行節(jié)點的狀態(tài)均不為0，此時若帶有SELECT語句的請求到達，均衡器便將該語句入請求隊列，直到有狀態(tài)為0的節(jié)點出現(xiàn)，才出隊進行分發(fā)；當均衡器上的請求隊列或更新隊列均滿時，均衡器將拒絕查詢請求或更新請求，直到隊列不滿。
　　圖2中，Qempty(Q)、Qinsert(Q，i)、Qdelete(Q)和Qlength(Q)是對隊列的判空、入隊、出隊和求長度的操作，get_load_request()為取請求函數(shù)，send_load_request()為發(fā)送請求函數(shù)。
　　(2)節(jié)點服務(wù)器上的操作隊列和信號機制
　　節(jié)點服務(wù)器的主要工作是對數(shù)據(jù)庫的存取。引入操作隊列就是為了保證對數(shù)據(jù)庫操作的順序性和一致性。這里，需要再引入兩個信號量DOWN和FULL，用以監(jiān)控節(jié)點機的狀態(tài)。DOWN為節(jié)點機系統(tǒng)狀態(tài)(0為正常，1為異常)，F(xiàn)ULL為操作隊列狀態(tài)(0為隊列滿，1為隊列不滿)，它們分別與負載均衡器上狀態(tài)值同步，其對照表如表1所示。
　　圖3中，Qempty(Q)、Qdelete(Q)和Qinsert(Q，q)是對隊列的判空、出隊和入隊的操作，get_lvs_request()為取請求函數(shù)，Exesql(q，local)為SQL執(zhí)行函數(shù)。

4 系統(tǒng)實現(xiàn)與測試
4.1 系統(tǒng)實現(xiàn)
　　本集群系統(tǒng)性能測試環(huán)境如下：
　　(1)基于6+1臺PC的集群服務(wù)器，即一臺作負載均衡器，剩余6臺作節(jié)點服務(wù)器。PC機的基本配置為：CPU PⅢ 900MHz，內(nèi)存為384MB，硬盤為40GB。
　　(2)交換機為24Port 10/100Mbps Fast ethernet Switch。
　　(3)軟件配置：
　　操作系統(tǒng)：Linux 7.2 內(nèi)核為2.4.18。
　　集群中間件(SSI)：使用JAVA開發(fā)的基于SQL語句復(fù)制的數(shù)據(jù)庫集群算法。
　　數(shù)據(jù)庫為：MySql 3.23.49。
　　網(wǎng)絡(luò)協(xié)議：TCP/IP。
　　(4)測試軟件：WebBench。
4.2 測試與分析
　　為使測試更具對比性，選用兩種算法進行，一種是基于SQL語句復(fù)制的算法，另一種是基于快照復(fù)制^[3]的算法。
　　(1)測試基于數(shù)據(jù)庫服務(wù)器集群系統(tǒng)的查詢請求的吞吐量。
　　(2)測試基于數(shù)據(jù)庫服務(wù)器集群系統(tǒng)的更新請求的吞吐量。
　　從以上結(jié)果可以看出，在測試查詢請求的情況下，雖然基于SQL語句復(fù)制的算法略高些，但兩者相差不是很大，如圖4所示。在測試更新請求的情況下，差距很明顯，如圖5所示，由于基于快照復(fù)制算法的系統(tǒng)，所有的更新都在一臺主節(jié)點上進行，然后再將更新數(shù)據(jù)分發(fā)到其他備份節(jié)點。這樣，雖然能夠保證數(shù)據(jù)的一致性，但主節(jié)點很容易形成新的瓶頸，使得在節(jié)點增多的情況下，主節(jié)點負載過大。然而，基于SQL語句復(fù)制算法的系統(tǒng)，由于所傳送的為一條一條的語句，并非整塊數(shù)據(jù)，所以在節(jié)點服務(wù)器上對其處理的速度就比較快，并且內(nèi)部的網(wǎng)絡(luò)傳輸影響甚小，從而使集群整體的更新速度得到提高。