《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 基于流媒體服務(wù)器集群副本放置策略的研究
基于流媒體服務(wù)器集群副本放置策略的研究
來源:微型機與應(yīng)用2012年第16期
楊顯鈞1,徐 林1,姜浩然2
(1.四川大學(xué) 計算機學(xué)院,四川 成都610064; 2.中興通訊股份有限公司,北京100085)
摘要: 網(wǎng)絡(luò)流媒體服務(wù)具有數(shù)據(jù)流量大、服務(wù)時間長的特點,同時,高并發(fā)的服務(wù)請求會造成流媒體服務(wù)質(zhì)量明顯下降等性能瓶頸問題。針對這種現(xiàn)象,設(shè)計了一種基于Zipf分布規(guī)律的兩階段副本放置策略,并成功應(yīng)用于某市中小學(xué)心理輔導(dǎo)的視訊平臺。實踐結(jié)果表明,與傳統(tǒng)的方法相比,該方法具有較好的實用值和健壯性。
Abstract:
Key words :

摘  要: 網(wǎng)絡(luò)流媒體服務(wù)具有數(shù)據(jù)流量大、服務(wù)時間長的特點,同時,高并發(fā)的服務(wù)請求會造成流媒體服務(wù)質(zhì)量明顯下降等性能瓶頸問題。針對這種現(xiàn)象,設(shè)計了一種基于Zipf分布規(guī)律的兩階段副本放置策略,并成功應(yīng)用于某市中小學(xué)心理輔導(dǎo)的視訊平臺。實踐結(jié)果表明,與傳統(tǒng)的方法相比,該方法具有較好的實用值和健壯性。
關(guān)鍵詞: 集群;Red5流媒體負(fù)載均衡;副本放置

1 研究背景及意義
    隨著計算機網(wǎng)絡(luò)的發(fā)展和軟硬件水平的提升,作為多媒體與網(wǎng)絡(luò)結(jié)合的產(chǎn)物,流媒體技術(shù)應(yīng)運而生。流媒體技術(shù)的核心主要集中在流媒體服務(wù)器方面。隨著用戶需求多樣化、信息海量化和交互實時化,服務(wù)器性能逐漸成為用戶需求的瓶頸。如何在保證現(xiàn)有的硬件條件下有效地解決大量用戶訪問產(chǎn)生的服務(wù)器性能瓶頸,是目前乃至今后需要著力解決的課題。
    對此,有學(xué)者提出了集群的概念。服務(wù)器集群是將許多較為廉價服務(wù)器通過網(wǎng)絡(luò)和相關(guān)軟件連接起來,用以提供比單一服務(wù)更穩(wěn)定、更高效、更具擴展性的服務(wù)平臺,使整個系統(tǒng)更加健壯,從而解決單點故障可能帶來的問題。
    本文采用服務(wù)器集群的方式均衡用戶服務(wù)請求,使每臺服務(wù)器負(fù)載最優(yōu),保證了服務(wù)器可以有效地向用戶提供服務(wù)。Red5流媒體服務(wù)器提供了一種開源模式的集群架構(gòu),為了更好地模擬用戶需求,本文改進了Red5流媒體服務(wù)器的集群架構(gòu),以調(diào)度服務(wù)器為中心進行負(fù)載均衡調(diào)動,通過負(fù)反饋機制根據(jù)流媒體服務(wù)器負(fù)載量值計算權(quán)值,以此分配用戶請求的策略進行負(fù)載均衡。對于視頻文件的存儲,為了節(jié)省存儲空間和對用戶點播請求進行分流,對基于Zipf的點播分布規(guī)律的兩階段副本放置算法進行改進,從而達(dá)到對用戶請求分流的目的。
2 流媒體服務(wù)器集群及其相關(guān)改進
    流媒體服務(wù)器要處理眾多的用戶請求,并且要保證響應(yīng)速度,它還要具有傳輸數(shù)據(jù)量大、持續(xù)時間長的特點。在這種情況下,服務(wù)器集群就發(fā)揮了優(yōu)勢。它將許多較為廉價的服務(wù)器通過網(wǎng)絡(luò)和相關(guān)軟件連接起來,用以提供比單一服務(wù)更穩(wěn)定、更高效、更具擴展性的服務(wù)平臺,集群部署可以增加整個系統(tǒng)的健壯性,更好地解決單點故障帶來的問題。集群具有主動容錯性、負(fù)載均衡性等優(yōu)點[1],一方面當(dāng)集群中的某個節(jié)點出現(xiàn)問題,不能正常工作時,它的任務(wù)會自動轉(zhuǎn)移到其他正常工作的節(jié)點上,繼續(xù)為用戶提供服務(wù)。另一方面將流媒體的服務(wù)均勻分配到各個服務(wù)器上,合理地利用各個流媒體服務(wù)器的資源,能更好地為用戶提供服務(wù)。
    對此,Red5技術(shù)提供了一套服務(wù)器集群解決方案。在Red5環(huán)境中,邊服務(wù)器會將相同范圍的用戶請求分配到同一源服務(wù)器,所有源服務(wù)器上需要存儲相同視頻,邊服務(wù)器采用輪詢方式分配用戶請求。這種方式存在負(fù)載不均衡、存儲效率低等問題。本文在此集群方案基礎(chǔ)上,對Jabber系統(tǒng)進行了改進并提出了一種更簡潔實用的方案,如圖1所示。

    在這個方案中,調(diào)度服務(wù)器實時監(jiān)控服務(wù)節(jié)點的負(fù)載狀況,使調(diào)度相關(guān)策略在調(diào)度服務(wù)器上實施,從而將具體服務(wù)與請求調(diào)度分離。在此基礎(chǔ)上,調(diào)度器動態(tài)采集流媒體服務(wù)器的負(fù)載。其核心思想就是充分合理利用每臺服務(wù)器的剩余處理能力,將熱門影片合理復(fù)制到各個流媒體服務(wù)器上,使熱門影片有多個副本,這樣可以達(dá)到用戶點播請求分流的作用,而點播次數(shù)低的視頻文件則少存儲幾份,以此達(dá)到節(jié)省服務(wù)器空間的目的。
3 流媒體服務(wù)器集群中的副本放置
    流媒體服務(wù)器集群中的視頻存儲問題關(guān)鍵在于副本放置。其原理是為了解決集群環(huán)境下單臺服務(wù)器負(fù)載過重的問題。具體而言,就是對某些點播頻繁的視頻進行復(fù)制,將其副本放置到其他服務(wù)器,以達(dá)到分流的目的;當(dāng)視頻訪問熱度下降時,還要考慮刪除副本,以節(jié)省存儲空間。副本放置的相關(guān)算法有閾值算法、兩階段算法、背包問題算法[2]等,這些算法中有些可以應(yīng)用在大型視頻點播系統(tǒng)中,但算法過于復(fù)雜,甚至沒有考慮到視頻點播概率的動態(tài)變化[3]。針對上述情況,本文采用了基于Zipf分布規(guī)律的副本放置策略,這樣既達(dá)到均衡效果,也節(jié)省了存儲空間。

 



3.3 視頻副本清理策略
    為體現(xiàn)視頻熱度的變化,需要根據(jù)每天的點播情況改變視頻熱度,保證熱度低的視頻副本不過多地占用服務(wù)器空間,需定期進行清理[6]。具體而言,就是根據(jù)該檢索數(shù)據(jù)庫中的視頻信息表,判斷當(dāng)天的視頻點播是否達(dá)到閾值,如果未達(dá)到則在總的點播次數(shù)上減去相應(yīng)值,表示該影片的熱度下降,反之則加上當(dāng)天的點播次數(shù),表示熱度上升。如果該熱度小于刪除的閾值,則向流媒體服務(wù)器發(fā)送刪除命令。流程如圖3所示。

    本文深入研究了Red5流媒體服務(wù)器集群相關(guān)技術(shù)以及現(xiàn)有的Red5集群解決方案,發(fā)現(xiàn)其中的不足,采用了一種基于Zipf分布規(guī)律的副本放置策略和負(fù)反饋動態(tài)負(fù)載均衡調(diào)度相結(jié)合的方式對用戶請求進行分流,以提高系統(tǒng)服務(wù)質(zhì)量,并將該方法成功應(yīng)用于某市中小學(xué)心理康復(fù)綜合社會救助服務(wù)系統(tǒng)。該平臺旨在建立中小學(xué)生心理康復(fù)綜合社會援助技術(shù)支撐體系和輔導(dǎo)體系。該方法不僅適應(yīng)于上述平臺,同時對其他的負(fù)載均衡集群系統(tǒng)也具有一定的借鑒及參考意義。此外,隨著用戶信息和資源文件增長,在保證服務(wù)器數(shù)據(jù)安全性的基礎(chǔ)上,如何確保其健壯性,引入云計算平臺并實現(xiàn)海量數(shù)據(jù)的分布式存儲,進而更好地對平臺提供技術(shù)上的支持,達(dá)到更高的可用性,將是下一步研究的重點。
參考文獻
[1] 李子民.基于LVS的集群動態(tài)負(fù)載均衡算法研究[D].成都:電子科技大學(xué),2009.
[2] 周航.大規(guī)模流媒體服務(wù)系統(tǒng)存儲調(diào)度研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2007.
[3] 姜琳.流媒體服務(wù)器的存儲策略[D].上海:復(fù)旦大學(xué),2010.
[4] 宋曉華,黃河清,曹元大.基于用戶訪問統(tǒng)計特性的流媒體文件復(fù)制策略[J].南京理工大學(xué)學(xué)報,2007,31(50):617-621.
[5] 姜浩然,徐林.基于RTMP的流媒體服務(wù)器的研究[J].計算機與數(shù)字工程,2011,39(10):104-108.
[6] 陳世明.基于Lucene與RTMP的學(xué)生心理健康實時視訊平臺的設(shè)計與實現(xiàn)[D].成都:四川大學(xué).2011.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。