分布式流處理的高效甩負荷技術(shù).doc
約17頁DOC格式手機打開展開
分布式流處理的高效甩負荷技術(shù),在分布式流處理環(huán)境中,大量的連續(xù)查詢被分發(fā)到多個server上。數(shù)據(jù)流突發(fā)性的到達對結(jié)果的質(zhì)量有負面影響(如吞吐量,延時等)。為系統(tǒng)設(shè)置最壞情況負載的方法一般不是經(jīng)濟合理的。另一方面,突發(fā)數(shù)據(jù)率可能會在server鏈的某個點上產(chǎn)生瓶頸。瓶頸的產(chǎn)生可能是由于在這個server上對于處理能力的過量需求,或者在連接各個ser...


內(nèi)容介紹
此文檔由會員 li484167 發(fā)布
在分布式流處理環(huán)境中,大量的連續(xù)查詢被分發(fā)到多個server上。數(shù)據(jù)流突發(fā)性的到達對結(jié)果的質(zhì)量有負面影響(如吞吐量,延時等)。為系統(tǒng)設(shè)置最壞情況負載的方法一般不是經(jīng)濟合理的。另一方面,突發(fā)數(shù)據(jù)率可能會在server鏈的某個點上產(chǎn)生瓶頸。瓶頸的產(chǎn)生可能是由于在這個server上對于處理能力的過量需求,或者在連接各個server的物理網(wǎng)絡(luò)上的帶寬缺陷。瓶頸延緩了處理和網(wǎng)絡(luò)傳輸,并且導致了延遲輸出。
當一個或多個server由于大爆發(fā)量數(shù)據(jù)的到來而變得超負荷時,為了保持這些查詢結(jié)果的低延時,超出的負載需要被甩掉。由于server之間的負載依賴,在這些server之間的甩負荷決策必須被很好的協(xié)調(diào)來達到對輸出質(zhì)量的端對端控制。
本文模擬分布式甩負荷問題為一個線性優(yōu)化問題,提出了兩種可選的解決方法:一個基于求解器(solver-based)的集中式方法,一個基于元數(shù)據(jù)集合和傳播的分布式方法,該方法的集中實施也是有效的。這兩種方法都是基于事先生成一系列甩負荷計劃,用于特定輸入負載條件。我們已經(jīng)把這個技術(shù)用于北歐化工分布式流處理引擎軟件。
當一個或多個server由于大爆發(fā)量數(shù)據(jù)的到來而變得超負荷時,為了保持這些查詢結(jié)果的低延時,超出的負載需要被甩掉。由于server之間的負載依賴,在這些server之間的甩負荷決策必須被很好的協(xié)調(diào)來達到對輸出質(zhì)量的端對端控制。
本文模擬分布式甩負荷問題為一個線性優(yōu)化問題,提出了兩種可選的解決方法:一個基于求解器(solver-based)的集中式方法,一個基于元數(shù)據(jù)集合和傳播的分布式方法,該方法的集中實施也是有效的。這兩種方法都是基于事先生成一系列甩負荷計劃,用于特定輸入負載條件。我們已經(jīng)把這個技術(shù)用于北歐化工分布式流處理引擎軟件。
TA們正在看...
- xx縣“十三五”商貿(mào)流通業(yè)發(fā)展規(guī)劃.doc
- xx縣衛(wèi)計局上半年工作總結(jié)及下半年工作計劃.doc
- xx縣林業(yè)局上半年工作總結(jié)及下步工作計劃.doc
- 化工廠質(zhì)檢部管理制度.doc
- cac-gl24-1997專用詞“哈拉”使用的通用準則.ppt
- db11-z352-2006奧運會食品安全執(zhí)行標準和適用原則.doc
- db2102t021-2001大連市地方標準收購生牛奶標準.doc
- db31-160—2005盒飯衛(wèi)生和營養(yǎng)要求.doc
- db31-359-2006足浴服務(wù)衛(wèi)生要求.doc
- db330481/t021-2003浙江海寧《非洲菊》標準.doc