在分布式流處理環(huán)境中，大量的連續(xù)查詢被分發(fā)到多個server上。數(shù)據(jù)流突發(fā)性的到達對結(jié)果的質(zhì)量有負面影響(如吞吐量，延時等)。為系統(tǒng)設(shè)置最壞情況負載的方法一般不是經(jīng)濟合理的。另一方面，突發(fā)數(shù)據(jù)率可能會在server鏈的某個點上產(chǎn)生瓶頸。瓶頸的產(chǎn)生可能是由于在這個server上對于處理能力的過量需求，或者在連接各個server的物理網(wǎng)絡(luò)上的帶寬缺陷。瓶頸延緩了處理和網(wǎng)絡(luò)傳輸，并且導致了延遲輸出。
當一個或多個server由于大爆發(fā)量數(shù)據(jù)的到來而變得超負荷時，為了保持這些查詢結(jié)果的低延時，超出的負載需要被甩掉。由于server之間的負載依賴，在這些server之間的甩負荷決策必須被很好的協(xié)調(diào)來達到對輸出質(zhì)量的端對端控制。
本文模擬分布式甩負荷問題為一個線性優(yōu)化問題，提出了兩種可選的解決方法：一個基于求解器(solver-based)的集中式方法，一個基于元數(shù)據(jù)集合和傳播的分布式方法，該方法的集中實施也是有效的。這兩種方法都是基于事先生成一系列甩負荷計劃，用于特定輸入負載條件。我們已經(jīng)把這個技術(shù)用于北歐化工分布式流處理引擎軟件。