一种可伸缩的多租户数据自适应存储方法

《一种可伸缩的多租户数据自适应存储方法》由会员分享，可在线阅读，更多相关《一种可伸缩的多租户数据自适应存储方法（19页珍藏版）》请在装配图网上搜索。

1、一种可伸缩的多租户数据自适应存储方法谷连超;崔立真【摘要】多租户是云应用的主要特征，在共享数据存储模式下,如何根据不同租户对数据请求的性能需求，实现多节点的数据动态伸缩存储是云数据管理的关键.提出一种可伸缩的多租户数据自适应存储方法，主要包括一个分段多维性能边界模型，用于判定数据节点能否满足不同租户的性能需求;一个基于贪婪的数据存储布局调整策略生成算法，制定对过载节点数据的移动和对未过载节点数据合并的策略.通过实验系统分析,该方法能够准确预测和判断系统是否过载，通过控制较少的数据移动，减少对系统性能的影响，使得云中共享数据节点能够满足不同租户的性能需求【期刊名称】计算机研究与发展【年(卷)，期

2、】2014(051)009【总页数】12页(P2058-2069)【关键词】多租户;可伸缩启适应;性能预测;数据存储【作者】谷连超;崔立真【作者单位】山东大学计算机科学与技术学院济南250101;山东大学计算机科学与技术学院济南250101【正文语种】中文【中图分类】TP311.13随着云计算的应用不断深入，具有多租户特点的SaaS(软件及服务)应用成为云计算时代主要的软件服务模式，为越来越多的企业所采用.多租户应用主要有两大特征：1）单实例多租户.应用被多个租户租赁，并且每个租户都可以按需定制应用.租户的个性化定制除了业务功能外，还包括对应用的性能需求不同，比如应用可靠性、可用性的要求.租户

3、租赁应用时与服务提供商签订服务水平协议（servicelevelagreement,SLA），其中定义了提供给租户的服务指标.2）系统能够弹性适应多租户需求.云计算提供一个弹性的计算和数据存储资源池，随着租户规模和请求压力变化，系统能够在负载高峰期增加新资源保证多租户应用的服务质量，在负载降低时释放空闲资源维持整体成本开销.云中多租户应用呈现数据驱动特征，即业务执行需要大量数据支撑.多租户特征也为云中数据驱动应用带来以下诸多挑战：1）如何在云计算共享基础设施上保证不同租户的性能隔离.由于租户在租赁和定制应用时与服务提供商签订SLA，其中规定了提供给租户的服务指标及为此应缴纳的费用，不同租户其系

4、统性能需求是不同的，如缴费较多的高等级租户对数据访问的性能要求是“99%的请求响应时间保证在100ms内1”，而低等级租户可能要求在1s内完成即可.2）云中共享数据节点如何满足不同租户的性能需求.云中数据一般采用共享存储，每个数据节点往往存储了不同租户数据，这些租户的性能需求不同，如何保证每个数据节点能够满足多个不同租户的性能需求，实现数据自适应存储将面临更大的困难.3）当服务节点不能满足多租户性能需求时如何控制数据的布局.即多租户应用充分借助云资源弹性的特点，在租户规模大、请求量多时，能够将数据自动迁移到其他空闲节点，以满足不同租户对系统的性能要求；请求量少时又能自动将较为空闲的数据合并，节

5、省硬件资源.本文提出一个可伸缩的多租户数据自适应存储方法解决上述问题，包括一个分段多维性能边界模型，用于判定数据节点能否满足不同租户的性能需求；一个基于贪婪的数据存储布局调整策略生成算法，指定对过载节点数据的移动和对未过载节点数据合并的策略.为应对上述挑战，主要贡献如下：1）将租户数据组织为较小单位的数据块，不同租户存储的数据块不同，通过每个数据块的性能监控，实现多租户的性能隔离.2）提出一种多租户数据存储节点性能判定模型.用于判定云计算中的共享数据节点整体上是否满足不同租户的性能需求.3）提出一种多租户数据伸缩布局策略.针对云中过载的数据节点，将部分数据块移到其他节点，针对过度空闲的数据节点

6、，将数据进行合并以空出多余资源.同时在对数据进行移动和布局的过程中，需要考虑数据移动带来的性能影响，尽量减少数据的移动.1相关工作在云计算环境中，数据存储动态可伸缩性成为研究热点.文献2提出云数据库可伸缩的概念，主要指能够在负载增大时通过增加数据节点方式实现水平扩展的能力.文献3提出基于key-value存储模式的可伸缩数据管理系统G-store.文献4提出ElasTraS解决传统关系型数据库在云环境中的数据伸缩存储问题，传统的关系数据以“Treeschema”方式实现划分.许多文献对分布式数据动态存储布局进行研究.文献5在系统未运行时对存储系统进行静态布局，使用效用函数方式搜索配置空间求解最

7、优值.文献6提出针对数据伸缩的数据库副本策略.文献7设计控制器通过增加和删除节点实现数据重平衡，其关注指标是数据重布局速度.文献8提出一种有效的过载控制策略，解决过载数据节点中数据移动问题，实现负载平衡.文献9提出Kairos解决数据库合并问题，实现负载平衡和降低服务节点数量.文献10设计SCADSDirector控制架构，实现基于模型预测控制（modelpredictivecontrol,MPC)方法的数据自适应存储.文献11提出利用状态空间反馈控制理论实现云中key-value类型的数据动态存储.面向多租户数据存储的相关研究中，文献12提出多租户数据库，并阐述弹性负载平衡和数据迁移是保证资

8、源利用率和降低操作开销的关键技术.文献13提出基于成本效益的数据布局算法，实现满足多个目标的云数据库智能布局.文献14提出一种解决租户不同性能需求下的数据布局框架，目标是满足不同租户关于数据吞吐量的性能要求，同时减少DaaS提供商的整体运营开销.在云计算与性能预测模型方面，文献15提出使用分析模型解决多租户数据放置问题；文献16研究多租户下系统性能预测的相关方法；文献17使用模型方法估计分析型负载中并发请求对请求响应时间的影响；文献18提出利用资源使用情况去构建性能模型，预测联机事务处理系统(on-linetransactionprocessing,OLTP)应用的吞吐量.关于云中资源的伸缩控

9、制，文献19提出一个代价感知系统去解决云中资源弹性供应问题；文献20设计存储系统中数据迁移引擎，保证关于平均请求响应时间的性能服务水平目标(servicelevelobject,SLO).2问题描述与形式化定义本节将介绍多租户应用中可伸缩的数据自适应存储，定义相关概念，最后形式化地给出可伸缩的多租户数据自适应存储问题.2.1问题描述图1给出了云中可伸缩的多租户数据自适应存储场景图.众多租户与SaaS应用提供商签订SLA,以租赁形式对同一SaaS应用实例进行定制使用.SaaS应用提供商为降低成本往往采用共享数据存储模式，即不同租户数据共享底层的数据存储节点，这样一个数据节点上往往存储不同租户数据

10、集合.Fig.1Scenarioofscalablemulti-tenantadaptivedatastorage.图1可彳申缩的多租户数据自适应存储场景图由于多租户特征，不同租户对应用的性能需求不同，尤其在以数据驱动为主的多租户应用中，关于数据访问的性能需求是不同的.这些性能需求通常在租户租赁应用时与服务提供商签订的SLA中规定，本文主要关注数据请求的响应时间要求.例如高等级租户支付费用高，预期的性能需求高，即期望在更短的时间内响应数据请求，其SLA规定“99%的请求响应时间保证在100ms内”.不同租户对响应时间要求不同，如低等级租户可能要求在1s内完成即可.多租户应用负载波动大，底层租户

11、数据存储需要动态自适应调整.当数据节点处理过多数据访问请求而处于过载状态时，无法满足不同租户对数据访问响应时间的性能要求，影响租户的用户体验；而当数据节点由于数据访问量少而处于空闲状态时，其资源使用率低.SaaS应用的数据管理系统需要一种数据伸缩控制方法，实现租户数据的自适应调整，即过载服务器中过热数据移至其他数据节点，以保证满足不同租户数据访问的性能要求；而空闲服务器进行数据合并以降低系统资源开销.2.2形式化定义为了实现共享数据节点上不同租户性能的隔离，减少数据节点之间移动的数据量，降低数据移动对数据节点性能影响，将租户数据划分成细粒度的数据块，是逻辑上不可再分的存储单元.key-valu

12、e数据可以基于key实现range划分，关系型数据库使用“Treeschema4”方式实现.每个租户数据被划分成若干大小相等的数据块，每个大约64MB左右.所有租户数据块分布存储在不同数据节点上，是负载监测和数据移动的基本单元.定义1.数据块.为二元组DataChunk=U,DW，其中U表示数据块所属租户，DW表示数据块负载，即单位时间内访问该数据块的请求量.所有租户的数据块构成集合m表示所有租户数据块总数，需要合理设计.m过小会导致数据伸缩控制灵活性下降，过大则增加负载监测困难.每个数据节点存储510个数据块为宜.定义2.数据节点.为三元组DataNode=DCSub,DNW,P，其中，DC

13、Sub是DCSet子集，表示数据节点存储的数据块集合；DNW表示数据节点负载，DNW=JDWi,DataChunkieDCSub;P=overloaded,underloaded)表示数据节点的性能状态.过载状态overloaded表示数据节点处理数据请求的响应时间无法满足相应租户的要求，反之则是未过载状态underloaded;生产环境中所有数据节点构成集合，h表示数据节点总使用数.定义3.租户性能需求.为租户访问数据的响应时间要求，在与服务提供商签订的SLA中进行描述，通常表示为：99%的请求在100ms内完成.因此，将租户性能需求定义为R=U,LT，其中U表示租户标识，LT表示租户对数据

14、访问的响应时间要求，比如100ms，不同租户的LT是不同的.定义4.数据存储布局.为映射关系f:DCSet-DNSet,表示不同租户数据块存储在不同数据节点的关系.定义5.数据存储布局调整策略.数据存储布局调整策略(datastoragelayoutadjustmentstrategy,DSLAS)是指一系列针对数据块和数据节点的操作序列，主要包括以下3种操作：2 1)Move(DataChunki,DataNodes,DataNoded)表示数据块DataChunki从数据节点DataNodes移动至DataNoded;)Add(DataNodei)表示新增数据节点DataNodei到DNS

15、et;)Delete(DataNodei)表示从DNSset中删除数据节点DataNodei.定义6.可伸缩的多租户数据自适应存储问题.给定数据块集合DCSet、数据节点集合DNSet和当前数据存储布局，根据数据块的负载变化，求解数据存储布局调整策略DSLAS.求解的数据存储布局调整策略满足以下目标：1)调整后的数据布局中，每个数据节点都处于未过载状态；2）调整后DNSet集合基数h最小；3）租户性能需求相近的数据块尽量存储在同一数据节点上；4）DSLAS的Move操作尽量少.3多租户数据自适应存储方法3.1方法概述为解决可伸缩的多租户数据自适应存储问题，本文根据SCADSDirector的M

16、PC思想，提出一种可伸缩的多租户数据自适应存储方法，如图2所示，主要由3部分组成：分段多维性能边界模型、负载监测与预测和数据存储布局调整策略生成算法.策略调度和执行不是本文关注点，同时本文假设底层数据存储节点硬件配置是相同的，即同构节点.Fig.2Methodofscalablemulti-tenantadaptivedatastorage.图2可伸缩的多租户数据自适应存储方法示意图多租户数据自适应存储方法总体过程如下：1）在离线状态下对单个数据节点进行性能基准测试，通过统计机器学习方法构建性能边界模型，用来判定该数据节点是否处于过载状态，并指导数据布局调整策略的生成；2）实时监测每个数据节点

17、的负载，结合历史数据对每个数据节点负载给出预测，作为数据存储布局调整策略生成算法的输入；3）基于性能模型和负载预测，结合当前数据存储布局，使用基于贪婪思想的数据存储布局调整策略生成算法求解DSLAS.考虑到租户数据负载的波动性，每隔一定时间执行一次数据存储布局调整，以保证不同租户的性能需求.定义7.调整周期.将进行数据存储布局调整的时间间隔T定义为一个调整周期.调整周期由系统管理员设定，要设定合适的大小，若过小会导致数据存储调整的震荡，影响整体性能；若过大则会掩盖某些违反租户性能需求的情况.3.2性能模型建立本文设计一个分段多维性能边界模型（piecewisemultipleboundarym

18、odel）,用来判断数据节点的性能状态并指导数据存储调整策略的生成.性能模型输入是数据节点存储所有数据块的负载，输出是数据节点的性能状态.为方便分段多维性能边界模型的建立，本文根据租户性能需求中响应时间的要求将所有租户划分为3个等级，表1展示了实验中租户划分的标准：Table1TenantClassification表1租户划分标准TenantClassLT/100SilverTenant(100,200BronzeTenant(200,300msGoldTenanty表示x/y大于5或小于1/5,xy表示乂0位于1/5与5之间.Table2ValueRangeofVariableW表2自变量

19、W取值范围FunctionNumberVariableWW0w0w1,w2orw1w0,w2orw2w0,w1W1w0,w1w2W2w0,w2w1W3w1,w2w0W4w0竺w1竺w2W5w0,w1,w2onlyexistanon-zero基准测试数据按表2标准划分成6组，每组数据使用Logistic回归方法计算decisionboundary中各段函数的参数值0,共求得6组参数0,从而完成分段多维性能边界模型的构建.3.3负载监控和预测多租户数据自适应存储需要感知每个数据块的负载状态，进行负载预测，并使用分段多维性能边界模型判定每个数据节点未来的性能状态，从而进行数据存储布局调整.系统实时统

20、计调整周期内每个数据块的数据请求访问量，计算出每个数据块的负载，其单位是request/s.稳定系统中采用指数平滑技术进行负载预测，考虑到SaaS应用租户数据呈现长期增长趋势，使用一次指数平滑的方法进行预测.设置两个平滑参数aup和adown(aupadown)，若测值相对于预测值增大时使用aup，否则使用adown.一次指数平滑公式为SmoothedT+1=PredictT+ax(ObservedT-PredictT).其中，PredictT表示前一个调整周期T-1对当前周期T的负载预测值，ObservedT表示当前周期T的负载监测值，auaup,adown是平滑参数，SmoothedT+1

21、表示调整周期T+1的平滑值.由于期望能够尽早判定出处于过载状态的数据节点，从而及时进行数据存储调整，因此对平滑值进行相应系数扩大，形成一种安全的缓冲”10.引入扩大因子B，最终数据块负载预测值为(1+B)SmoothedT+1.数据存储布局调整策略要尽量保证数据节点的负载在未来比较稳定，因此需要一种机制能够预测数据块在未来若干调整周期内的负载.本文引入一种滑动窗口机制解决上述问题，总体思路如图4所示.定义8.滑动窗口SW.为数据块在未来若干个调整周期的负载预测值序列，即假设当前调整周期为T,则SW=(PWT+1,PWT+2,.,PWT+s),s表示窗口大小，如图4所示，实验中s设为5.Fig.

22、4Slidingwindowmechanism.图4滑动窗口机制示意图滑动窗口机制的核心思想是认为负载变化具有滞后性，当前负载变化趋势会延续至未来.滑动窗口一直随时间进行滑动，当前调整周期从T-1变为T时，根据滑动窗口中周期T的预测值和周期T的实际观测值，使用上述平滑方法更新滑动窗口中周期T+1的预测值，并假设预测值为实际观测值，迭代计算T+2到T+5的预测值，从而完成整个窗口的更新.滑动窗口根据数据块的历史数据完成初始化，并直保持未来5个调整周期的负载预测值.基于滑动窗口机制的负载预测伪代码如下：算法1.基于滑动窗口机制的负载预测方法.输入：ObservedT;(PWi),i=T,T+1,T

23、+2,T+3,T+4;输出：(PWj),j=T+1,T+2,T+3,T+4,T+5. 假设当前调整周期T更新后的SW=(x0,x1,x2,x3,x4);变量i=0,observe=ObservedT;whilei5predict=PWT+i;smooth=predict+ax(observe-predict);xi=(1+p)xsmooth;observe=xi;i+;endwhilereturnSW.3.4数据存储布局调整策略生成3.4.1算法概述数据存储布局调整策略类似求解装箱问题，但求解装箱问题时并未考虑当前数据存储布局情况，生成的数据存储布局调整策略容易产生非常大的开销.本文提出基于贪

24、婪的启发式算法，能够求解优化的数据存储布局调整策略DSLAS.如图5所示，本文提出的数据存储布局调整策略生成算法分为3个阶段：1)根据数据块的负载预测值和当前数据存储布局，使用分段多维性能边界模型判断每个数据节点的性能状态.按照数据节点的性能状态将数据节点集合DNSet划分为两类:处于过载状态的数据节点构成集合OverloadedSet;处于未过载状态的数据节点构成集合UnderloadedSet.2)针对属于OverloadedSet的数据节点生成Move/Add调整策略.3)针对属于UnderloadedSet的数据节点生成Move/Delete调整策略.最终，合并2)3)结果，得到数据存

25、储布局调整策略DSLAS.Fig.5Overviewofdatastoragelayoutadjustmentstrategygenerationalgorithm.图5数据存储布局调整策略生成算法概述图3.4.2数据存储布局调整策略生成第1阶段在当前调整调整周内，根据每个数据块的负载预测值，计算数据节点在下一个调整周期的负载预测值.由于将租户分为3个等级，数据节点负载DNW预测值可以表示为3维向量(WG，WS，WB)，每个分量表示每个等级租户的负载预测值.将数据节点的负载预测值作为分段多维性能边界模型的输入W，使用分段多维性能边界模型判断数据节点在下个调整周期的性能状态，处于过载状态的数据节

26、点归入OverloadedSet中，否则归入UnderloadedSet中.3.4.3数据存储布局调整策略生成第2阶段处于OverloadedSet中的过载数据节点主要考虑通过Add/Move操作保证这些数据节点能够满足不同租户的性能需求.定义9.数据节点负载阈值WT.为在保证租户性能需求的前提下，只服务金牌租户的负载上限值.定义10.候选数据块CDC.为过载数据节点中其负载值最接近数据节点负载与数据节点负载阈值之差的数据块.即定义11.租户相近度TS.为数据节点上数据块所属租户的性能需求LT的方差，即TS=variance(LTi),Ri.U=DataChunkj.UADataChunkje

27、DCSub.定义12.数据节点负载变化度DNWV.为数据节点在未来若干调整周期内负载预测值的方差，即DNWV=variance(DNWi),i=T+1,T+2，T+k,其中，T为当前调整周期，实验中设定k取5.定义13.数据节点开销cost.为数据节点的租户相近度和负载变化度的加权值，即cost部xTS+yxDNWV.Fig.6Secondstepofdatastoragelayoutadjustmentstrategygenerationalgorithm.图6数据存储布局调整策略生成第2阶段流程图第2阶段流程图如6所示，针对OverloadedSet中每个数据节点，选择候选数据块进行移动；

28、对每个候选数据块，从UnderloadedSet中查找能够容纳该数据沽*4ff*as舜捞昏萍甫洲汕、西m扁济SM(candidateDaorNodeSei、CDNS)朔扁济莆*暨驾ft洲汕、sAdds;皿费弟汕m3)4)，issl、济商*OverloadedSei;SEE-DSLAS4O.sDSLAS4O甘rt-wh=eOverloadedSeiT甘rt济ffiDaorNodeiaHHoverloadedSei;wh=eDaorNodeiP甘overloadedisffiCDCmDaorNodei;wUnderloadedSei-fl-idsMCDNS;QifCDNS甘rtmAdd(DaiaN

29、odeh)；时球Move(CDCDaiaNodei、DaiaNodeh)；苗DaorNodehsUnderloadedSei;e-se好CDNS-fl-cost:蜘昏萍甫洲汕DaorNodemin;时球Move(CDC、DaorNodei、DaorNodemin)；endif苗Add、M0ve=*DSLAS4。；endwz-ewOverloadedSei-fl-匡编DaorNodei;endwz-eeiumDSLAS4。3443s序HHunderloadedSei-fl-s*asfflH+ffl#aaaMOV&De-eie奋、S8S1.H7fnlEE溯3UH.iunderoadedSei注苗序

30、ffi沙蝉*ms萍ffl洲汕、；皿克萍ffl洲汕W港沙sunderoadedS2-毋si、Mafflsm溯2n、w理旅、溯3.Fig7Thirdsiepofdaorsiorage-ayouiadjusimenisiraiegygenerationa-goshmH7萍甫也蹄浙aDs瓣溯Eg时mw写Bffl5H讲3.UnderloadedS2.SK溯时球谢-UnderloadedSei;s.DSLAS4U.DSLAS4U甘rt-wh=eUnderloadedSeiT甘rt济ffi$ls*-DaarNodQSDHHUnderloadedSei;wh=eDaorNodeiDCSubT甘rt济浦沙蝉蜘汁

31、Daorchunkg;wfUnderloadedSei-DaorNode二-fl-idsMCDNS;QKCDNSTSrt好CDNS-fl-cost:蜘昏萍甫洲汕DaorNodemin;时球Move(Daorchunkg、DaorNodei、DaorNodemin)-e-se霎mK*aDaorNodQ渊415奋；goto;endifendwhileDelete(DataNodei)，并从UnderloadedSet中删除DataNodei;把Delete/Move操作并入DSLAS4U；endwhilereturnDSLAS4U.4实验4.1实验环境与设置实验环境设计架构图如8所示，由5部分构成

32、，客户端模拟租户请求，Web服务器和数据服务器实现了两层的电子商务系统架构，分析节点用来统计分析每个租户请求的响应时间，目录节点记录了数据存储的元数据.数据库采用基于key-value的内存数据库，共设定15个租户，每个租户数据量为1.5GB左右，数据块大小设为64MB，即每个租户为24个数据块，总共有360个数据块.Fig.8Architectureofexperimentsetup.图8实验环境架构图实验环境设定如表3所示：Table3ExperimentSetupParameters表3实验环境设定ExperimentParametersValueClientNumber20WebSer

33、verNumber5DataNodeNumber120DataNodeCapacity/MB600IntervalT/s20TCountsinExperiment100数据节点采用一种简单调度策略解决不同等级租户的请求调度问题，核心思想是相对剩余时间最小的请求优先执行.相对剩余时间定义为(LTTwait)/LT,其中LT表示租户响应时间要求，Twait表示请求已经等待的时间.根据4.2节构建分段多维性能边界模型的方法，使用基准测试数据求出decisionboundary表达式6组参数。，最终函数表达式如下：1)W=W0时：g(W)=-0.03161w20+5.7249e-6w21+2.1128

34、e-6w22+1.7317e-6w0w1-6.5208e-7w0w2+9.1136e-6w1w2-8.1317e-7w0-0.01589w1-0.01218w2-0.01118.)W=W1时：g(W)=-0.07414w20+4.7849e-6w21+4.5149e-6w22-0.0069w0w1+1.3276e-5w0w2+0.0001658w1w2+0.0002028w0-0.03774w1-0.03659w2-0.03564.2 )W=W2时：g(W)=-0.1035w20+9.7117e-6w21-9.1614e-5w22+7.6304e-6w0w1+7.5615e-6w0w2+2.8

35、892e-5w1w2+1.8194e-5w0-0.05171w1-0.05448w2-0.05112.4)W=W3时：g(W)=-0.09271w20-0.007467w21+6.448e-6w22+4.6506e-6w0w1+0.001894w0w2+1.4477e-5w1w2+0.0002203w0-0.04629w1-0.04721w2-0.04468.5)W=W4时：g(W)=-0.02618w20+2.5249e-6w21+2.2528e-6w22+2.0923e-6w0w1+4.6276e-6w0w2+4.1489e-6w1w2+4.2152e-6w0-0.01295w1-0.01

36、298w2-0.01306.6)W=W5时：g(W)=-7.9663w20+0.0005048w21+0.0005134w22+0.0005155w0w1-3.3376w1-3.5109w2-3.6139.其中，W=(w0,w1,w2)表示3个等级租户负载.4.2分析实验通过在不同参数下运行数据存储布局调整策略生成算法，从数据节点使用数、每个调整周期平均Move操作数和算法执行时间3个方面进行分析.如表4所示，共设计4个场景，每个场景中3种等级租户数是不同的.图9给出在数据块总数变化的条件下平均每个调整周期的数据节点使用量.如图9所示，随着数据块总数增大，4个场景下的数据节点使用量均呈递增趋势

37、；场景1仅有金牌租户，性能需求最高，其数据节点使用量高于其余3个场景，反之场景4的数据节点使用量低于其余场景.Table4FourDifferentScenariosinExperiments表4实验设定4种场景ScenarioThreeClassesTenantsRatio(Gold/Silver/Bronze)SC115/0/0SC25/5/5SC30/15/0SC40/0/15图10给出在数据块总数变化的条件下平均每个调整周期Move操作数的变化.如图10所示，4个场景下Move操作数相差不大，场景2略高于其余场景.Fig.10Moveoperationnumberperinterval

38、atdifferentDataChunktotalnumberunderdifferentscenarios.图10不同场景和数据块总数的Mov。操作数图11给出在数据块总数变化的条件下算法平均执行时间的变化.如图11所示，随着数据块总数增大，算法执行时间呈递增趋势，但非指数级别，而且不同场景之间的差距不大.Fig.11ExecutiontimeperintervalatdifferentDataChunktotalnumberunderdifferentscenarios.图11不同场景和数据块总数下算法执行时间综合上述实验，说明数据存储布局调整策略生成算法在处理不同场景下是稳定的，没有特别

39、大的差异.4.3对比实验针对多租户数据存储布局调整的算法比较少，现有研究主要是采用基于贪婪的方法.在查阅相关文献和研究当前Hadoop所采用的数据存储负载均衡算法后，设计两种方法与本文的算法从数据节点使用量、租户相近度和Move操作数3个方面进行对比，说明算法有效性.方法1.将数据存储布局调整策略生成算法中候选数据块的选择改为随机算法，其余步骤相同.方法2.实现基于Hadoop存储管理的负载均衡算法21，核心是随机化选择候选数据块，并且候选解集中的目标数据节点也随机化选择：遍历全部未过载节点，第1个能够容纳该候选数据块的数据节点被选为目标数据节点.图12对比3种方法在每个调整周期内的数据节点使

40、用量.本文提出的算法在选择候选数据块和搜索候选解集时考虑到保持数据节点负载相对平稳的趋势，因此，如图12所示，相比方法1和方法2来说，其数据节点使用量呈现逐渐稳定的趋势.图13对比了3种方法中平均每个数据节点的租户相近度.本文的算法和方法1从候选解集中选择目标数据节点时考虑到租户相近度这个因素，因此相对于方法2呈现下降趋势.相对于方法1,本文关于候选数据块的选择策略能够保证数据布局的相对稳定，因此其曲线更加平稳.Fig.12ComparisonDataNodenumberusedinthreealgorithms.图123种方法的数据节点使用量对比Fig.13ComparisonTSinthr

41、eealgorithms.图133种方法的租户相近度对比Fig.14ComparisonMoveoperationnumberinthreealgorithms.图143种方法的Move操作数对比图14对比3种算法生成的Move操作数.横坐标以10个调整周期作为一个计数周期，计算计数周期内每个调整周期Move操作数的平均值，生成Move操作数曲线.在进行数据块移动时，本文的算法考虑到保证数据节点负载在未来的稳定性，因此，相对于方法1和方法2来说，其Move操作数少于方法1和方法2，且Move操作数曲线更加平稳.上述3个对比实验说明本文提出的数据存储布局调整策略生成算法能够在保证每个数据节点处于

42、未过载状态前提下，减少数据节点使用量，保证租户相近度，控制较少的数据移动.5总结与未来工作随着云计算发展，具有多租户特征的云应用成为主要软件服务模式.云中多租户应用具有两大特征：单实例多租户和系统能够弹性适应多租户需求.当前多租户应用呈现数据驱动特点，而多租户特性也为此类应用带来三大挑战.为此本文提出一种可伸缩的多租户数据自适应存储方法，主要包括分段多维性能边界模型和数据存储布局调整策略生成算法.给出了多租户数据自适应存储的问题定义，介绍了多租户数据自适应存储方法，通过实验构建分段多维性能边界模型实例，并验证数据存储布局调整策略生成算法有效性.下一步工作将主要研究如何保证多租户应用的多种性能指

43、标，考虑底层异构数据节点的情况，并通过建立资源模型提高性能模型的准确性.参考文献1CooperBF,RamakrishnanR,SrivastavaU,etal.PNUTS:Yahoo!shosteddataservingplatformJ.ProcoftheVLDBEndowment,2008,1(2):1277-12882AgrawalD,EIAbbadiA,DasS,etal.Databasescalability,elasticity,andautonomyinthecloudC/Procofthe16thIntConfonDatabaseSystemforAdvancedApplic

44、ations.Berlin:Springer,2011:2-153DasS,AgrawalD,EIAbbadiA.G-Store:AscalabledatastorefortransactionalmultikeyaccessinthecloudC/Procofthe1stACMSymponCloudComputing.NewYork:ACM,2010:163-1744DasS,AgarwalD,EIAbbadiA.ElasTraS:Anelastic,scalable,andself-managingtransactionaldatabaseforthecloudJ.ACMTransonDa

45、tabaseSystems,2013,38(1):1-455StrunkJD,ThereskaE,FaloutsosC,etal.UsingutilitytoprovisionstoragesystemsC/Procofthe6thUSENIXConfonFileandStorageTechnologies.Berkeley,CA:USENIXAssociation,2008:1-166ChenJin,SoundararajanG,AmzaC.AutonomicprovisioningofbackenddatabasesindynamiccontentwebserversC/Procofthe

46、3rdIntConfonAutonomicComputing.LosAlamitos,CA:IEEEComputerSociety,2006:231-2427LimHC,BabuS,ChaseJS.AutomatedcontrolforelasticstorageC/Procofthe7thIntConfonAutonomicComputing.NewYork:ACM,2010:1-108SunXiling,XuJiajie,DingZhiming,etal.AnefficientoverloadcontrolstrategyincloudG/Procofthe14thIntConfonWeb

47、TechnologiesandApplications.Berlin:Springer,2012:11-189CurinoC,JonesEPC,MaddenS,etal.Workload-awaredatabasemonitoringandconsolidationC/Procofthe2011ACMSIGMODIntConfonManagementofData.NewYork:ACM,2011:313-32410TrushkowskyB,BodikP,FoxA,etal.TheSCADSdirector:Scalingadistributedstoragesystemunderstringe

48、ntperformancerequirementsC/Procofthe9thUSENIXConfonFileandStorageTechnologies.Berkeley,CA:USENIXAssociation,2011:163-17611MoulaviMA,Al-ShishtawyA,VlassovV.State-spacefeedbackcontrolforelasticdistributedstorageinacloudenvironmentC/Procofthe8thIntConfonAutonomicandAutonomousSystems.SintMaarten:IARIA,2

49、012:18-2712ElmoreAJ,DasS,AgrawalD,etal.TowardsanelasticandautonomicmultitenantdatabaseC/Procofthe6thIntWorkshoponNetworkingMeetsDatabases.NewYork:ACM,201113YuTao,JieQiu,ReinwaldB,etal.IntelligentdatabaseplacementincloudenvironmentC/Procofthe19thIEEEIntConfonWebServices.LosAlamitos,CA:IEEEComputerSoc

50、iety,2012:544-55114LangW,ShankarS,PatelJM,etal.Towardsmulti-tenantperformanceSLOsC/Procofthe28thIEEEIntConfonDataEngineering.LosAlamitos,CA:IEEEComputerSociety,2012:702-71315CurinoC,JonesEPC,PopaRA,etal.Relationalcloud:Adatabase-as-a-serviceforthecloudC/Procofthe5thBiennialConfonInnovativeDataSystem

51、sResearch.NewYork:ACM,2011:235-24016AhmadM,BowmanIT.Predictingsystemperformanceformulti-tenantdatabaseworkloadsC/Procofthe4thIntWorkshoponTestingDatabaseSystems.NewYork:ACM,201117DugganJ,CetintemelU,PapaemmanouilO,etal.PerformancepredictionforconcurrentdatabaseworkloadsC/Procofthe2011ACMSIGMODEIntCo

52、nfonManagementofdata.NewYork:ACM,2011:337-34818MozafariB,CurinoC,MaddenS.DBSeer:ResourceandperformancepredictionforbuildinganextgenerationdatabasecloudC/Procofthe6thBiennialConfonInnovativeDataSystemsResearch.NewYork:ACM,201319SharmaU,ShenoyP,SahuS,etal.Acost-awareelasticityprovisioningsystemforthec

53、loudC/Procofthe31stIntConfonDistributedComputingSystems.LosAlamitos,CA:IEEEComputerSociety,2011:559-57020LuChenyang,AlvarezGA,WilkesJ.Aqueduct:OnlinedatamigrationwithperformanceguaranteesC/Procofthe1stConfonFileandStorageTechnologies.Berkeley,CA:USENIXAssociation,2002:219-23021LiuKun,XiaoLin,ZhaoHaiyan.ResearchandoptimizeofclouddataloadbalancinginHadoopJ.Microeletronics&Computer,2012,29(9):18-22(inChinese)(刘琨，肖琳，赵海燕.Hadoop中云数据负载均衡算法的研究及优化J.微电子学与计算机，2012,29(9):18-22)