计算机研究与发展
計算機研究與髮展
계산궤연구여발전
Journal of Computer Research and Development
2015年
9期
1965-1975
,共11页
王晓燕%陈晋川%郭小燕%杜小勇
王曉燕%陳晉川%郭小燕%杜小勇
왕효연%진진천%곽소연%두소용
数据分布%三角模型%自动化解决方案%优化均衡%联机事务处理
數據分佈%三角模型%自動化解決方案%優化均衡%聯機事務處理
수거분포%삼각모형%자동화해결방안%우화균형%련궤사무처리
data distribution%triangle model%automatic solution%optimal equilibrium%on-line transaction processing (OLTP)
大数据时代的来临为数据存储与管理提出了新的挑战。随着数据量的迅猛增加,自动数据分布逐渐成为分布式系统中的研究重点和难点。根据对数据分布问题中数据、负载和节点3个要素的研究和分析,将数据分布问题抽象为称为DaWN (data ,w orkload ,node)的三角模型,并将3要素之间的相互关联关系抽象为数据分片、数据分配和负载执行3条纽带;据此,提出了解决自动数据分布问题的基本架构,对各功能模块的协动关系进行探讨;同时,结合已有的研究工作,采用Nash‐Pareto优化均衡策略使得前述各机制相得益彰,实验结果验证了其有效性。为使研究工作更多地应用于实践,设计并实现了自动数据分布辅助原型工具ADDvisor(automatic data distribution advisor),协同支持自动数据分布的执行,共同促进大规模分布式联机事务处理系统的并行性能和自动化管理技术的发展。
大數據時代的來臨為數據存儲與管理提齣瞭新的挑戰。隨著數據量的迅猛增加,自動數據分佈逐漸成為分佈式繫統中的研究重點和難點。根據對數據分佈問題中數據、負載和節點3箇要素的研究和分析,將數據分佈問題抽象為稱為DaWN (data ,w orkload ,node)的三角模型,併將3要素之間的相互關聯關繫抽象為數據分片、數據分配和負載執行3條紐帶;據此,提齣瞭解決自動數據分佈問題的基本架構,對各功能模塊的協動關繫進行探討;同時,結閤已有的研究工作,採用Nash‐Pareto優化均衡策略使得前述各機製相得益彰,實驗結果驗證瞭其有效性。為使研究工作更多地應用于實踐,設計併實現瞭自動數據分佈輔助原型工具ADDvisor(automatic data distribution advisor),協同支持自動數據分佈的執行,共同促進大規模分佈式聯機事務處理繫統的併行性能和自動化管理技術的髮展。
대수거시대적래림위수거존저여관리제출료신적도전。수착수거량적신맹증가,자동수거분포축점성위분포식계통중적연구중점화난점。근거대수거분포문제중수거、부재화절점3개요소적연구화분석,장수거분포문제추상위칭위DaWN (data ,w orkload ,node)적삼각모형,병장3요소지간적상호관련관계추상위수거분편、수거분배화부재집행3조뉴대;거차,제출료해결자동수거분포문제적기본가구,대각공능모괴적협동관계진행탐토;동시,결합이유적연구공작,채용Nash‐Pareto우화균형책략사득전술각궤제상득익창,실험결과험증료기유효성。위사연구공작경다지응용우실천,설계병실현료자동수거분포보조원형공구ADDvisor(automatic data distribution advisor),협동지지자동수거분포적집행,공동촉진대규모분포식련궤사무처리계통적병행성능화자동화관리기술적발전。
T he era of big data brings new challenges in the field of data storage and management .With the dramatic increase of data volume ,automatic data distribution has been one of the key techniques and intractable problem for distributed systems .Based on the studies on data ,workload and node in this field ,this work abstracts the problem of data distribution as a triangle model called DaWN (data , workload ,node) ,and summarizes their relationships with each other as data fragmentation ,data allocation and workload processing .According to DaWN ,it proposes an automatic solution for data distribution in large‐scale on‐line transaction processing (OLTP) applications ,and discusses the details and interactions of each module in this consolidation architecture .Combined with our existing research , it applies the optimal equilibrium conduct of Nash‐Pareto strategy into practice . According to the results of a series of experiments ,the proposedapproach shows nice overall performance and effectiveness . Meanwhile ,this work also implements a prototype tool called ADDvisor for automatic data distribution supporting in the expect of smoothly promoting more research work into real world practice and effectively coordinating automatic data distribution in large scale OLTP distributed applications .