计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2013年
1期
111-121
,共11页
亓开元%韩燕波%赵卓峰%房俊
亓開元%韓燕波%趙卓峰%房俊
기개원%한연파%조탁봉%방준
高并发%大规模数据处理%数据流处理%MapReduce%中间结果缓存
高併髮%大規模數據處理%數據流處理%MapReduce%中間結果緩存
고병발%대규모수거처리%수거류처리%MapReduce%중간결과완존
针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性.
針對麵嚮大規模歷史數據的高併髮數據流處理需求,為改進MapReduce的實時處理能力,提齣瞭一種內存Hash B樹、外存SSTable文件的key/value中間結果緩存,該結構具有可劃分性、可擴展性和高效性.在此基礎上,利用B樹的平衡性特徵提齣瞭一種基于概率的B樹構造算法和多路查詢算法,利用讀寫開銷估算和緩遲區信息改造瞭外存文件讀寫策略和內外存替換算法,進一步優化瞭中間結果的高併髮讀寫性能.算法分析和實驗證明瞭該緩存的有效性.
침대면향대규모역사수거적고병발수거류처리수구,위개진MapReduce적실시처리능력,제출료일충내존Hash B수、외존SSTable문건적key/value중간결과완존,해결구구유가화분성、가확전성화고효성.재차기출상,이용B수적평형성특정제출료일충기우개솔적B수구조산법화다로사순산법,이용독사개소고산화완충구신식개조료외존문건독사책략화내외존체환산법,진일보우화료중간결과적고병발독사성능.산법분석화실험증명료해완존적유효성.
