信息系统工程
信息繫統工程
신식계통공정
China CIO News
2015年
10期
140-142
,共3页
Hadoop云计算%小文件存储%LZO压缩
Hadoop雲計算%小文件存儲%LZO壓縮
Hadoop운계산%소문건존저%LZO압축
随着信息时代的迅速发展,海量数据在各个领域中产生.但在对数据运算过程中,其载体——Hadoop分布式文件系统在存储机制上存在一定缺陷,小文件过多将导致集群因负载增高而产生运行率下降的问题.针对因小文件而产生的存储缺陷,提出一种基于云计算的优化策略:通过数据平衡算法将小文件合并为合理的大文件,再将LZO无损压缩编码融入计算任务中,实现对大数据运算的效率提高.
隨著信息時代的迅速髮展,海量數據在各箇領域中產生.但在對數據運算過程中,其載體——Hadoop分佈式文件繫統在存儲機製上存在一定缺陷,小文件過多將導緻集群因負載增高而產生運行率下降的問題.針對因小文件而產生的存儲缺陷,提齣一種基于雲計算的優化策略:通過數據平衡算法將小文件閤併為閤理的大文件,再將LZO無損壓縮編碼融入計算任務中,實現對大數據運算的效率提高.
수착신식시대적신속발전,해량수거재각개영역중산생.단재대수거운산과정중,기재체——Hadoop분포식문건계통재존저궤제상존재일정결함,소문건과다장도치집군인부재증고이산생운행솔하강적문제.침대인소문건이산생적존저결함,제출일충기우운계산적우화책략:통과수거평형산법장소문건합병위합리적대문건,재장LZO무손압축편마융입계산임무중,실현대대수거운산적효솔제고.
