深圳职业技术学院学报
深圳職業技術學院學報
심수직업기술학원학보
JOURNAL OF SHENZHEN POLYTECNIC
2014年
3期
67-70
,共4页
江建举%仵博%孟宪军%冯延蓬%何国坤
江建舉%仵博%孟憲軍%馮延蓬%何國坤
강건거%오박%맹헌군%풍연봉%하국곤
Hadoop%HDFS%小文件%存取策略
Hadoop%HDFS%小文件%存取策略
Hadoop%HDFS%소문건%존취책략
针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性.
針對傳統HDFS在存取海量小文件時齣現的I/O性能瓶頸問題,本文提齣瞭一種優化的HDFS存取策略.通過文件預處理、增加元數據信息和元數據批處理操作等優化策略,比較好地解決瞭傳統HDFS處理海量小文件的性能問題.併通過試驗證明瞭該方法的有效性.
침대전통HDFS재존취해량소문건시출현적I/O성능병경문제,본문제출료일충우화적HDFS존취책략.통과문건예처리、증가원수거신식화원수거비처리조작등우화책략,비교호지해결료전통HDFS처리해량소문건적성능문제.병통과시험증명료해방법적유효성.
