微型机与应用
微型機與應用
미형궤여응용
MICROCOMPUTER & ITS APPLICATIONS
2014年
2期
15-17,24
,共4页
大数据%负载特征%内存系统%系统结构
大數據%負載特徵%內存繫統%繫統結構
대수거%부재특정%내존계통%계통결구
big data%workload characteristic%memory system%system architecture
涌现于社交网络、电子商务中的超大规模非结构化数据标志着大数据时代的到来。大数据的多样性、超大规模和可扩展性等特征对运行平台产生新的要求。随着大数据的产生和发展,形成了具有代表性的信息体系结构,包括编程模型、虚拟化和分布式文件系统等。随着对大数据研究的深入,通过对大数据负载特性的分析,发现制约大数据的并不是计算能力,而是 I/O 延迟,采用基于内存的分布式文件系统,用于存储和处理大规模分布式文件系统查询的索引,可以有效降低 I/O 延迟,提高应用性能。
湧現于社交網絡、電子商務中的超大規模非結構化數據標誌著大數據時代的到來。大數據的多樣性、超大規模和可擴展性等特徵對運行平檯產生新的要求。隨著大數據的產生和髮展,形成瞭具有代錶性的信息體繫結構,包括編程模型、虛擬化和分佈式文件繫統等。隨著對大數據研究的深入,通過對大數據負載特性的分析,髮現製約大數據的併不是計算能力,而是 I/O 延遲,採用基于內存的分佈式文件繫統,用于存儲和處理大規模分佈式文件繫統查詢的索引,可以有效降低 I/O 延遲,提高應用性能。
용현우사교망락、전자상무중적초대규모비결구화수거표지착대수거시대적도래。대수거적다양성、초대규모화가확전성등특정대운행평태산생신적요구。수착대수거적산생화발전,형성료구유대표성적신식체계결구,포괄편정모형、허의화화분포식문건계통등。수착대대수거연구적심입,통과대대수거부재특성적분석,발현제약대수거적병불시계산능력,이시 I/O 연지,채용기우내존적분포식문건계통,용우존저화처리대규모분포식문건계통사순적색인,가이유효강저 I/O 연지,제고응용성능。
As the advent of social network and e-commerce , the amount of unstructured data grows rapidly . The 4Vs of big data ( Volume , Velocity , Variety and Veracity ) motivate the architecture design of new computing system , including programming model , virtualisation technology and distributed file system . According to the analysis on the big data workloads , I/O latency is one of the dominate performance bottleneck . Techniques that create and store index with memory-based distributed file system are pro-posed , which are able to significantly reduce I/O latency and thus improve system performance .