机械设计与制造工程
機械設計與製造工程
궤계설계여제조공정
MACHINE DESIGN AND MANUFACTURING ENGINEERING
2013年
4期
28-31
,共4页
航空制造业%海量数据%Hadoop%数据处理模型%键值对%算法
航空製造業%海量數據%Hadoop%數據處理模型%鍵值對%算法
항공제조업%해량수거%Hadoop%수거처리모형%건치대%산법
Aircraft Manufacturing Industry%Mass Data%Hadoop%Model of Data Processing%Key-value%Algorithm
为了向航空制造业的海量数据处理提供一种新颖的模式,以Hadoop开源软件平台为架构,介绍了HDFS分布式存储系统和Map-Reduce编程模式,分析了航空制造业海量数据处理需求,提出了一种应用于航空制造业的海量数据处理模型,即将数据格式划分为若干个主要字段,按照该数据格式在分片中对数据进行深度优先挖掘,将提取出的数据以键值对的形式并按照一定的存储格式存储于HDFS中,利用Map-Reduce并行算法对存储的数据进行排序和分区处理.最后提出了基于K-NN的并行化数据挖掘算法,且分析了海量数据处理模型的扩展性、实时性和快速处理等性能.
為瞭嚮航空製造業的海量數據處理提供一種新穎的模式,以Hadoop開源軟件平檯為架構,介紹瞭HDFS分佈式存儲繫統和Map-Reduce編程模式,分析瞭航空製造業海量數據處理需求,提齣瞭一種應用于航空製造業的海量數據處理模型,即將數據格式劃分為若榦箇主要字段,按照該數據格式在分片中對數據進行深度優先挖掘,將提取齣的數據以鍵值對的形式併按照一定的存儲格式存儲于HDFS中,利用Map-Reduce併行算法對存儲的數據進行排序和分區處理.最後提齣瞭基于K-NN的併行化數據挖掘算法,且分析瞭海量數據處理模型的擴展性、實時性和快速處理等性能.
위료향항공제조업적해량수거처리제공일충신영적모식,이Hadoop개원연건평태위가구,개소료HDFS분포식존저계통화Map-Reduce편정모식,분석료항공제조업해량수거처리수구,제출료일충응용우항공제조업적해량수거처리모형,즉장수거격식화분위약간개주요자단,안조해수거격식재분편중대수거진행심도우선알굴,장제취출적수거이건치대적형식병안조일정적존저격식존저우HDFS중,이용Map-Reduce병행산법대존저적수거진행배서화분구처리.최후제출료기우K-NN적병행화수거알굴산법,차분석료해량수거처리모형적확전성、실시성화쾌속처리등성능.
