福建电脑
福建電腦
복건전뇌
Fujian Computer
2015年
11期
128-130
,共3页
粒度%时序数据%任务调度%Hadoop
粒度%時序數據%任務調度%Hadoop
립도%시서수거%임무조도%Hadoop
随着社会信息化程度的不断提高,互联网技术发展迅速。为解决网络中的单机模式与时序数据调度的问题,本文利用Clojure语言在Linux平台上设计与实现了一个基于Hadoop面向时序数据的调度系统。该系统基于开源的Hadoop调度系统Oozie,针对时序数据在任务流之间的复杂变化和任务流中不同任务之间的依赖关系这两方面进行设计与实现。在确保数据粒度与任务之间正确依赖的前提下,提供了一套简单方便的应用程序编程接口用来定义Hadoop任务。
隨著社會信息化程度的不斷提高,互聯網技術髮展迅速。為解決網絡中的單機模式與時序數據調度的問題,本文利用Clojure語言在Linux平檯上設計與實現瞭一箇基于Hadoop麵嚮時序數據的調度繫統。該繫統基于開源的Hadoop調度繫統Oozie,針對時序數據在任務流之間的複雜變化和任務流中不同任務之間的依賴關繫這兩方麵進行設計與實現。在確保數據粒度與任務之間正確依賴的前提下,提供瞭一套簡單方便的應用程序編程接口用來定義Hadoop任務。
수착사회신식화정도적불단제고,호련망기술발전신속。위해결망락중적단궤모식여시서수거조도적문제,본문이용Clojure어언재Linux평태상설계여실현료일개기우Hadoop면향시서수거적조도계통。해계통기우개원적Hadoop조도계통Oozie,침대시서수거재임무류지간적복잡변화화임무류중불동임무지간적의뢰관계저량방면진행설계여실현。재학보수거립도여임무지간정학의뢰적전제하,제공료일투간단방편적응용정서편정접구용래정의Hadoop임무。