软件学报
軟件學報
연건학보
JOURNAL OF SOFTWARE
2014年
7期
1432-1447
,共16页
节能%分布式计算%机器学习%MapReduce%PageRank
節能%分佈式計算%機器學習%MapReduce%PageRank
절능%분포식계산%궤기학습%MapReduce%PageRank
power saving%distributed computing%machine learning%MapReduce%PageRank
随着互联网的发展,各种类型的数据呈爆炸式增长。通过机器学习的方法对大量数据进行实时或离线的分析,获取规律性信息,已成为各行业提升决策准确性的重要途径。因此,这些机器学习算法成为各个数据中心运行的主要应用。然而,随着数据规模的增大和数据中心面临的能耗问题的突出,如何实现这些算法的低功耗处理,已成为实现绿色数据中心亟待解决的关键问题之一。为了实现对这些机器算法的绿色计算,首先对运行在数据中心中的关键算法进行了深入的分析,并观察到在这些算法中存在大量的冗余计算。在此基础上,设计和实现了一种面向数据中心典型应用的低功耗调度策略。该算法通过对不同计算部分的输入数据进行匹配来判断计算过程中的冗余部分,并对算法进行调度。实验数据显示,对于数据中心的两种典型应用 k-means 和 PageRank,该算法可以实现23%和17%的能耗节约。
隨著互聯網的髮展,各種類型的數據呈爆炸式增長。通過機器學習的方法對大量數據進行實時或離線的分析,穫取規律性信息,已成為各行業提升決策準確性的重要途徑。因此,這些機器學習算法成為各箇數據中心運行的主要應用。然而,隨著數據規模的增大和數據中心麵臨的能耗問題的突齣,如何實現這些算法的低功耗處理,已成為實現綠色數據中心亟待解決的關鍵問題之一。為瞭實現對這些機器算法的綠色計算,首先對運行在數據中心中的關鍵算法進行瞭深入的分析,併觀察到在這些算法中存在大量的冗餘計算。在此基礎上,設計和實現瞭一種麵嚮數據中心典型應用的低功耗調度策略。該算法通過對不同計算部分的輸入數據進行匹配來判斷計算過程中的冗餘部分,併對算法進行調度。實驗數據顯示,對于數據中心的兩種典型應用 k-means 和 PageRank,該算法可以實現23%和17%的能耗節約。
수착호련망적발전,각충류형적수거정폭작식증장。통과궤기학습적방법대대량수거진행실시혹리선적분석,획취규률성신식,이성위각행업제승결책준학성적중요도경。인차,저사궤기학습산법성위각개수거중심운행적주요응용。연이,수착수거규모적증대화수거중심면림적능모문제적돌출,여하실현저사산법적저공모처리,이성위실현록색수거중심극대해결적관건문제지일。위료실현대저사궤기산법적록색계산,수선대운행재수거중심중적관건산법진행료심입적분석,병관찰도재저사산법중존재대량적용여계산。재차기출상,설계화실현료일충면향수거중심전형응용적저공모조도책략。해산법통과대불동계산부분적수입수거진행필배래판단계산과정중적용여부분,병대산법진행조도。실험수거현시,대우수거중심적량충전형응용 k-means 화 PageRank,해산법가이실현23%화17%적능모절약。
With the development of the Internet, the scale of data center increases dramatically. How to analyze the data stored in the data center becomes the hot research topic. Programmers resort to the machine learning to analyze unstructured or semi-structured data. Thus, energy efficient machine learning is crucial for green data centers. Based the observation that there is redundant computation in the machine learning applications, this paper proposes a system which can save the power usage by removing the redundant computations and reusing the previous computation results. Evalution shows that for the typical k-means and PageRank applications the presented algorithm results 23% and 17% power saving.
