计算机科学
計算機科學
계산궤과학
COMPUTER SCIENCE
2015年
4期
190-193,225
,共5页
李学俊%陈士洋%张以文%李龙澍
李學俊%陳士洋%張以文%李龍澍
리학준%진사양%장이문%리룡주
机器人足球%Keepaway%抢球策略%策略重用%迁移学习
機器人足毬%Keepaway%搶毬策略%策略重用%遷移學習
궤기인족구%Keepaway%창구책략%책략중용%천이학습
RoboCup soccer%Keepaway%Stealing police%Policy reuse%Transfer learning
在RoboCup Keepaway中,球员使用强化学习能获得很好的高层策略.然而由于Keepaway任务的状态空间巨大,强化学习需要探索很多步才能收敛,学习过程十分耗时.针对这一问题,对于5v4规模的Keepaway任务,将策略重用技术应用于抢球球员高层决策的强化学习中,以实现迁移学习.首先合理设计了球员在4v3和5v4任务间的迁移学习方案及状态与动作空间的映射,然后提出了基于策略重用的迁移学习算法.实验表明,对于5v4任务,在训练时间约束下,迁移学习比强化学习获得了更短的任务完成时间和更高的抢断成功率,从而学习到了较优的高层策略.因此,为达到相同策略水平,迁移学习所需的训练时间明显比强化学习少.
在RoboCup Keepaway中,毬員使用彊化學習能穫得很好的高層策略.然而由于Keepaway任務的狀態空間巨大,彊化學習需要探索很多步纔能收斂,學習過程十分耗時.針對這一問題,對于5v4規模的Keepaway任務,將策略重用技術應用于搶毬毬員高層決策的彊化學習中,以實現遷移學習.首先閤理設計瞭毬員在4v3和5v4任務間的遷移學習方案及狀態與動作空間的映射,然後提齣瞭基于策略重用的遷移學習算法.實驗錶明,對于5v4任務,在訓練時間約束下,遷移學習比彊化學習穫得瞭更短的任務完成時間和更高的搶斷成功率,從而學習到瞭較優的高層策略.因此,為達到相同策略水平,遷移學習所需的訓練時間明顯比彊化學習少.
재RoboCup Keepaway중,구원사용강화학습능획득흔호적고층책략.연이유우Keepaway임무적상태공간거대,강화학습수요탐색흔다보재능수렴,학습과정십분모시.침대저일문제,대우5v4규모적Keepaway임무,장책략중용기술응용우창구구원고층결책적강화학습중,이실현천이학습.수선합리설계료구원재4v3화5v4임무간적천이학습방안급상태여동작공간적영사,연후제출료기우책략중용적천이학습산법.실험표명,대우5v4임무,재훈련시간약속하,천이학습비강화학습획득료경단적임무완성시간화경고적창단성공솔,종이학습도료교우적고층책략.인차,위체도상동책략수평,천이학습소수적훈련시간명현비강화학습소.
