CAJ | 학술논문

解决具有连续动作空间的问题是当前强化学习领域的一个研究热点和难点.在处理这类问题时,传统的强化学习算法通常利用先验信息对连续动作空间进行离散化处理,然后再求解最优策略.然而,在很多实际应用中,由于缺乏用于离散化处理的先验信息,算法效果会变差甚至算法失效.针对这类问题,提出了一种最小二乘行动者-评论家方法(least square actor-critic algorithm,LSAC),使用函数逼近器近似表示值函数及策略,利用最小二乘法在线动态求解近似值函数参数及近似策略参数,以近似值函数作为评论家指导近似策略参数的求解.将LSAC算法用于解决经典的具有连续动作空间的小车平衡杆问题和mountain car问题,并与Caela(continuous actor-critic learning automaton)算法和eNAC(episodic natural actor-critic)算法进行比较.结果表明,LSAC算法能有效地解决连续动作空间问题,并具有较优的执行性能.
해결구유련속동작공간적문제시당전강화학습영역적일개연구열점화난점.재처리저류문제시,전통적강화학습산법통상이용선험신식대련속동작공간진행리산화처리,연후재구해최우책략.연이,재흔다실제응용중,유우결핍용우리산화처리적선험신식,산법효과회변차심지산법실효.침대저류문제,제출료일충최소이승행동자-평론가방법(least square actor-critic algorithm,LSAC),사용함수핍근기근사표시치함수급책략,이용최소이승법재선동태구해근사치함수삼수급근사책략삼수,이근사치함수작위평론가지도근사책략삼수적구해.장LSAC산법용우해결경전적구유련속동작공간적소차평형간문제화mountain car문제,병여Caela(continuous actor-critic learning automaton)산법화eNAC(episodic natural actor-critic)산법진행비교.결과표명,LSAC산법능유효지해결련속동작공간문제,병구유교우적집행성능.