计算机工程与应用
計算機工程與應用
계산궤공정여응용
Computer Engineering and Applications
2015年
20期
246-252
,共7页
多Agent系统%递阶控制%交通信号%Q-学习%Tile Coding
多Agent繫統%遞階控製%交通信號%Q-學習%Tile Coding
다Agent계통%체계공제%교통신호%Q-학습%Tile Coding
multi-Agent systems%hierarchical control%traffic signals%Q-learning%Tile Coding
针对现有交通信号控制系统的诸多不足，提出了一种用于交通信号控制的两层递阶多Agent系统解决方案。通过将交通网络进行区域划分，利用底层Agent控制各交叉口，顶层Agent控制区域，从而实现两层递阶控制。底层Agent采用经典Q学习同步学习最优策略，顶层Agent利用Tile Coding非凡的连续空间处理能力，实现Q学习的动作值函数逼近方法。仿真实验结果表明，该分层递阶控制不但提高了交通信号控制系统效率，而且也为大规模应用提供了很好的可伸缩解决方案。
針對現有交通信號控製繫統的諸多不足，提齣瞭一種用于交通信號控製的兩層遞階多Agent繫統解決方案。通過將交通網絡進行區域劃分，利用底層Agent控製各交扠口，頂層Agent控製區域，從而實現兩層遞階控製。底層Agent採用經典Q學習同步學習最優策略，頂層Agent利用Tile Coding非凡的連續空間處理能力，實現Q學習的動作值函數逼近方法。倣真實驗結果錶明，該分層遞階控製不但提高瞭交通信號控製繫統效率，而且也為大規模應用提供瞭很好的可伸縮解決方案。
침대현유교통신호공제계통적제다불족，제출료일충용우교통신호공제적량층체계다Agent계통해결방안。통과장교통망락진행구역화분，이용저층Agent공제각교차구，정층Agent공제구역，종이실현량층체계공제。저층Agent채용경전Q학습동보학습최우책략，정층Agent이용Tile Coding비범적련속공간처리능력，실현Q학습적동작치함수핍근방법。방진실험결과표명，해분층체계공제불단제고료교통신호공제계통효솔，이차야위대규모응용제공료흔호적가신축해결방안。
In view of the existing deficiencies of traffic signal control system, this paper proposes two-layer hierarchical multi-Agent system solution for traffic signal control. Through regional division of the traffic network, it uses the bottom level Agent to control the intersection, the top level Agent to control areas, so as to achieve the two-layer hierarchical con-trol. The bottom level Agent uses the classical Q-learning to synchronize the optimal strategy, the top level Agent utilizes the special continuous space processing ability of Tile Coding to achieve Q learning of action value function approxima-tion method. The simulation test results show that, the hierarchical control not only improves the efficiency of traffic signal control system, but also provides a good scalable solution for large-scale applications.
