计算机工程
計算機工程
계산궤공정
COMPUTER ENGINEERING
2014年
2期
114-118
,共5页
林正红%江虹%张娟%徐冠军
林正紅%江虹%張娟%徐冠軍
림정홍%강홍%장연%서관군
机会频谱接入%部分可观测马尔可夫决策过程%Sarsa(λ)算法%跨层优化%功率受限
機會頻譜接入%部分可觀測馬爾可伕決策過程%Sarsa(λ)算法%跨層優化%功率受限
궤회빈보접입%부분가관측마이가부결책과정%Sarsa(λ)산법%과층우화%공솔수한
Opportunistic Spectrum Access(OSA)%Partially Observable Markov Decision Process(POMDP)%Sarsa(λ) algorithm%cross-layer optimization%power constraint
在功率受限的机会频谱接入(OSA)研究中，大多使用完全可观测马尔可夫决策过程(MDP)对环境建模，以提高物理层或介质访问控制(MAC)层指标，但由于感知设备的限制，无法保证用户对环境完全感知。为解决该问题，提出一种基于部分可观测马尔可夫决策过程(POMDP)与 Sarsa(λ)的跨层 OSA 优化设计方案。结合 MAC 层和物理层，采用 POMDP 对功率受限且有感知误差的次用户频谱感知和接入过程进行建模，并将其转换为信念状态 MDP(BMDP)，使用 Sarsa(λ)算法对其进行求解。仿真结果表明，在功率受限条件下，该 Sarsa(λ)-BMDP 方案的有效传输容量、吞吐量和频谱利用率分别比完全可观测 Q-MDP 方案低9%、7%和3%左右，其误比特率比基于点的值迭代 PBVI-POMDP 方案低20%左右，比 Q-MDP 方案高16%左右。
在功率受限的機會頻譜接入(OSA)研究中，大多使用完全可觀測馬爾可伕決策過程(MDP)對環境建模，以提高物理層或介質訪問控製(MAC)層指標，但由于感知設備的限製，無法保證用戶對環境完全感知。為解決該問題，提齣一種基于部分可觀測馬爾可伕決策過程(POMDP)與 Sarsa(λ)的跨層 OSA 優化設計方案。結閤 MAC 層和物理層，採用 POMDP 對功率受限且有感知誤差的次用戶頻譜感知和接入過程進行建模，併將其轉換為信唸狀態 MDP(BMDP)，使用 Sarsa(λ)算法對其進行求解。倣真結果錶明，在功率受限條件下，該 Sarsa(λ)-BMDP 方案的有效傳輸容量、吞吐量和頻譜利用率分彆比完全可觀測 Q-MDP 方案低9%、7%和3%左右，其誤比特率比基于點的值迭代 PBVI-POMDP 方案低20%左右，比 Q-MDP 方案高16%左右。
재공솔수한적궤회빈보접입(OSA)연구중，대다사용완전가관측마이가부결책과정(MDP)대배경건모，이제고물리층혹개질방문공제(MAC)층지표，단유우감지설비적한제，무법보증용호대배경완전감지。위해결해문제，제출일충기우부분가관측마이가부결책과정(POMDP)여 Sarsa(λ)적과층 OSA 우화설계방안。결합 MAC 층화물리층，채용 POMDP 대공솔수한차유감지오차적차용호빈보감지화접입과정진행건모，병장기전환위신념상태 MDP(BMDP)，사용 Sarsa(λ)산법대기진행구해。방진결과표명，재공솔수한조건하，해 Sarsa(λ)-BMDP 방안적유효전수용량、탄토량화빈보이용솔분별비완전가관측 Q-MDP 방안저9%、7%화3%좌우，기오비특솔비기우점적치질대 PBVI-POMDP 방안저20%좌우，비 Q-MDP 방안고16%좌우。
Most of the existing studies about Opportunistic Spectrum Access(OSA) under the power constraint use the completely observable Markov Decision Process(MDP) for environmental modeling to improve the single Medium Access Control(MAC) layer or physical layer indicators. Due to the limitations of the perceived equipment, it is difficult to ensure that users can obtain the environment’s fully information. To solve this problem, this paper proposes a cross-layer optimization OSA design based on Partially Observable MDP(POMDP) and Sarsa(λ). The secondary user’s spectrum sensing and access problem subject to the power constraint is modeled as a POMDP by combining the medium access control layer and the physical layer. The POMDP is converted to the Belief state MDP(BMDP). The Sarsa(λ) algorithm is used to achieve the solution of BMDP model. Simulation results show that the proposed design under the power constraint reduces the effective transmission capacity, throughput and spectrum utilization by 9%, 7% and 3% compared with Q-MDP scheme, reduces the bit error rate by 20% compared with PBVI-POMDP scheme, and improves the bit error rate by 16% compared with Q-MDP scheme.
