A carregar...
Publicação
Network Slicing: Joint Optimization of Admission Control, Resource Attribution and Traffic Routing
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 4.08 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
The emergence of 5G networks and networks beyond 5G has brought about the need to
dynamically and flexibly share physical infrastructure among multiple virtual networks
supporting various services. This requirement, coupled with the development of technolo-
gies such as Software-Defined Networks (SDNs) and Network Function Virtualization
(NFV), paved the way for the realization of the concept of network slicing, which involves
segmenting the physical network into multiple virtual networks. Effective mechanisms
for slice admission and traffic routing within the physical network are essential to op-
timize resource utilization, meet quality of service (QoS) requirements, and ensure the
efficient operation of various slices. This thesis presents a study of the application of Deep
Reinforcement Learning (DRL) algorithms, specifically the Deep Q-Network (DQN) and
Dueling Deep Q-Network (Dueling DQN) algorithms, to address the joint problem of
optimizing slice admission and traffic routing in the network.
Our research encompasses the development and evaluation of DQN-based solutions,
focusing primarily on three developed algorithms, with a fourth serving as a control
algorithm. The first is a DQN algorithm with a single neural network for joint action
(routing and admission), the second is a DQN algorithm with two neural networks,
considering routing and admission actions separately, and the third is the Dueling DQN
algorithm with joint action. Finally, we have a random choice algorithm primarily to
assess the efficiency of DRL in these scenarios.
To provide context for the results, a comparative analysis is conducted between the
proposed methods and a solution that considers only the admission problem with simple
routing.
Our results reveal that there is a benefit in considering routing alongside slice ad-
mission, with DRL agents that consider joint action yielding better results than those
considering two independent actions. Among the algorithms used, the Dueling DQN,
with its separation of value and advantage networks, exhibited superior performance
compared to the simple DQN approach.
O surgimento das redes 5G e das redes para além do 5G veio trazer a necessidade de partilhar de forma dinâmica e flexível a infraestrutura física entre várias redes virtuais que suportam os vários serviços. Esta necessidade juntamente com o desenvolvimento de tecnologias como as redes definidas por software (SDNs) e a virtualização de funções de rede (NFV) abriram caminho a concretização do conceito de network slicing, que se baseia na segmentação da rede física em várias redes virtuais. Mecanismos eficazes de admissão de slices e de encaminhamento do seu tráfego na rede física são essenciais para otimizar a utilização de recursos, cumprir os requisitos de qualidade de serviço (QoS) e garantir o funcionamento eficiente das várias slices. Esta tese apresenta uma estudo da aplicação de algoritmos de Deep Reinforcement Learning (DRL), nomeadamente os algoritmos Deep Q-Network (DQN) e Dueling Deep Q-Network (Dueling DQN) para a resolução do problema conjunto da otimização da admissão de slices e do encaminhamento do seu tráfego na rede. A nossa investigação abrange o desenvolvimento e a avaliação de soluções baseadas em DQN, com foco principal em três algoritmos desenvolvidos, com um quarto a atuar como algoritmo de controlo. O primeiro é um algoritmo DQN com uma única rede neural de ação conjunta (encaminhamento e admissão) o segundo é um algoritmo DQN com duas redes neurais onde as ações de encaminhamento e admissão são consideradas em separado, e o terceiro é o algoritmo Dueling DQN com ação conjunta. Por fim, temos um algoritmo de escolha aleatória para, principalmente, comprovar a eficiência de DRL nestes cenários. Para contextualizar os resultados, é realizada uma análise comparativa entre os mé- todos propostos e uma solução que considera apenas o problema da admissão com encaminhamento simples. Os nossos resultados revelam que há um ganho em considerar o encaminhamento em conjunto com a admissão de slices, sendo que os agentes DRL que consideram uma ação conjunta obtêm melhores resultados do que os que consideram duas ações independentes, entre os algoritmos utilizados o Dueling DQN, com a sua separação das redes de value e advantage, apresentou uma melhor performance face ao DQN simples.
O surgimento das redes 5G e das redes para além do 5G veio trazer a necessidade de partilhar de forma dinâmica e flexível a infraestrutura física entre várias redes virtuais que suportam os vários serviços. Esta necessidade juntamente com o desenvolvimento de tecnologias como as redes definidas por software (SDNs) e a virtualização de funções de rede (NFV) abriram caminho a concretização do conceito de network slicing, que se baseia na segmentação da rede física em várias redes virtuais. Mecanismos eficazes de admissão de slices e de encaminhamento do seu tráfego na rede física são essenciais para otimizar a utilização de recursos, cumprir os requisitos de qualidade de serviço (QoS) e garantir o funcionamento eficiente das várias slices. Esta tese apresenta uma estudo da aplicação de algoritmos de Deep Reinforcement Learning (DRL), nomeadamente os algoritmos Deep Q-Network (DQN) e Dueling Deep Q-Network (Dueling DQN) para a resolução do problema conjunto da otimização da admissão de slices e do encaminhamento do seu tráfego na rede. A nossa investigação abrange o desenvolvimento e a avaliação de soluções baseadas em DQN, com foco principal em três algoritmos desenvolvidos, com um quarto a atuar como algoritmo de controlo. O primeiro é um algoritmo DQN com uma única rede neural de ação conjunta (encaminhamento e admissão) o segundo é um algoritmo DQN com duas redes neurais onde as ações de encaminhamento e admissão são consideradas em separado, e o terceiro é o algoritmo Dueling DQN com ação conjunta. Por fim, temos um algoritmo de escolha aleatória para, principalmente, comprovar a eficiência de DRL nestes cenários. Para contextualizar os resultados, é realizada uma análise comparativa entre os mé- todos propostos e uma solução que considera apenas o problema da admissão com encaminhamento simples. Os nossos resultados revelam que há um ganho em considerar o encaminhamento em conjunto com a admissão de slices, sendo que os agentes DRL que consideram uma ação conjunta obtêm melhores resultados do que os que consideram duas ações independentes, entre os algoritmos utilizados o Dueling DQN, com a sua separação das redes de value e advantage, apresentou uma melhor performance face ao DQN simples.
Descrição
Palavras-chave
Network Slicing DRL Admission Control Traffic Routing