A carregar...
Publicação
AI gym for Networks
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 2.47 MB | Adobe PDF |
Orientador(es)
Resumo(s)
5G Networks are delivering better services and connecting more devices, but at the same
time are becoming more complex.
Problems like resource management and control optimization are increasingly dynamic
and difficult to model making it very hard to use traditional model-based optimization
techniques. Artificial Intelligence (AI) explores techniques such as Deep Reinforcement
Learning (DRL), which uses the interaction between the agent and the environment to
learn what action to take to obtain the best possible result.
Researchers usually need to create and develop a simulation environment for their
scenario of interest to be able to experiment with DRL algorithms. This takes a large
amount of time from the research process, while the lack of a common environment
makes it difficult to compare algorithms.
The proposed solution aims to fill this gap by creating a tool that facilitates the setting
up of DRL training environments for network scenarios. The developed tool uses three
open source software, the Containernet to simulate the connections between devices, the
Ryu Controller as the Software Defined Network Controller, and OpenAI Gym which
is responsible for setting up the communication between the environment and the DRL
agent.
With the project developed during the thesis, the users will be capable of creating
more scenarios in a short period, opening space to set up different environments, solving
various problems as well as providing a common environment where other Agents can
be compared.
The developed software is used to compare the performance of several DRL agents in
two different network control problems: routing and network slice admission control. A
novel DRL based solution is used in the case of network slice admission control that jointly
optimizes the admission and the placement of traffic of a network slice in the physical
resources.
As redes 5G oferecem melhores serviços e conectam mais dispositivos, fazendo com que se tornem mais complexas e difíceis de gerir. Problemas como a gestão de recursos e a otimização de controlo são cada vez mais dinâmicos e difíceis de modelar, o que torna difícil usar soluções de optimização basea- das em modelos tradicionais. A Inteligência Artificial (IA) explora técnicas como Deep Reinforcement Learning que utiliza a interação entre o agente e o ambiente para aprender qual a ação a ter para obter o melhor resultado possível. Normalmente, os investigadores precisam de criar e desenvolver um ambiente de simulação para poder estudar os algoritmos DRL e a sua interação com o cenário de interesse. A criação de ambientes a partir do zero retira tempo indispensável para a pesquisa em si, e a falta de ambientes de treino comuns torna difícil a comparação dos algoritmos. A solução proposta foca-se em preencher esta lacuna criando uma ferramenta que facilite a configuração de ambientes de treino DRL para cenários de rede. A ferramenta desenvolvida utiliza três softwares open source, o Containernet para simular as conexões entre os dispositivos, o Ryu Controller como Software Defined Network Controller e o OpenAI Gym que é responsável por configurar a comunicação entre o ambiente e o agente DRL. Através do projeto desenvolvido, os utilizadores serão capazes de criar mais cenários em um curto período, abrindo espaço para configurar diferentes ambientes e resolver diferentes problemas, bem como fornecer um ambiente comum onde diferentes Agentes podem ser comparados. O software desenvolvido foi usado para comparar o desempenho de vários agentes DRL em dois problemas diferentes de controlo de rede, nomeadamente, roteamento e controlo de admissão de slices na rede. Uma solução baseada em DRL é usada no caso do controlo de admissão de slices na rede que otimiza conjuntamente a admissão e a colocação de tráfego de uma slice na rede nos recursos físicos da mesma.
As redes 5G oferecem melhores serviços e conectam mais dispositivos, fazendo com que se tornem mais complexas e difíceis de gerir. Problemas como a gestão de recursos e a otimização de controlo são cada vez mais dinâmicos e difíceis de modelar, o que torna difícil usar soluções de optimização basea- das em modelos tradicionais. A Inteligência Artificial (IA) explora técnicas como Deep Reinforcement Learning que utiliza a interação entre o agente e o ambiente para aprender qual a ação a ter para obter o melhor resultado possível. Normalmente, os investigadores precisam de criar e desenvolver um ambiente de simulação para poder estudar os algoritmos DRL e a sua interação com o cenário de interesse. A criação de ambientes a partir do zero retira tempo indispensável para a pesquisa em si, e a falta de ambientes de treino comuns torna difícil a comparação dos algoritmos. A solução proposta foca-se em preencher esta lacuna criando uma ferramenta que facilite a configuração de ambientes de treino DRL para cenários de rede. A ferramenta desenvolvida utiliza três softwares open source, o Containernet para simular as conexões entre os dispositivos, o Ryu Controller como Software Defined Network Controller e o OpenAI Gym que é responsável por configurar a comunicação entre o ambiente e o agente DRL. Através do projeto desenvolvido, os utilizadores serão capazes de criar mais cenários em um curto período, abrindo espaço para configurar diferentes ambientes e resolver diferentes problemas, bem como fornecer um ambiente comum onde diferentes Agentes podem ser comparados. O software desenvolvido foi usado para comparar o desempenho de vários agentes DRL em dois problemas diferentes de controlo de rede, nomeadamente, roteamento e controlo de admissão de slices na rede. Uma solução baseada em DRL é usada no caso do controlo de admissão de slices na rede que otimiza conjuntamente a admissão e a colocação de tráfego de uma slice na rede nos recursos físicos da mesma.
Descrição
Palavras-chave
5G Networks Deep Reinforcement Learning Containernet, Ryu Controller