Alocação de recursos em redes sem fio multiportadoras com ondas milimétricas utilizando aprendizado por reforço baseado em modelo Markoviano
dc.contributor.advisor-co1 | Cardoso, Alisson Assis | |
dc.contributor.advisor-co1Lattes | http://lattes.cnpq.br/8216536516894987 | pt_BR |
dc.contributor.advisor1 | Vieira, Flávio Henrique Teles | |
dc.contributor.advisor1Lattes | http://lattes.cnpq.br/0920629723928382 | pt_BR |
dc.contributor.referee1 | Vieira, Flávio Henrique Teles | |
dc.contributor.referee2 | Soares, Anderson da Silva | |
dc.contributor.referee3 | Cardoso, Alisson Assis | |
dc.contributor.referee4 | Lemos, Rodrigo Pinto | |
dc.creator | Carneiro, Daniel Porto Queiroz | |
dc.creator.Lattes | http://lattes.cnpq.br/6678392067548548 | pt_BR |
dc.date.accessioned | 2022-08-11T12:52:23Z | |
dc.date.available | 2022-08-11T12:52:23Z | |
dc.date.issued | 2022-07-08 | |
dc.description.abstract | In this dissertation, we present reinforcement learning-based resource allocation algorithms for a multicarrier communication system considering multiple users and the effects of multipath and average path loss in a transmission assuming millimeter waves. To this end, it is proposed that the communication system can be described by a Markovian model represented by queue states in buffers and channel states. For the resource allocation algorithms of this work, we introduce reward functions to be used in the reinforcement learning algorithm Q-learning. The results obtained in the simulations show that the application of the proposed algorithms for resource scheduling provides, in general, an improvement in the performance parameters of the considered communication system, such as, for example, increased throughput and decreased packet loss. Comparisons with other algorithms presented in the literature are carried out, also showing that the use of the proposed reward function and considered Markovian model makes the scheduling of users and the sharing of resources more efficient. Furthermore, a solution for resource and power allocation using a Deep Q-Network is presented. The modeling of states proposed for the DQN network covers some limitations encountered with the matrix representation of states and extends the limits for the size of the buffer. | eng |
dc.description.provenance | Submitted by Marlene Santos (marlene.bc.ufg@gmail.com) on 2022-08-10T19:46:16Z No. of bitstreams: 2 Dissertação - Daniel Porto Queiroz Carneiro - 2022.pdf: 4936614 bytes, checksum: 4c7e00c3800114ad0867a7f08eacca3b (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5) | en |
dc.description.provenance | Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2022-08-11T12:52:23Z (GMT) No. of bitstreams: 2 Dissertação - Daniel Porto Queiroz Carneiro - 2022.pdf: 4936614 bytes, checksum: 4c7e00c3800114ad0867a7f08eacca3b (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5) | en |
dc.description.provenance | Made available in DSpace on 2022-08-11T12:52:23Z (GMT). No. of bitstreams: 2 Dissertação - Daniel Porto Queiroz Carneiro - 2022.pdf: 4936614 bytes, checksum: 4c7e00c3800114ad0867a7f08eacca3b (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5) Previous issue date: 2022-07-08 | en |
dc.description.resumo | Nesta dissertação, apresenta-se algoritmos de alocação de recursos baseado em aprendizado por reforço para um sistema de comunicação multiportadora considerando múltiplos usuários e efeitos de multipercurso e perda média do percurso em uma transmissão assumindo ondas milimétricas. Para tal, propõe-se que o sistema de comunicação possa ser descrito por um modelo Markoviano representado pelos estados da fila nos buffers e estados dos canais. Para os algoritmo de alocação de recursos deste trabalho, são introduzidas funções de recompensa a serem utilizadas no algoritmo de aprendizado por reforço Q- learning. Os resultados obtidos nas simulações mostram que a aplicação dos algoritmos propostos de escalonamento de recursos provê, de forma geral, melhoria nos parâmetros de desempenho do sistema de comunicação considerado, como por exemplo, aumento de vazão e diminuição de perda de pacotes. Comparações com outros algoritmos apresentados na literatura são realizadas, mostrando também que o uso da função de recompensa proposta e modelo Markoviano considerado torna o escalonamento de usuários e o compartilhamento de recursos mais eficientes. Ainda, é apresentada uma solução para alocação de recursos e potência utilizando uma Deep Q-Network. A modelagem de estados propostos para rede DQN soluciona algumas limitações encontradas com a representação matricial dos estados e amplia os limites para o tamanho do buffer. | pt_BR |
dc.description.sponsorship | Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES | pt_BR |
dc.identifier.citation | CARNEIRO, D. P. Q. Alocação de recursos em redes sem fio multiportadoras com ondas milimétricas utilizando aprendizado por reforço baseado em modelo Markoviano. 2022. 106 f. Dissertação (Engenharia Elétrica e da Computação) - Universidade Federal de Goiás, Goiânia, 2022. | pt_BR |
dc.identifier.uri | http://repositorio.bc.ufg.br/tede/handle/tede/12253 | |
dc.language | por | pt_BR |
dc.publisher | Universidade Federal de Goiás | pt_BR |
dc.publisher.country | Brasil | pt_BR |
dc.publisher.department | Escola de Engenharia Elétrica, Mecânica e de Computação - EMC (RG) | pt_BR |
dc.publisher.initials | UFG | pt_BR |
dc.publisher.program | Programa de Pós-graduação em Engenharia Elétrica e da Computação (EMC) | pt_BR |
dc.rights | Attribution-NonCommercial-NoDerivatives 4.0 International | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | * |
dc.subject | Alocação de recursos em rede 5G | por |
dc.subject | Aprendizado por reforço | por |
dc.subject | Processo de decisão de Markov | por |
dc.subject | DQN adaptativa | por |
dc.subject | 5G resource allocation | eng |
dc.subject | Reinforcement learning | eng |
dc.subject | Markov decision process | eng |
dc.subject | Adaptive DQN | eng |
dc.subject.cnpq | ENGENHARIAS::ENGENHARIA ELETRICA | pt_BR |
dc.title | Alocação de recursos em redes sem fio multiportadoras com ondas milimétricas utilizando aprendizado por reforço baseado em modelo Markoviano | pt_BR |
dc.title.alternative | Resource allocation in multicarrier wireless networks with millimeter waves using reinforcement learning based on the Markovian model | eng |
dc.type | Dissertação | pt_BR |
Arquivos
Pacote Original
1 - 1 de 1
Nenhuma Miniatura disponível
- Nome:
- Dissertação - Daniel Porto Queiroz Carneiro - 2022.pdf
- Tamanho:
- 4.71 MB
- Formato:
- Adobe Portable Document Format
- Descrição:
Licença do Pacote
1 - 1 de 1
Nenhuma Miniatura disponível
- Nome:
- license.txt
- Tamanho:
- 1.71 KB
- Formato:
- Item-specific license agreed upon to submission
- Descrição: