Use este identificador para citar ou linkar para este item: http://repositorio.bc.ufg.br/tede/handle/tede/9522
Tipo do documento: Tese
Título: Inexact variants of the alternating direction method of multipliers and their iteration-complexity analyses
Título(s) alternativo(s): Variantes inexatas do método dos multiplicadores das direções alternadas e sua analise de iteração complexidade
Autor: Adona, Vando Antônio
Currículo Lattes do Autor: http://lattes.cnpq.br/5115225898624770
Primeiro orientador: Melo, Jefferson Divino Gonçalves de
Currículo Lattes do primeiro orientador: http://lattes.cnpq.br/8296171010616435
Primeiro coorientador: Gonçalves, Max Leandro Nobre
Currículo Lattes do primeiro coorientador: http://lattes.cnpq.br/7841103869154032
Primeiro membro da banca: Melo, Jefferson Divino Gonçalves de
Segundo membro da banca: Gonçalves, Max Leandro Nobre
Terceiro membro da banca: Prudente, Leandro da Fonseca
Quarto membro da banca: Pérez, Luis Roman Lucambio
Quinto membro da banca: Andreani, Roberto
Resumo: Esta tese propõe e analisa algumas variantes do método dos multiplicadores das direções alternadas (ADMM) para resolver problemas de otimização convexa com restrição linear. Esta tese e dividida em três partes. Primeiro, estabelecemos iteração complexidade de um ADMM generalizado proximal. Essa variante ADMM, proposta por Bertsekas e Eckstein, introduz um parâmetro de relaxação no segundo subproblema do ADMM para melhorar seu desempenho computacional. Mostramos que, para uma determinada tolerância ρ>0, o ADMM generalizado proximal com α em (0, 2) fornece, em no máximo O(1/ρ^2) iterações, uma solução aproximada do sistema Lagrangiano associado ao problema de otimização considerado. E ainda demonstrado que, em no máximo O(1/ρ) iterações, uma solução aproximada do sistema Lagrangiano pode ser obtida por meio de uma sequência ergódica associada a sequência gerada pelo ADMM generalizado proximal com α em (0, 2]. Em segundo lugar, propomos e analisamos uma variante inexata do ADMM generalizado proximal acima mencionado. Nesta variante, o primeiro subproblema e aproximadamente resolvido usando uma condição de erro relativo, enquanto o segundo e considerado fácil de resolver. É importante mencionar que, em muitas aplicações do ADMM, um dos subproblemas tem uma solução em forma fechada; por exemplo, problemas de otimização convexos compostos l_1-regularizados. Mostramos que o método proposto possui iteração complexidade semelhantes à sua versão exata. Terceiro, desenvolvemos um ADMM proximal inexato cujo primeiro subproblema é resolvido inexatamente usando um critério de erro relativo aproximado semelhante ao ADMM inexato generalizado proximal acima mencionado. Os limites de iteração complexidade pontual e ergódico para o método proposto são estabelecidos. Nossa abordagem consiste em interpretar essas variantes do ADMM como uma instância de um estrutura híbrida proximal extragradiente com algumas propriedades especiais. Finalmente, a fim de mostrar a aplicabilidade e vantagem das variantes inexatas do ADMM propostas aqui, apresentamos alguns experimentos numéricos realizados em um cenário de de problemas derivados de aplicações da vida real.
Abstract: This thesis proposes and analyzes some variants of the alternating direction method of multipliers (ADMM) for solving separable linearly constrained convex optimization problems. This thesis is divided into three parts. First, we establish the iteration-complexity of a proximal generalized ADMM. This ADMM variant, proposed by Bertsekas and Eckstein, introduces a relaxation parameter into the second ADMM subproblem in order to improve its computational performance. We show that, for a given tolerance ρ>0, the proximal generalized ADMM with α in (0, 2) provides, in at most O(1/ρ^2) iterations, an approximate solution of the Lagrangian system associated to the optimization problem under consideration. It is further demonstrated that, in at most O(1/ρ) iterations, an approximate solution of the Lagrangian system can be obtained by means of an ergodic sequence associated to a sequence generated by the proximal generalized ADMM with α in (0, 2]. Second, we propose and analyze an inexact variant of the aforementioned proximal generalized ADMM. In this variant, the rst subproblem is approximately solved using a relative error condition whereas the second one is assumed to be easy to solve. It is important to mention that in many ADMM applications one of the subproblems has a closed-form solution; for instance, l_1-regularized convex composite optimization problems. We show that the proposed method possesses iteration-complexity bounds similar to its exact version. Third, we develop an inexact proximal ADMM whose rst subproblem is inexactly solved using an approximate relative error criterion similar to the aforementioned inexact proximal generalized ADMM. Pointwise and ergodic iteration-complexity bounds for the proposed method are established. Our approach consists of interpreting these ADMM variants as an instance of a hybrid proximal extragradient framework with some special properties. Finally, in order to show the applicability and advantage of the inexact ADMM variants proposed here, we present some numerical experiments performed on a setting of problems derived from real-life applications.
Palavras-chave: Método dos multiplicadores das direções alternadas
Programa convexo
Método extragradiente híbrido
Critério de erro relativo
Iteração complexidade pontual
Iteração complexidade ergódica
Alternating direction method of multipliers
Convex program
Hybrid extragradient method
Relative error criterion
Pointwise iteration-complexity
Ergodic iteration-complexity
Área(s) do CNPq: CIENCIAS EXATAS E DA TERRA::MATEMATICA
Idioma: eng
País: Brasil
Instituição: Universidade Federal de Goiás
Sigla da instituição: UFG
Departamento: Instituto de Matemática e Estatística - IME (RG)
Programa: Programa de Pós-graduação em Matemática (IME)
Citação: ADONA, V. A. Inexact variants of the alternating direction method of multipliers and their iteration-complexity analyses. 2019. 92 f. Tese (Doutorado em Matemática) - Universidade Federal de Goiás, Goiânia, 2019.
Tipo de acesso: Acesso Aberto
Endereço da licença: http://creativecommons.org/licenses/by-nc-nd/4.0/
URI: http://repositorio.bc.ufg.br/tede/handle/tede/9522
Data de defesa: 27-Mar-2019
Aparece nas coleções:Doutorado em Matemática (IME)

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
Tese - Vando Antônio Adona - 2019.pdf5,04 MBAdobe PDFBaixar/Abrir


Este item está licenciada sob uma Licença Creative Commons Creative Commons