Estudo comparativo de comitês de sub-redes neurais para o problema de aprender a ranquear

Página do item simplificado
dc.contributor.advisor-co1Sousa, Daniel Xavier de
dc.contributor.advisor-co1Latteshttp://lattes.cnpq.br/4603724338719739
dc.contributor.advisor1Rosa, Thierson Couto
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/4414718560764818
dc.contributor.referee1Rosa, Thierson Couto
dc.contributor.referee2Sousa, Daniel Xavier de
dc.contributor.referee3Canuto, Sérgio Daniel Carvalho
dc.contributor.referee4Martins, Wellington Santos
dc.creatorRibeiro, Diogo de Freitas
dc.creator.Latteshttp://lattes.cnpq.br/4691023333320649
dc.date.accessioned2023-11-06T14:34:12Z
dc.date.available2023-11-06T14:34:12Z
dc.date.issued2023-09-01
dc.description.abstractLearning to Rank (L2R) is a sub-area of Information Retrieval that aims to use machine learning to optimize the positioning of the most relevant documents in the answer ranking to a specific query. Until recently, the LambdaMART method, which corresponds to an ensemble of regression trees, was considered state-of-the-art in L2R. However, the introduction of AllRank, a deep learning method that incorporates self-attention mechanisms, has overtaken LambdaMART as the most effective approach for L2R tasks. This study, at issued, explored the effectiveness and efficiency of sub-networks ensemble as a complementary method to an already excellent idea, which is the self-attention used in AllRank, thus establishing a new level of innovation and effectiveness in the field of ranking. Different methods for forming sub-networks ensemble, such as MultiSample Dropout, Multi-Sample Dropout (Training and Testing), BatchEnsemble and Masksembles, were implemented and tested on two standard data collections: MSLRWEB10K and YAHOO!. The results of the experiments indicated that some of these ensemble approaches, specifically Masksembles and BatchEnsemble, outperformed the original AllRank in metrics such as NDCG@1, NDCG@5 and NDCG@10, although they were more costly in terms of training and testing time. In conclusion, the research reveals that the application of sub-networks ensemble in L2R models is a promising strategy, especially in scenarios where latency time is not critical. Thus, this work not only advances the state of the art in L2R, but also opens up new possibilities for improvements in effectiveness and efficiency, inspiring future research into the use of sub-networks ensemble in L2R.eng
dc.description.provenanceSubmitted by Dayane Basílio (dayanebasilio@ufg.br) on 2023-11-03T15:25:18Z workflow start=Step: editstep - action:claimaction No. of bitstreams: 2 Dissertacao - Diogo de Freitas Ribeiro - 2023.pdf: 1480424 bytes, checksum: 5c71fb90db36467552148ade2877db2c (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5)en
dc.description.provenanceStep: editstep - action:editaction Rejected by Luciana Ferreira(lucgeral@gmail.com), reason: Selecionou a coleção errada, é mestrado e não doutorado on 2023-11-06T11:02:10Z (GMT)en
dc.description.provenanceSubmitted by Dayane Basílio (dayanebasilio@ufg.br) on 2023-11-06T12:09:30Z workflow start=Step: editstep - action:claimaction No. of bitstreams: 2 Dissertacao - Diogo de Freitas Ribeiro - 2023.pdf: 1480424 bytes, checksum: 5c71fb90db36467552148ade2877db2c (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5)en
dc.description.provenanceStep: editstep - action:editaction Approved for entry into archive by Luciana Ferreira(lucgeral@gmail.com) on 2023-11-06T14:34:12Z (GMT)en
dc.description.provenanceMade available in DSpace on 2023-11-06T14:34:12Z (GMT). No. of bitstreams: 2 Dissertação - Diogo de Freitas Ribeiro - 2023.pdf: 1480424 bytes, checksum: 5c71fb90db36467552148ade2877db2c (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5) Previous issue date: 2023-09-01en
dc.description.resumoAprender a Ranquear (AR) é uma sub-área em Recuperação de Informação que tem como objetivo usar aprendizado automático para otimizar o posicionamento dos documentos mais relevantes no ranque de resposta a uma consulta específica. Até recentemente, o método LambdaMART, que corresponde a um comitê de árvores de regressão, era considerado o estado-da-arte em AR. Contudo, a introdução do AllRank, um método de aprendizado profundo que incorpora mecanismos de self-attention, superou o LambdaMART como uma abordagem mais efetiva para tarefas de AR. Este estudo, em questão, explorou a efetividade e a eficiência dos comitês de sub-redes neurais como um método complementar a uma ideia que já era de excelência, que é o self-attention utilizado no AllRank, estabelecendo assim um novo patamar de inovação e efetividade no domínio do ranqueamento. Diferentes métodos de formação de comitês de sub-redes, como Multi-Sample Dropout, Multi-Sample Dropout (Treino e teste), BatchEnsemble e Masksembles, foram implementados e testados em duas coleções de dados padrão: MSLR-WEB10K e YAHOO!. Os resultados dos experimentos indicaram que algumas dessas abordagens de comitês, especificamente Masksembles e BatchEnsemble, superaram o AllRank original em métricas como NDCG@1, NDCG@5 e NDCG@10, embora fossem mais custosas em termos de tempo de treinamento e teste. Em conclusão, a pesquisa revela que a aplicação de comitês de sub-redes neurais em modelos de AR é uma estratégia promissora, especialmente em cenários onde o tempo de latência não é crítico. Desse modo, esse trabalho não apenas avança o estado da arte em AR, mas também abre novas possibilidades para melhorias de efetividade e eficiência, inspirando pesquisas futuras no uso de comitês de sub-redes neurais em AR.
dc.description.sponsorshipConselho Nacional de Pesquisa e Desenvolvimento Científico e Tecnológico - CNPq
dc.identifier.citationRIBEIRO, D. F. Estudo comparativo de comitês de sub-redes neurais para o problema de aprender a ranquear. 2023. 80 f. Dissertação (Mestrado em Ciência da Computação) - Instituto de Informática, Universidade Federal de Goiás, Goiânia, 2023.
dc.identifier.urihttp://repositorio.bc.ufg.br/tede/handle/tede/13123
dc.languagepor
dc.publisherUniversidade Federal de Goiás
dc.publisher.countryBrasil
dc.publisher.departmentInstituto de Informática - INF (RMG)
dc.publisher.initialsUFG
dc.publisher.programPrograma de Pós-graduação em Ciência da Computação (INF)
dc.rightsAttribution-NonCommercial-NoDerivatives 4.0 Internationalen
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjectRecuperação de informaçãopor
dc.subjectAprender a ranquearpor
dc.subjectAprendizado por comitêpor
dc.subjectComitê de sub-redes neuraispor
dc.subjectInformation retrievaleng
dc.subjectLearning to rankeng
dc.subjectEnsemble learningeng
dc.subjectSub-networks ensembleeng
dc.subject.cnpqCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
dc.titleEstudo comparativo de comitês de sub-redes neurais para o problema de aprender a ranquear
dc.title.alternativeA comparative study of neural subnetwork ensembles for the problem of learning to rankeng
dc.typeDissertação

Arquivos

Pacote Original
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
Dissertação - Diogo de Freitas Ribeiro - 2023.pdf
Tamanho:
1.41 MB
Formato:
Adobe Portable Document Format
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
1.71 KB
Formato:
Item-specific license agreed upon to submission
Descrição:
Baixar

Coleções

Mestrado em Ciência da Computação (INF)