Sistema de comunicação alternativa para pessoas com distúrbios neuromotores severos usando redes neurais artificiais

Página do item simplificado
dc.contributor.advisor-co1Silva, Adson Rocha
dc.contributor.advisor1Brito, Leonardo da Cunha
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/6660680440182900
dc.contributor.referee1Brito, Leonardo da Cunha
dc.contributor.referee2Rocha, Adson Silva
dc.contributor.referee3Gomide, Renato de Sousa
dc.creatorFloriano, Carolina de Souza
dc.creator.Latteshttp://lattes.cnpq.br/3663402505135180
dc.date.accessioned2024-09-16T13:27:07Z
dc.date.available2024-09-16T13:27:07Z
dc.date.issued2024-12-15
dc.description.abstractCommunication difficulties are frequent for many people with severe motor disabilities, making it difficult for them to interact with their families, caregivers and society in general. Augmentative and Alternative Communication (AAC) then aims to compensate for the communication deficit of these people, providing the individual with a better quality of life. However, these individuals with severe neuromotor disorders who have severe movement restrictions find great challenges in the use of several current assistive technologies. In this context, the objective of this research is to present an Alternative Communication System based on Artificial Neural Networks with a user-centered approach and their needs, for use by this public. The input and signal processing are carried out by reading facial landmark points, using the MediaPipe FaceMesh library. The development of the gesture/facial expression classifier is performed through the implementation and comparison of two different models: a Convolutional Neural Network (CNN) model and a Recurrent Neural Network model using Long Short-Term Memory (LSTM) units and dense layers. Dynamic challenges were implemented to conduct a more in-depth analysis of the models’ performance in various contexts, varying parameters such as the quantity of samples and the inclusion of similar gestures. Real-time overall results indicate a consistent performance of the proposed system, suggesting that, in both approaches, the Convolutional Neural Network (CNN) stands out significantly compared to the Long Short-Term Memory Recurrent Neural Network (LSTM) in gesture recognition.eng
dc.description.provenanceSubmitted by Dayane Basílio (dayanebasilio@ufg.br) on 2024-09-09T15:52:32Z workflow start=Step: editstep - action:claimaction No. of bitstreams: 2 Dissertação - Carolina de Souza Floriano - 2023.pdf: 28782243 bytes, checksum: e74f8f41d4f11ff810f56ca6aaa7d9ff (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5)en
dc.description.provenanceStep: editstep - action:editaction Approved for entry into archive by Dayane Basílio(dayanebasilio@ufg.br) on 2024-09-16T13:27:07Z (GMT)en
dc.description.provenanceMade available in DSpace on 2024-09-16T13:27:07Z (GMT). No. of bitstreams: 2 Dissertação - Carolina de Souza Floriano - 2023.pdf: 28782243 bytes, checksum: e74f8f41d4f11ff810f56ca6aaa7d9ff (MD5) license_rdf: 805 bytes, checksum: 4460e5956bc1d1639be9ae6146a50347 (MD5) Previous issue date: 2024-12-15en
dc.description.resumoDificuldades de comunicação são frequentes para muitas pessoas com deficiências motoras graves, tornando difícil para elas interagir com suas famílias, cuidadores e a sociedade em geral. A Comunicação Aumentativa e Alternativa (CAA) tem como objetivo compensar o déficit de comunicação dessas pessoas, proporcionando uma melhor qualidade de vida ao indivíduo. No entanto, esses indivíduos com distúrbios neuromotores graves e restrições severas de movimento enfrentam grandes desafios no uso de várias tecnologias assistivas atuais. Nesse contexto, o objetivo deste trabalho é apresentar um Sistema de Comunicação Alternativa baseado em Redes Neurais Artificiais com uma abordagem centrada no usuário e suas necessidades para uso por esse público. A entrada e o processamento dos sinais são realizados pela leitura dos pontos de referência facial, utilizando a biblioteca MediaPipe FaceMesh, e o desenvolvimento do classificador de gestos/expressões faciais é realizado por meio da implementação e comparação dois modelos diferentes, um Modelo de Redes Neurais Convolucionais (CNN) e um Modelo de Redes Neurais Recorrentes, usando unidades de memória de longo prazo (LSTM) e camadas densas. Foram implementados desafios dinâmicos para realizar uma análise mais aprofundada do desempenho dos modelos em diversos contextos, variando parâmetros como a quantidade de amostras e a inserção de gestos semelhantes. Os resultados globais em tempo real apontam para um desempenho consistente do sistema proposto, sugerindo que em ambas as abordagens, a Rede Neural Convolucional (CNN) destaca-se significativamente em relação à Rede Neural Recorrente de Longa Memória (LSTM) no reconhecimento de gestos.
dc.identifier.citationFLORIANO, CAROLINA SOUZA. Sistema de Comunicação Alternativa para pessoas com Distúrbios Neuromotores Severos usando Redes Neurais Artificiais. 2023. 102 f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Universidade Federal de Goiás, Goiânia, 2023.
dc.identifier.urihttp://repositorio.bc.ufg.br/tede/handle/tede/13332
dc.languagepor
dc.publisherUniversidade Federal de Goiás
dc.publisher.countryBrasil
dc.publisher.departmentEscola de Engenharia Elétrica, Mecânica e de Computação - EMC (RMG)
dc.publisher.initialsUFG
dc.publisher.programPrograma de Pós-graduação em Engenharia Elétrica e da Computação (EMC)
dc.rightsAttribution-NonCommercial-NoDerivatives 4.0 Internationalen
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjectRedes neurais artificiaispor
dc.subjectComunicação alternativapor
dc.subjectDistúrbios neuromotorespor
dc.subjectTecnologia assistivapor
dc.subjectArtificial neural networkseng
dc.subjectAlternative communicationeng
dc.subjectAugmentative communicationeng
dc.subjectNeuromotor disorderseng
dc.subjectAssistive technologyeng
dc.subject.cnpqENGENHARIAS::ENGENHARIA ELETRICA::ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS
dc.titleSistema de comunicação alternativa para pessoas com distúrbios neuromotores severos usando redes neurais artificiais
dc.title.alternativeAlternative communication system for people with severe neuromotor disorders using artificial neural networkseng
dc.typeDissertação

Arquivos

Pacote Original
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
Dissertação - Carolina de Souza Floriano - 2023.pdf
Tamanho:
27.45 MB
Formato:
Adobe Portable Document Format
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
1.71 KB
Formato:
Item-specific license agreed upon to submission
Descrição:
Baixar

Coleções

Mestrado em Engenharia Elétrica e da Computação (EMC)