Explorando paralelismo em big data no processamento de séries temporais de imagens de sensoriamento remoto

Página do item simplificado
dc.contributor.advisor-co1Rodrigues, Vagner José do Sacramento
dc.contributor.advisor-co1Latteshttp://lattes.cnpq.br/4148896613580056eng
dc.contributor.advisor1Martins, Wellington Santos
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/3041686206689904eng
dc.contributor.referee1Martins, Wellington Santos
dc.contributor.referee2Costa, Fábio Moreira
dc.contributor.referee3Carvalho, Sérgio Teixeira de
dc.contributor.referee4Silva, Nilton Correia da
dc.contributor.referee5Davis Júnior, Clodoveu Augusto
dc.creatorOliveira, Sávio Salvarino Teles de
dc.creator.Latteshttp://lattes.cnpq.br/1905829499839846eng
dc.date.accessioned2019-09-16T12:00:07Z
dc.date.issued2019-08-30
dc.description.abstractThe surface of planet Earth is changing at an unprecedented rate and the land use and land cover classification using remote sensing time series is now essential for identifying these changes. The TWDTW algorithm stands out in this task, but it has a quadratic complexity and high computational cost, making it difficult to use with Big Data. In this paper we tackle these problems by exploiting parallelism at both the vertical (multicore / manycore) and horizontal (cluster - distributed system) levels, in an integrated way for high performance. In the vertical dimension, we propose a parallel algorithm (P- INDEX) for the calculation of remote sensing indices, and another (P-TWDTW) for the calculation of similarity between time series. The speedup of P-INDEX was up to 9 times relative to the sequential algorithm in processing all images, while P-TWDTW was up to 12 times faster than its C++ centralized version and 246 times faster than the original in R TWDTW algorithm. In addition to enabling the quick calculation of a more sophisticated similarity measure, P- TWDTW also contributed to the generation of meta-characteristics for more robust machine learning methods. This increased the accuracy of the time series classification from 78% using TWDTW with KNN to almost 94% using the meta-characteristics obtained from P-TWDTW with SVM. In the horizontal dimension, we propose a distributed platform (BigSensing) that enables efficient handling of large volumes of remote sensing data. The platform includes a smart query engine that is able to choose, in real time, the best system to filter and retrieve data according to the spatial and temporal constraints of the query, with a nearly 22% reduction in response time over SciDB.eng
dc.description.provenanceSubmitted by Ana Caroline Costa (ana_caroline212@hotmail.com) on 2019-09-13T20:32:19Z No. of bitstreams: 2 Tese - Sávio Salvarino Teles de Oliveira - 2019.pdf: 6810556 bytes, checksum: a3ad084daee37a7041bfaeed7cc60c15 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5)eng
dc.description.provenanceApproved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2019-09-16T12:00:07Z (GMT) No. of bitstreams: 2 Tese - Sávio Salvarino Teles de Oliveira - 2019.pdf: 6810556 bytes, checksum: a3ad084daee37a7041bfaeed7cc60c15 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5)eng
dc.description.provenanceMade available in DSpace on 2019-09-16T12:00:07Z (GMT). No. of bitstreams: 2 Tese - Sávio Salvarino Teles de Oliveira - 2019.pdf: 6810556 bytes, checksum: a3ad084daee37a7041bfaeed7cc60c15 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2019-08-30eng
dc.description.resumoA superfície do planeta Terra está mudando a uma taxa sem precedentes e a classificação do tipo de uso e cobertura do solo, utilizando séries temporais de sensoriamento remoto, é hoje imprescindível para a identificação dessas mudanças. O algoritmo TWDTW se destaca nesta tarefa, mas possui complexidade quadrática com alto custo computacional, dificultando o seu uso em grandes volumes de dados (Big Data). Neste trabalho atacamos esses problemas explorando paralelismo tanto em nível vertical (multicore/manycore) quanto horizontal (cluster de computadores), de forma integrada para oferecer alto desempenho. Na dimensão vertical, propomos um algoritmo paralelo (P-INDEX) para o cálculo dos índices de sensoriamento remoto, e outro (P-TWDTW) para o cálculo de medidas de similaridade entre séries temporais. O speedup do algoritmo P-INDEX foi de até 9 vezes no processamento de todas as imagens em relação ao algoritmo sequencial, enquanto o P-TWDTW conseguiu ser até 12 vezes mais rápido que sua versão centralizada em C++ e 246 vezes mais rápido que o algoritmo TWDTW original em R. Além de viabilizar o cálculo rápido de uma medida de similaridade mais sofisticada, a exploração de paralelismo no P-TWDTW também contribuiu para que essas medidas fossem usadas como meta- características para métodos de aprendizado de máquina mais robustos. Isso aumentou a acurácia da classificação das séries temporais de 78%, utilizando o TWDTW com o KNN, para quase 94%, utilizando as meta-características obtidas a partir do P-TWDTW com o SVM. Na dimensão horizontal, propomos uma plataforma distribuída (BigSensing) que permite o tratamento eficiente de grandes volumes de dados de sensoriamento remoto. A plataforma inclui um motor inteligente de busca que é capaz de escolher, em tempo real, o melhor sistema para filtrar e recuperar os dados, de acordo com as restrições espaciais e temporais da consulta, tendo uma redução de quase 22% do tempo de resposta em relação ao SciDB na filtragem e recuperação de dados.eng
dc.description.sponsorshipFundação de Amparo à Pesquisa do Estado de Goiás - FAPEGeng
dc.formatapplication/pdf*
dc.identifier.citationOLIVEIRA, S. S. T. Explorando paralelismo em big data no processamento de séries temporais de imagens de sensoriamento remoto. 2019. 128 f. Tese (Doutorado em Ciência da Computação em Rede) - Universidade Federal de Goiás, Goiânia, 2019.eng
dc.identifier.urihttp://repositorio.bc.ufg.br/tede/handle/tede/10020
dc.languageporeng
dc.publisherUniversidade Federal de Goiáseng
dc.publisher.countryBrasileng
dc.publisher.departmentInstituto de Informática - INF (RG)eng
dc.publisher.initialsUFGeng
dc.publisher.programPrograma de Pós-graduação em Ciência da Computação em Rede UFG/UFMS (INF)eng
dc.rightsAcesso Aberto
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjectSéries temporaispor
dc.subjectSensoriamento remotopor
dc.subjectSistemas distribuídospor
dc.subjectProcessamento paralelopor
dc.subjectBig dataeng
dc.subjectTime serieseng
dc.subjectRemote sensingeng
dc.subjectParallel processingeng
dc.subject.cnpqCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOeng
dc.titleExplorando paralelismo em big data no processamento de séries temporais de imagens de sensoriamento remotoeng
dc.title.alternativeExploring parallelism in big data on remote sensing image time series processingeng
dc.typeTeseeng

Arquivos

Pacote Original
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
Tese - Sávio Salvarino Teles de Oliveira - 2019.pdf
Tamanho:
6.5 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
2.11 KB
Formato:
Item-specific license agreed upon to submission
Descrição:
Baixar

Coleções

Doutorado em Ciência da Computação em Rede - UFMS/UFG (INF)