Computação distribuída aplicada ao processamento de imagens de minérios utilizando o Hadoop

Exportar este item:

Use este identificador para citar ou linkar para este item: http://www.bdtd.uerj.br/handle/1/7729

Tipo do documento:	Dissertação
Título:	Computação distribuída aplicada ao processamento de imagens de minérios utilizando o Hadoop Distributed computing applied to mineral s image processing using Hadoop
Autor:	Batista, Felipe Schimith
Primeiro orientador:	Mota, Guilherme Lucio Abelha
Primeiro coorientador:	Costa, Gilson Alexandre Ostwald Pedro da
Primeiro membro da banca:	Gomes, Otávio da Fonseca Martins
Segundo membro da banca:	Ferreira, Rodrigo da Silva
Terceiro membro da banca:	Marzulo, Leandro Augusto Justen
Resumo:	O desenvolvimento de soluções de processamento paralelo baseado no framework Hadoop tem sido amplamente utilizado como uma alternativa eficiente para o processamento de grandes volume de dados. O uso de ferramentas de busca tornou-se ainda mais atraente e difundido na área de tecnologia com a metodologia de MapReduce. Entretanto, podemos adequar essa arquitetura para processamento de imagens, com a finalidade de obter ganhos no tempo e volume de processamento com o modelo de distribuição dos conteúdos do Hadoop Distributed File System (HDFS). Nesse contexto, o objetivo desse estudo foi desenvolver uma arquitetura capaz de distribuir o processamento de imagens de partículas de minério em uma plataforma que pode ser configurada em uma infraestrutura física ou virtualizada. Foi realizada a adaptação do algoritmo de processamento de imagens com a criação de funções de parser do tipo DataFile do Hadoop para o tipo Mat do OpenCV, para assim possibilitar o processamento das imagens utilizando a linguagem de programação C++ . Os algoritmos foram transformados em bibliotecas compartilhadas para serem distribuídos nos nós de processamento, seguindo os padrões de desenvolvimento do MapReduce for C (MR4C). Os experimentos foram feitos em um cluster composto de por dez nós de processamento, cada um com oito processadores Intel(R) Xeon(TM) CPU 2.80GHz e 8 GB de memória. Os experimentos foram feitos empregando diversas configurações, alterando a memória máxima alocada, número de cores, número de nós de processamento, número de tarefas, tamanho das imagens e também o número de imagens. Os resultados foram discutidos e analisados com o objetivo de destacar os ganhos e limitações da arquitetura apresentada The development of parallel processing solutions based on the Hadoop framework has been widely used as an efficient alternative for large volume data processing. The use of search tools has become even more attractive and widespread in the area of technology with the methodology of MapReduce. However, we can tailor this architecture for image processing in order to obtain gains in time and processing volume with the Hadoop Distributed File System (HDFS) content distribution model. In this context, the objective of this study was to develop an architecture capable of distributing the image processing of mineral particles in a platform that can be configured in a physical or virtualized infrastructure. The image processing algorithm was adapted with the creation of parser functions of the DataFile type from Hadoop to the OpenCV Mat type, in order to allow the image processing using the C++ programming language. The algorithms were transformed into shared libraries to be distributed on the processing nodes, following the development standards of the MapReduce for C (MR4C) API. The experiments were done in a cluster consisting of ten processing nodes, each with Intel (R) Xeon (TM) CPU 2.80GHz and 8GB memory. The experiments were done using different configurations, changing the maximum allocated memory, number of cores, number of processing nodes, number of tasks, size of image and number of images. The results where discussed and analyzed with the aim of highlighting the possible gains and limitations of the proposed architecture
Palavras-chave:	Hadoop MR4C Segmentação de fissuras Crescimento de regiões Hadoop MR4C Crack segmentation Region growth Processamento de imagens Programação paralela(Computação)
Área(s) do CNPq:	CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Idioma:	por
País:	BR
Instituição:	Universidade do Estado do Rio de Janeiro
Sigla da instituição:	UERJ
Departamento:	Centro de Tecnologia e Ciências::Instituto de Matemática e Estatística
Programa:	Programa de Pós-Graduação em Ciências Computacionais
Citação:	BATISTA, Felipe Schimith. Distributed computing applied to mineral s image processing using Hadoop. 2017. 118 f. Dissertação (Mestrado em Modelagem matemático-estatístico-computacional) - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2017.
Tipo de acesso:	Acesso Aberto
URI:	http://www.bdtd.uerj.br/handle/1/7729
Data de defesa:	29-Mar-2017
Aparece nas coleções:	Mestrado em Ciências Computacionais

Arquivos associados a este item:

Arquivo	Tamanho	Formato
IME_Mestrado_Felipe_Schimith_Batista_completa.pdf	5,13 MB	Adobe PDF	Baixar/Abrir Pré-Visualizar ×

Mostrar registro completo do item Recomendar este item Visualizar estatísticas